How to succeed as a data engineer without the burnout

При создании и обслуживании современной платформы данных давление на инженеров данных со стороны бизнеса может быть огромным. Ключ к успеху в этой сложной обстановке не в том, чтобы работать еще усерднее, важно разумно подходить к тому, над чем вы работаете, и к тому, как это реализуется.

Принимая основополагающие принципы DataOps, в том числе хорошо спланированную модульную инфраструктуру, упреждающий мониторинг, надежное управление данными, отказоустойчивость и культуру совместного обучения, инженеры могут обеспечить эффективную и бесперебойную работу платформ данных любого размера с минимальными усилиями по обслуживанию и четкой ценность бизнеса.

В этом руководстве изложен ряд лучших практик, призванных сделать жизнь инженеров данных менее напряженной за счет создания среды, в которой системы работают без сбоев, обслуживание предсказуемо и предоставление ценности является последовательным. Обсуждаемые методы не только делают платформы данных более производительными и ценными с точки зрения бизнеса, но и значительно снижают риск выгорания.

stackoverflow.blog

How to succeed as a data engineer without the burnout - Stack Overflow

Redka - это Redis, переработанный с помощью SQLite. Цель проекта - переопределить лучшие части Redis с помощью SQLite, сохраняя при этом совместимость с Redis API. Он включает транзакции ACID, представления SQL для лучшего анализа и репортинг, Redis-совместимые команды и протокол связи и многое другое. Redka не поддерживает сценарии Lua, аутентификацию и списки управления доступом.

По бенчмаркам
Redka в 2–6 раз медленнее Redis (неудивительно, поскольку сравниваем реляционную базу данных с хранилищем данных «ключ-значение»), но она все равно может выполнять 22К операций записи в секунду и 57К операций чтения в секунду, что довольно хорошо.

Автором проекта является Антон Жиянов, у которого есть замечательный курс по оконным функциям в SQL.

GitHub

GitHub - nalgeon/redka: Redis re-implemented with SQLite

Redis re-implemented with SQLite. Contribute to nalgeon/redka development by creating an account on GitHub.

PostgreSQL Index AdvisorЭто расширение PostgreSQL, позволяющее рекомендовать индексы для повышения производительности запросов. Он поддерживает общие параметры и материализованные представления и может идентифицировать таблицы и столбцы.

GitHub

GitHub - supabase/index_advisor: PostgreSQL Index Advisor

PostgreSQL Index Advisor. Contribute to supabase/index\_advisor development by creating an account on GitHub.

Всем привет! Разыгрываем книгу для участия нажмите на кнопку и ожидайте розыгрыша. Итоги подведем в следующее воскресенье 18.02

How to onboardУже третий раз натыкаюсь на эту статью, но все не добавляю ее в канал, хотя тема очень актуальная.

Во многих компаниях либо нет культуры онбординга, либо все это делается экспромтом.
Пришел новый сотрудник и ему тимлид рассказал, какие сервисы есть.
Через боль и страдания, дерганья коллег, сотрудник узнаёт, как функционирует система.

Как правило, через 3 месяца вы должны рассчитывать на то, что сможете внести весомый вклад в новую команду. Для должностей Senior+ это означает, что к тому времени вы также начнете вносить свой вклад в управление командой.

В данном посте предлагается подход к онбордингу.

SQL for data scientist in 100 Queries

Заметки и рабочие примеры распространенных SQL-запросов.

Сервис для работы с SQL-базами данных Yandex WebSQL вышел в Public Preview. Это значит, что теперь сервис доступен всем пользователям и не тарифицируется.
Yandex WebSQL позволяет работать с управляемыми базами данных PostgreSQL, MySQL и ClickHouse прямо в веб-интерфейсе. Можно просматривать схемы, вносить изменения, писать запросы, пользуясь подсказками и подсветкой ошибок, и многое другое.

cloud.yandex.ru

Yandex WebSQL

Инструмент для работы с SQL-базами данных в Yandex Cloud.

BI-AS-CODE

Обычно бизнес пользователи и аналитики создают дашборды при помощи таких инструментов как PowerBI/Tableau/Superset.

В чем проблема с этими инструментами? Они были разработаны с упором на пользовательский интерфейс, чтобы снизить порог входа. Однако такой подход может привести к увеличению технического долга.
Например, как вы можете откатит дашборд и избежать поломки?Нужно помнить, что дашборд, на которой представлены ваши ключевые показатели эффективности (KPI), является программным активом.

Давайте рассмотрим, что предлагают некоторые инструменты , а также их преимущества . Все они имеют некоторые общие черты:

- Открытый исходный код

- Платные или управляемые услуги хостинга

- BI as a code позволяющий управлять версиями и тестировать с помощью стандартных конвейеров CI.

EVIDENCE : SQL + MARKDOWN

Evidence — это легковесный JS фрэймворк, предназначенная для создания data-приложений с с использованием Markdown и SQL. Вы просто создаете свою панель мониторинга, используя существующие компоненты, включаете их с помощью SQL и все готово! Конечным продуктом является статический веб-сайт, который можно разместить где угодно: Vercel, Github Pages или Heroku.

RILL : SQL + YAML

Rill от Rilldata позволяет создавать дашборды, используя только файлы SQL и YAML. Они предлагают удобный интерфейс командной строки для его локального запуска, использования локального веб-интерфейса для составления запросов/дашбордов или для развертывания в своем облаке. Вот интересный факт: Rill создан с использованием DuckDB.

STREAMLIT : PYTHON

Streamlit существует на рынке уже несколько лет и был приобретен Snowflake в первом квартале 2022 года. Основное преимущество (и, возможно, недостаток) Streamlit заключается в том, что он позволяет вам оставаться в рамках рабочего процесса с данными Python и использовать ту же экосистему для разработки ваших данных. Программы. Следовательно, вы создаете свои приложения для обработки данных с помощью Python, и вам нужна среда выполнения Python для хостинга.

Будущее BI

В этом посте мы рассмотрели три разных инструмента, каждый из которых предлагает уникальный подход к BI-как коду.
Вы можете проводить все тесты локально и использовать Git для контроля версий и CI/CD. Ваш дашборд можно легко развернуть или откатить, используя при этом лучшие практики программного обеспечения. BI не обязательно должен быть утомительным и дорогостоящим пользовательским интерфейсом. Приятно видеть новые подходы. Несмотря на то, что некоторые из этих инструментов находятся на ранних стадиях разработки, они показывают интересные возможности.

#bi

evidence.dev

Evidence - Business Intelligence as Code

Evidence is an open source, code-based alternative to drag-and-drop BI tools. Build polished data products with just SQL and markdown.

*🚀 Сквозная аналитика + Modern Data Stack *🚀**

Открытый вебинар 13 декабря в 19:00

*🔸 Бизнес-результат (ценность):*

— Почему владельцы готовы платить за аналитику?
— Оптимизация привлечения и удержания клиентов
— Совершенствование продукта: анализ паттернов и поведения
— С [MDS] 1 человек способен делать, на что ранее требовались целые команды

*🔸 Как создать эту ценность с Modern Data Stack:*

— Расширение списка источников данных: Ads platforms, Clickstream, CRM, Billing, gSheets
— Шаблонизация, макросы и интеллектуальное моделирование с dbt и Clickhouse
— Семантический слой, потребление дата-продуктов и аналитики: Cube
— Визуализации и дашборды, которые живут долго: Datalens, Metabase, Superset

Регистрация: https://artemiy-kozyr.timepad.ru/event/2709562/

Вебинар бесплатный, регистрация обязательна.
Расскажите об этом всем, кому может быть интересно.

#learning

artemiy-kozyr.timepad.ru

Сквозная аналитика + Modern Data Stack / События на TimePad.ru

Практический вебинар о создании ценности для бизнеса, современные практики для аналитиков и инженеров

Upgrading GitHub.com to MySQL 8.0

GitHub успешно обновил свой парк из более чем 1200 серверов MySQL до версии 8.0, что было непростой задачей из-за сложности экосистемы. Ключевые проблемы включали обеспечение обратной репликации и выявление запросов, которые прошли CI, но не удалось выполнить в рабочей среде. В этом посте команда GitHub описывает, как они решили эти проблемы. Этот опыт привел к разработке новых процессов и операционных возможностей для управления парком серверов MySQL с упором на возможности автоматизации и самовосстановления для будущих обновлений.

The GitHub Blog

Upgrading GitHub.com to MySQL 8.0

GitHub uses MySQL to store vast amounts of relational data. This is the story of how we seamlessly upgraded our production fleet to MySQL 8.0.