Мигель Гринберг, известный своим мега-туториалом по Flask написал большой пост про обработку ошибок в python. Вопросы "когда и какие эксепшены обрабатывать" и "откуда мне узнать, какие эксепшены тут могут возникнуть" особенно актуальны у новичков, я даже у мидлов видел с этим затруднения. Статья довольно длинная, но я очень рекомендую потратить время и почитать https://blog.miguelgrinberg.com/post/the-ultimate-guide-to-error-handling-in-python

Оказывается, на хабре опубликовали перевод статьи https://habr.com/ru/articles/853056/

Как говориться - "как корабль назовешь" (не на правах рекламы, за название - пятерка)

Закрома – передовое российское ПО для хранения и управления корпоративными данными

Гибридное хранилище, предназначенное для безопасного и экономичного хранения и управления корпоративными данными произвольного формата в крупных организациях.
ЗАКРОМА обеспечивает быстрый поиск, предоставляет API для удобного взаимодействия и обладает мощным контролем доступа. В основе ЗАКРОМА лежит современный стандарт S3, который позволяет создавать высоконадежное хранилище для эффективного хранения больших объемов данных.

https://zakroma.ru/

#meme #dev #algo #fifo #lifo

?️ Airflow 2.10.0
Сегодня выкатили новую версия Apache Airflow — 2.10.0
В релизе много полезных изменений и фиксов, а также новых фич:

▶️ декораторы @skip_if и @run_if с помощью которых ты можешь удобно задать условия запуска или пропуска Task`а

▶️ Datasets больше не запускают неактивные DAG`и

▶️ одновременное использование нескольких Executor в рамках одного DAG`а

▶️ try_number больше не увеличивается во время выполнения Task`а

▶️ Важно! Теперь Airflow по дефолту собирает телеметрию, все данные передаются в Scarf. Можешь отключить, нужно поправить конфиг [usage_data_collection]enabled=False или переменную окружения SCARF_ANALYTICS=false

Полный список изменений смотри тут или тут.

#airflow #de #dev

GitHub

Don't queue runs on DatasetEvent for disabled DAGs by uranusjr · Pull Request #38891 · apache/airflow

Maybe fix #38826? This adds an additional filter on consuming DAG, and only create a DatasetDagRunQueue entry if the DAG is both active (i.e. still exists in a DAG file) and unpaused. There are sti...

?️

Дата-инженерия в 2024 году находится на пороге значительных изменений, движимых стремительным развитием ИИ и облачных технологий. В этом году основной акцент делается на интеграцию AI и ML в каждую часть технологического стека, что позволяет автоматизировать анализ данных и повышать их надежность. Также наблюдается массовый переход к облачным платформам, которые обеспечивают масштабируемость и гибкость для обработки больших объемов данных, что становится критическим фактором для компаний, стремящихся оставаться конкурентоспособными.

Ключевые тренды включают использование архитектур Data Mesh для децентрализованного управления данными, активное внедрение Apache Iceberg для обработки больших наборов данных, а также расширение возможностей наблюдаемости данных, что становится важным для поддержания надежности ИИ-продуктов. В совокупности эти тренды определяют будущее дата-инженерии, где данные становятся полноценным продуктом, а команды по работе с данными все больше похожи на программные команды.

Не упусти возможность быть в авангарде этих изменений — будущее уже здесь!

#de #dev #dataengineering

?️
PostgreSQL 16 изнутри

Разработчик СУБД Postgres Professional выпустил новую книгу «PostgreSQL 16 изнутри». Электронная версия находится в свободном доступе . Автор книги — Егор Рогов, директор по развитию образовательных программ Postgres Professional.

Первое издание этой книги, основанной на 14-й версии PostgreSQL, вышло в марте 2022 года и обновлено до версии 15. В связи с большим читательским интересом компания перевела книгу на английский язык. Позже она стала самым популярным тематическим изданием 2023 года по версии Postgres Weekly и была включена в список профессиональной литературы на официальном сайте сообщества PostgreSQL.

В текущем издании книги «PostgreSQL 16 изнутри» учтены замечания читателей, исправлены опечатки и отражены изменения, произошедшие в версии PostgreSQL 16. Postgres Professional также обновил локализованную документацию для PostgreSQL 16.

#db #sql #postgres #postgresql