Ладно, за месяц меня не уволили, я не сбежал, так что можно рассказывать. Я перешёл в новую компанию - Appodeal. Это AdTech, конкретно занимается Real-Time Bidding.

Новая обстановка примерно по всем всему:
Раньше работал только в российском бигтехе -> теперь в компании ~250 человек
Раньше был on-premise -> теперь облако
Раньше гибрид или офис -> теперь полная удалёнка по миру
Так же теперь в команде есть англоязычные и часть созвонов на инглише🤵

По технологиям ситуация такая:
Большинство данных из кафки
Batch: Dagster, S3 -> Databricks Spark -> AWS S3 -> Druid
Streaming: KSQL -> Druid -> Pivot

Основные мотивации я бы назвал 3:
- Возможность работать откуда угодно
- Поработать с облаками
- Ветка платится теперь зелёная😳

Пока делится техническими деталями не получается. Вникаю и тушу пожары😱

Ещё один хардкорный доклад про UDF в Spark. Но тут Андрей Титов идёт со стороны pySpark и дополняет недостающие варианты UDF. Т.е. можно отсортировать все варианты реализации UDF от самого медленного до самого быстрого и будет так: Python UDF (Обычная) …

Сегодня стартует Data+AI Summit Кто планирует смотреть? Могу позволить себе только бесплатную секцию, которая будет 12-13 июня? Интересно всего пара докладов Точно хочу: Data warehousing performance, scale and security with Databricks SQL - перформанс,…