P. P. S. В этот канал я пишу редко и стараюсь делиться полезным и интересным. И надеюсь, что это причина, по которой этот канал у вас не на мьюте.

Но иногда хочется потрещать о ерунде, так что завёл @pointless_twitter — велкам.

Начал новую жизнь без тоста за старую...

Что ж. Исправляюсь — рассказываю!

Год назад я с семьёй приземлился в Лиссабоне, чтобы попробовать построить жизнь ~~иммигранта~~ человека мира. Больших планов не было, действовали в режиме «попробуем — не понравится — переобуемся на ходу». Понравилось =)

В апреле я ушел из Яндекса — проработал без двух недель 12 лет. Яндекс — всё ещё лучшая технологическая компания в России. Но, к сожалению, компания находится в очень сложном контексте. С теми вызовами, которые стоят перед Яндексом сегодня, я могу помочь весьма ограничено — и меня они не слишком вдохновляют. Так что расстались мы с доброй грустью, но это было закономерно.

Чем я занимаюсь сейчас? В роли руководителя аналитики помогаю двум стартапам стать единорогами:

— это Rhino — мы строим сервис бронированных такси в Бразилии (как ответ на жуткую уличную преступность)

— и Dwelly — готовим революцию на рынке аренды недвижимости в UK~~, стараясь не привлекать внимания санитаров~~.

У меня, возможно, странное представление о правильной карьере и веселье. Но 3 единорога в CV сложно отнести к «повезло рядом постоять». Хочу такую валидацию своих навыков. А ещё у меня есть незакрытый гештальт со времён неслучившегося IPO Такси — хочу на фотку со старта торгов на бирже =) Образ результата — это уже немало, не так ли? =)

У стартапов на seed стадии плотность принимаемых решений ограничена небольшим количеством инженеров, которые реализуют эти решения. Это (пока что) позволяет мне совмещать две компании, и даже немного консультировать.

Если вдруг вам кажется, что я могу быть вам полезен — приходите: людям помогаю бесплатно, компаниям — за очень дорого.

Я время от времени нанимаю, поэтому если вам интересно, — подмигните мне в личке.

Если вдруг вы настоящий VC или только экспериментируете с ангельскими инвестициями, — подскажу пару перспективных компаний в ваш портфель!

P. S. Я живу в Кашкайше — это деревня на берегу Атлантического океана недалеко от Лиссабона. Будете в моих краях — давайте знакомиться за кофе или завтраком.

@eugenekozlov

✌️

Яндекс выложил YT в opensource

Это очень большая новость для мира обработки данных. И огромный шаг для команды YT — ребята, поздравляю!

Многие слышали про ClickHouse, который уже успел сформировать свой клуб фанатов и даже форкнуться в отдельную компанию с приличной капитализацией. Но ClickHouse (CH) — это слой потребления данных. Чтобы получилась красивая витрина, которую удобно крутить в CH, нужно обработать несколько тонн данных — и сам CH для ETL-преобразований не годится совсем. И вот тут вы встанете перед выбором технологий хранилища. Если вы маленький или средний стартап, вы пойдете в облака — и правильно сделаете. Но если вам по какой-то причине нужно иметь чуткий контроль за своей инфраструктурой данных, вы уже управляете Hadoop-кластером, и тем более, если вам при этом жмёт — присмотритесь к YT.

В 2017 мы в Такси решили строить DWH на GreenPlum, потому что YT и YQL были ещё незрелыми — нам было больно по утрам видеть нерассчитанные витрины, потому что "ой, мы тут логику join'ов немного поменяли". В добавок join’ы были очень медленные и неэффективные, что очень критично для DWH. Теперь же таблицы-справочники до 80GB клеятся "на лету" (на нашем кластере). Когда стал вопрос о том, что DWH Маркета нуждается в нормальной архитектуре, технологиях и менеджерских подходах, я очень топил за сведение задачи к решённой — давайте возьмём всё у Такси. Но команде Маркета удалось убедить меня, и я с приятным удивлением обнаружил, что YT и инструментарий вокруг него доросли до той степени зрелости, когда ничего дополнительного и не нужно. Короче, мой рекомендасьон — 10 хадупов из 10!

Кстати, над любой таблицой, хранящейся в YT, можно выполнить SQL запрос, используя ClickHouse на ресурсах YT, просто добавив перед запросом строчку
USE chyt.<clustername>;

Небольшой повод для гордости — в составе этого релиза есть Spark over YT. Эта штука сделана в Такси моей командой. Федя Лаврентьев увидел дырку в линейке технологий Яндекса по обработке данных и решил, что надо попробовать запустить Spark на YT. Федя нанял феноменальную Сашу Белоусову на эту задачу — и Саша за пару месяцев сделала работающий прототип, который решили развивать дальше.

PS. В opensource технологию назвали YTsaurus. Все эти годы в Яндексе она ласково называлась "Ыть" =)

https://habr.com/ru/company/yandex/blog/721526/

Список участников Data Driven Top100 ’22 — конференции для руководителей аналитики и продуктов, построенных на данных. Список и статусы участия актуальны на 27.08.2022