В блоге в плане постов небольшое затишье, потому что автор разгребает гору дел, которые внезапно навалились🫠

Но вот вопросики в бот @DataismPrepBot добавляются:)
Пополнила раздел с продуктовой аналитикой.
Теперь в боте всего порядка 500 вопросов.
Пользуйтесь и оставляйте фидбэк. А если еще и готовы поделиться вопросами с собесов, то вообще пушка-бомба-огонь-ракета и плюсик в карму🐾

🐾Алгоритмы в реальной жизни

Я, конечно, жутко бугурчу на алкосекции и литркод и на всю абстрактную фигню (отсылка к этому посту), но надо признать, что какие-то задачи имеют место быть в реальной жизни.

И вот примеры.

Задача 1
Даны n отрезков на оси (Ox) a_i, b_i (где a_i начало отрезка, b_i конец отрезка). нужно найти максимально число отрезков, которые пересекаются в одной точке.
Задача с литкода, решение писать конечно же не буду.
Но как эта задача может применяться в жизни?
Представим, что у нас есть отель. В отель каждый день кто-то заезжает и выезжает. На каждого жителя мы заказываем еду. Хочется понять, какое максимально количество еды надо будет заказать в какой то из дней?
Задача 2 Поля Галуа из высшей алгебры.
Каждый раз, когда вы пытаетесь сканировать qr код не обходится без теории из высшей алгебры, хотя при узучении этой темы казалось, что это просто абстрактная теория.
Задача 3. Алгоритмы на графах. Дейкстра/Breadth-First Search (BFS)(нахождение кратчайшего пути в графе).
Представим, что нам надо купить билеты из города A в город B и мы хотим найти самый дешевый путь.
Переформулируем задачу в терминах графов. Есть Ориентированный граф, где вершины – это города. Если между городоми A и B есть прямой рейс то она будет ребром с весом равным цене билета.
После представления такого графа сразу приходит мысль писать дейкстру и находить путь.
Задача 4. Алгоритмы на графах. Depth-First Search (DFS)
Есть список библиотек и их зависимостей, например:
[{E: []}, {A: [B, С]}, {B, [C]}, {C: [D]}, {D: []}]
Распечатайте их в порядке, в котором их можно подгружать с учетом этих зависимостей.
Не зная графов быстро решение не придумать.
Но как только переформулировать задачу в терминах графов, то решение почти сразу на ладони.
Переформулируем.
Пусть вершины это библиотеки. Если библиотека A зависит от библиотеки B, то будем соединять эти две вершинки направленным ребром.
Теперь чтобы решить задачу нам надо выстроить все библиотеки в ряд, что бы ребра были только в одном направлении. А это просто топологическая сортировка! Чуть-чуть модифицируем dfs и радуемся.

Тут тоже описан пример литкодовской задачи и ее применение

Ребятки, у бота уже началась пятница 🍾, и он решил прилечь отдохнуть
Но обещал вернуться уже скоро:)

Всем хороших выходных😘

UPD. Бот ожил:)

Как переехать с Tableau на Superset с малым количеством ресурсов и не сдохнуть при этом. Опыт команды Работа.ру

У компании Работа.ру было 6 аналитиков, 300 дашбордов, куча пользователей, отдел суровых безопасников, Tableau и 2 месяца на переезд. Не то чтобы этого было достаточно для успешного мигрирования с одной bi-системы на другую, но если уж Tableau помахал ручкой всем российским пользователям весной 22года, то другого выбора нет.

Ресурсы проекта: 4 инженера данных, 6 аналитиков, 1 человек из команды инфраструктуры (разворачивал среду, занимался разгреничением прав)

Что сделали?
- провели ревизию дашбордов. Большая часть дашбордов уже не использовалась по факту
Тут можно использовать так называемый отчет об использовании дашбордов. Посмотреть по посетителям, что юзается чаще всего. Кстати, таким отчетом можно пугать заказчиков, которые прибегают с фразой «сделайте срочно отчет», а потом по факту не используют его.
- перенесли 70 отчетов (согласованный с бизнесом)
- потеряли 0 критически важных отчетов
- составили реестр переезда с Tableau, чтобы максимально гладко проходила адаптация пользователей
- провели обучение для пользователей по использованию дашбордов

Как удалось все этого достичь?
- наличие готовых витрин, которые можно было переиспользовать
- высокий уровень экспертизы в визуализации команды
- самое главное: концентрация команды только на переносе дашбордов. Вся остальная ad-hoc аналитика была на стопе полностью.
- стандартизированный подход к построению отчетов.

Итоговый чеклист для успешного переезда:
🔠выбираем лучшее решение, исходя из всех текущих ограничений
🔠принимаем тот факт, что скорее всего все перенести не удастся, поэтому выбираем самое важное
🔠если сроки ограничены, то договариваемся, что остальные задачи будут на стопе.
🔠на первой итерации стараемся не потерять данные, а о красоте визуализации можно подумать позже
🔠воспринимаем переезд как возможность научиться чему-то новому и провести ревизию старых отчетов

@data1sm

Джуны, миддлы и сеньоры. Ху из ху

Система грейдов/титулов довольно спорная. Можно быть сеньором на галерах, а в условном Яндексе только джуном.
Можно вообще успешно скипнуть какой-то грейд, и из джуна стать сразу сеньором-помидором. 🍅

Как становятся джунами?
Чтобы стать джуном нужно закрыть 2 пункта:
1) пройти собес
Питон, sql, статистика - это база. На собесах будут спрашивать чаще всего именно этот набор.
2) пройти испытательный срок
нужно быстро вникнуть в предметную область. В плане софт скиллов джун должен продемонстрировать следующее: умение воспринимать критику, умение слушать и слышать, умение искать информацию.

С миддлами все просто. К ним только один критерий - это умение взять задачу и самостоятельно качественно сделать ее от начала до конца в установленные сроки. Это самая настоящая боевая единица.

Но что там с сеньорами? Кто вообще решает, что человек сеньор?
Варианты разные:
- сам работодатель накинул плашку «сеньор»
- кто-то из экспертов признал
- годы опыта
- достижения
- голоса в голове😜

Какие ситуации сеньоризации бывают:
-> человек выкладывает резюме с префиксом сеньор и его нанимают
-> человек работает в аутстаффе, а заказчику нужен сеньор -> человека делают сеньором (грейды натягиваются на любой глобус)
-> у компании нет денег и они могут предложить только титул
-> у компании есть деньги и человек соответствует критериям сеньора
-> за прошлые трудовые заслуги в смежной сфере

Возможные критерии для сеньор дата-аналитика:
- применяет лучшие практики кода
- в арсенале имеется продвинутая статистика
- немного шарит за DS
- немного может в DE
- выслуга лет
Можно хорошенько натренировать этот набор навыков, устроиться на позицию сеньора, но в реальности им не являться все же.
Если человек не приносит тот самый банальный бузинес валуе (бизнес ценность), то он по факту не сеньор.

❗️Ценность аналитика не в качестве кода, а в том какой совет по ведению бизнеса несет этот самый код.

Бонус: ссылка на гит Авито, где расписана иерархия аналитиков и требования к ним

📈📈Как сделать большую компанию data driven. Опыт Сбермаркета
(доклад Борис Вольфсон)
Если вы хотите чем-то управлять, то вы должны это измерять.

Data driven — это подход, при котором решения принимают, опираясь на данные. Такой подход эффективнее, чем подходы HiPPO и best practices. Он минимизирует риск ошибок.

0️⃣Как измерить data driven`ность?
Это средний индекс из 3х компонентов.
1. Индекс использования данных.
Учет инструментов,учет кол-ва дашбордов, разный вес для разных дашбордов и ролей. Различный вес ролей нужен исходя из мысли, что чем более высокоуровневый сотрудник использует данные, тем сильнее мы влияем на принятие выокоуровневых решений.
2. Индекс качества данных.
Кол-во использования ключевых витрин в дашбордах, качество расчета ключевых витрин, доля багов/кол-во событий в событийных данных.
Использование сертификации данных.
3. Индекс стабильности данных.
Стабильность ключевых витрин и их расчета. SLA обновление витрин в 8 утра, разный вес для витрин в зависимости от важности для бизнеса.

🏆В ходе внедрения data driven подхода Сбермаркет получил следующие результаты:
- доля ad-hoc запросов снизилась на 15%. Потому что удалось обучить сотрудников использовать правильно дашборды.
- формирование дерева метрик всей компании. Дальнейшие действия, связанные с разработкой, должны приводить к улучшения какой-либо метрики.

Чтобы быть data driven компанией недостаточно просто иметь данные.
Необходимо следующее:
- понимать и интепретировать данные
- использовать их для принятия операционных, тактических и стратегических решений
- интегрировать их в продукты и сервисы компании
- создавать культуру, в которой данные являются ключевым элементом всех бизнес-процессов
Самое сложно в процессе внедрения культуры data-driven - это люди, а точнее их отношение к данным.
Если у вас есть какой-то bi-инструмент, то недостаточно, чтобы он был, чтобы он был подключен к нужным базам данным.
Важно, чтобы этим инструментом реально пользовались.