Отличный повод провести сегодняшний вечер с пользой - посетить сходку биайщиков в Лужниках

Мысль дня.

Часто при начале работ с клиентом была практика делать базовый проект, который его сотрудники должны перехватить на поддержку в определенный момент. Потому что главная цель - создать инфраструктуру, которую смогут поддерживать и развивать штатные сотрудники (в части операционки). С аутсорсом администрирования и экспертного надзора.

Считается, что такой подход помогает клиенту быстро получить первичный результат, т.к. опытная команда быстренько все сделает. А потом его ребята постепенно "войдут в струю" и продолжат развитие решения.

Вот что я могу сказать по этой практике.

Получается ли в итоге быстрее рабочее решение? Довольно спорно. Потому что после бодрого старта в 90% случаев начинаются нюансики с данными самого разного толка.
Урегулирование нюансиков через аутсорсную команду занимает в разы больше времени, с учетом всей коммуникации. Кроме того, часто ради обхода нюансиков приходится исполнять программирование прямо олимпиадного уровня. И полноценно поддерживать такое решение штатная команда не в состоянии.

В результате, саботируется главная цель работы - внедрить компетенцию работы с данными внутри компании. И получается что вместо компетенции компания внедрила инструмент, который поддерживается только силами подрядчика.

Но разве можно переложить разработку аналитической инфраструктуры на совсем зеленых ребят (ЗР)? Я думаю, можно и нужно.

1. Для начала, нужно сформировать для ЗР очень локальную задачу. Не "Подключиться ко всем данным и портировать все отчеты". А реализовать очень узкую функциональность, которой не хватает вот прямо сейчас.

2. Пройдя базовое обучение, ЗР подступаются к задаче. Библиотеки компонентов направляют их по правильному пути, и дополнительно это полируется экспертным надзором.

3. Благодаря библиотекам компонентов, в ходе решения задачи строится кусочек инфраструктуры, который будет наращиваться в дальнейшем.

4. Нюансики с данными решаются внутри команды клиента, потому что им проще понять друг друга, и скорректироваться на лету. А не делять 10 итераций правок с перепиской и созвонами.

5. На выходе - готовая компетенция у команды заказчика, рабочее решение, высокий моральный дух. Плюс готовность к масштабированию, потому что инфраструктура заложена.

p.s. И еще момент: в отличие от матерых аутсорс-разработчиков, которые для трансформации данных из кривых экселей будет писать мега-скрипт ~~достойный кунст-камеры~~, штатный зеленый новичок может просто уломать местного 1С-ника, чтобы тот дал ему нормальные выгрузки)))

Спустя почти месяц, рапортую. Курс написан, демо режим внедрен. Ожидаем публикации на сайте Loginom (которая, с учетом графика загрузки медиа-отдела, скорее всего произойдет к концу июня) - это и будет моментом выхода в широкий доступ.

Помимо контента, довольно много времени заняло обеспечение полностью автономного процесса прохождения демо - просто зарегистрировался, получил инструкции, и сам все сделал, ~~как и любят все аналитики-затворники~~.

В демо-режиме можно будет сделать свой пилотный проект. Ограничений по времени нет. А также есть ряд компонентов, которые работают без привязки к демо/не демо. В частности, мои любимые узлы для работы с Clickhouse. Т.е. тем кто работает с этой СУБД, библиотека обязательна к ознакомлению ;)

P.s. Я понял, что название библиотеки "ETL для BI-систем" не отражает смысла того, ради чего ее нужно использовать. Поэтому по аналогии с другими расширениями Loginom в их каталоге, библиотека будет называться "Data Monetization Kit", или "Платформа монетизации данных". Это намного лучше объясняет роль решения, на мой взгляд.

Всем привет! как проходят майские? Я вот вспахиваю свои кибер-грядки)

Закончил внедрение демо-режима в свою библиотеку для Loginom "ETL для BI-систем". Сейчас пишу контент сопроводительного курса, с помощью которого любой желающий сможет испытать библиотеку в деле, прямо на своем локальном компьютере без развертывания серверов и дополнительных БД.

Ну и конечно, можно будет реализовать свой собственный небольшой проект для теста.

Библиотека "ETL для BI-систем" используется для:

0) Быстрого наращивания и сохранения компетенций у штатных аналитиков в вопросах построения моделей данных и аналитических хранилищ.

1) Построения единого аналитического ландшафта, его поддержки и развития минимальными усилиями.

2) Обеспечения высокой скорости разработки отчетов в условиях непредсказуемо меняющихся моделей данных.

3) Автоматизации сборки моделей данных, совместимых с любыми BI-системами.

4) Недопущения ситуации, когда данные "заперты" внутри одной платформы.

Решение ориентированно на производственные компании и средний бизнес. А также подразделения крупного бизнеса, которым нужна большая автономность от централизованного ИТ.

Вышла моя статья про то, как "войти" в аналитику компаниям, которые вроде как чувствуют, что пора уже как-то более серьезно работать с данными. Но как-то не понятно, с какой стороны к этому подойти. Особенно подходит для компаний среднего бизнеса и производств.

Какие вопросы разобрал:
- В каких случаях внедрение новых аналитических инструментов скорее всего окупится;

- С каких стратегий использования данных можно начать;

- Как распределить ответственность между аутсорсом и штатными сотрудниками, чтобы получить хорошую скорость внедрения, не зависеть от подрядчика, и не допустить устаревания решения через пару месяцев после внедрения;

- Как снизить риски потери компетенций в управлении данными внутри компании.

В дальнейшем буду развивать отдельные тезисы с новых статьях.
https://loginom.ru/blog/unified-analytical-system

Loginom.ru

Построение единой аналитической системы для компаний среднего бизнеса и производств

Единая аналитическая система (Business Intelligence, BI-аналитика) — совокупность программного обеспечения, методов анализа и документирования данных, решающая следующие задачи:

Сегодня я особенно рад представить вам портирование генератора моделей с Qlik на Loginom. Используя в качестве аналитического хранилища Clickhouse, теперь есть возможность применить подход с генерацией моделей для любой BI-системы.

С использованием библиотеки "ETL для BI-систем", с помощью Loginom можно закрывать не только техническую сторону ETL-процессов, но и автоматизировать менеджерскую часть:

- Контролировать правильность подготовки данных;
- Формировать справочник мета-данных и карту связей;
- Автоматически формировать модели данных для любой BI-системы, независимо от сложности связей в исходных таблицах.

В ролике подробно описан алгоритм генерации моделей, продемонстрирована работа генератора, показаны примеры визуализации на:
- Yandex Datalens
- Visiology v3
- Pix BI
- Analytics Workspace

Делитесь впечатлениями, задавайте вопросы :)

https://www.youtube.com/watch?v=VjL068pjHAM

YouTube

Генератор моделей данных для BI-систем

Демонстрация компонента из библиотеки "ETL для BI-систем" для Loginom. Это видео демонстрирует автоматическую подготовку данных из аналитического хранилища к визуализации в любой BI-системе. Процесс создания аналитического хранилища показан в предыдущих…

Приветствую всех в новом году) Т.к. молчание затянулось, сообщаю: испытания генератора моделей идут полным ходом, и результаты многообещающие.

В чем суть? Наполнять аналитическое хранилище удобно, выделяя под каждую сущность свою таблицу. Таблица для продаж, таблица для отгрузок, справочник клиентов, справочник товаров и т.д. Однако на выходе мы получаем реляционную модель, и исследование таких данных потребует написания сложных кросстабличных джойнов на SQL. Что касается BI-систем, плюс-минус адекватно с реляционными моделями работает только PowerBI. Но это не значит, что работа с исходной структурой данных - самый удобный путь.

Генератор моделей данных преобразует набор таблиц любой структуры в звезду с разными уровнями денормализации, которую можно использовать в любой BI-системе (хоть во всех сразу!).

Как закончу отрисовку тестовых дашбордов в 3-х BI - будет анонс вебинара с живой демонстрацией. Не пропустите ;)