Тренды в моделировании данных в 2024 году

Подсмотрела у своей хорошей коллеги, большого эксперта по работе с данными ссылку на эту статью.

Как же быстро развивается сфера управления данными…
Сколько новых слов :)

Итак, сами тренды и мои #заметки по мотивам статьи:

1. Распространение отраслевых моделей
Компании оттачивают моделирование данных своей предметной области

Этому есть свои причины:
• в каждой отрасли существует специфическая, последовательная терминология и концепции, необходимые для ведения бизнеса.
• в некоторых областях знаний необходимо соблюдать требования надзорных органов и регулирующих органов в этой области (кстати, HR в том числе с нашими требованиями к работе с персональными данными)
• Сокращение бюджетов ?

2. Рост и влияние Концептуального моделирования (Conceptual Modeling)
Концептуальная модель базы данных - это наглядная диаграмма, которая нарисована в принятых обозначениях и подробно показывает связь между объектами и их характеристиками. На концептуальной модели в визуально удобном виде прописываются связи между объектами данных и их характеристиками. В состав концептуальной модели входят:
1. Объект (или сущность)
2. Атрибуты, как характеристики объекта
3. Связи (или отношения) между объектами

3. Растущая популярность графов знаний (Knowledge Graph)
Knowledge Graph (Граф знаний - семантическая сеть, которая умеет выявлять взаимосвязи между разными объектами. помогают связать большое количество данных из разных источников в одну общую коллекцию знаний
4. Улучшение возможностей самообслуживания
«С распространением отраслевых моделей и более широким использованием концептуальных моделей данных бизнес пользователи будут использовать и давать запросы на все более эффективные возможности самообслуживания, чтобы экспериментировать с моделями данных посредством интерактивной визуализации».

Ну вот чтобы «покрутить» их самостоятельно, а не просто посмотреть в готовых дашбордах.
Мы, кстати, в тренде: дашборды – хорошо, а куб с HR, финансовыми и коммерческими данными одновременно – лучше ?**

5. Моделирование данных в режиме реального времени (Real-Time Data Modeling)
• Моделирование с использование «цифровых двойников»
• анализ временных рядов для выявления закономерностей прошлых потоков данных и прогнозирования способов улучшения бизнес-результатов

6.  Совместное моделирование (Joint Data Modeling sessions)
В общем, бизнес и эксперты по управлению данными связаны навеки ?

Data GovernanceЕсли вы не просто занимаетесь HR-отчетностью, а выстраиваете в компанию систему HR-аналитики, то, рано или поздно, столкнетесь с тем, что называется Data Governance (управление данными) (тут управление, больше в смысле «установление и описание правил», чем управление в Data Management, где управление данными скорее в смысле «Организации процессов работы с данными».

Эта тема сейчас не менее хайповая, чем HR-аналитика ?, поэтому источников знаний очень много.
Основной источник знаний по этой теме - DAMA-DMBOK (Data Management Body of Knowledge)

Если вы просто познакомитесь с содержанием DMBOK, то поймете, насколько это большой и системно выстроенный документ:
1. Управление данными
2. Этика обращения с данными
3. Руководство данными
4. Архитектура данных
5. Моделирование и проектирование данных
6. Хранение и операции с данными
7. Безопасность данных
8. Интеграция и интероперабельность данных
9. Управление документами и контентом
10. Справочные и основные (мета) данные
11. Ведение хранилищ данных и бизнес-аналитика
12. Управление метаданными
13. Качество данных
14. Большие данные и наука о данных
15. Оценка зрелости управления данными
16. Организация управления данными и ролевые ожидания
17. Управление данными и управление организационными изменениями

Все рассматривается сквозь призму 3х элементов:
• Люди (организация, культура, роли и обязанности)
• Процессы (методы и работы)
• Технологии (инструменты и результаты)

Каждый их ключевых разделов содержит:
• Бизнес-драйверы
• Цели и принципы
• Основные понятия и концепции
• Проводимые работы
• Инструменты и методы
• Рекомендации по внедрению
И разделы
• Организационные и культурные изменения (!)

Так что если вы имеет отношение с «цифровой трансформации», то эта тема, которую нельзя пройти мимо.

Если у вас нет сил изучить первоисточник, то подсматривать инфо по теме и познакомиться с «Data Governance по-быстрому» можно у моей коллеги, Татьяны Жемповской, Руководителя направления развития архитектуры данных, ее опыту и знаниям можно доверять.

Подводные камни аналитики от Monica Rogati (Data Science advisor). Если только начинаете работать с данными, то очень советую проходиться прям по пунктам. А иногда даже опытные аналитики могут про что-то забыть или не усмотреть. Перевела, чтобы пропустить через себя все это еще разок.

TL;DR: When it comes to data, it’s important to ask the right questions.

?1. Считать, что у вас чистые данные. Точно ли 30% значений нулевые, правда ли, что так много ваших пользователей родились в 1900 году? Скорее всего нет, поэтому стоит попробовать почистить данные заранее.

?2. Отсутствие нормализации. Является ли Чикаго самым популярным свадебным направлением? Если посчитать это просто через количество людей прилетевших на свадьбу, то да, но чтобы оценить поплуярность лучше будет сначала учесть общее количество прилетающих - иначе список будет состоять из аэропротным хабов и крупных городов.

?3. Исключение выбросов. Те 21 человек, которые пользуются вашим продуктам тысячу раз за день либо очень вас любят, либо не люди вовсе, а боты. Но они тоже могут быть полезны для анализа и поиска аномалий.

?4. Включение выбросов. Те же 21 человек могут сильно подпортить вам статистики и расчет моделей. Так что смотреть на них полезно, но с точки зрения качественных исследований.

?5. Игнорирование сезонности. Когда в этом месяце вырасло количество вакансий по запросу “стажер”, а сейчас июнь. Важно учитввать время суток, дни недели, праздники и сезонность.

?6. Игнорирование размера при репортинге роста. Контекст очень важен. По факту, если вы только что запустили ваш продукт и попросили друга в нем зарегистрироваться, то вот уже x2 к росту подписчиков.

?7. Перегруз данным (data vomit) особенно в дэшбордах. Метрики и их анализ шутка хорошая, когда вы знаете куда смотреть и что с этими метриками делать.

⚠️8. Метрики, которые слишком часто кричат. Если у вас каждый день срабатвают алерту, то либо что-то не так в системе, либо пороговые значения слишком чувствительны. Алерты, приходящие каждый день, никто уже смотреть не будет, важно оставлять их реактивными к действию.

?9. Смешивайте данные из разных источников. Приходят ли ваши лучшие клиенты из районов с высокой концентрацией суши-ресторанов? Это может дать множество идей о новых экспериментах для увеличения роста.

?10. Фокусировка на шуме. Мы часто видим закономерности там, где их нет. Не забывайте cделать шаг назад и посмотреть на большую картинку происходящего.