Как быстро и легко выяснить, как связаны две продуктовые метрики?

Одна из частых задач аналитика - интерпретировать изменения одной метрики, основываясь на динамике других. Например, как абрикосы влияют на арбузы или, если по-взрослому, как NPS влияет на Revenue продукта?

1️⃣Cпособ. Метод пристального взгляда.
Мне кажется, что это самый недооцененный способ (особенно на собеседованиях). Аналитики придумывают целые подходы, как и куда смотреть и в каких разрезах, чтобы понять, как связаны метрики. Действительно, на практике мы в первую очередь это и делаем - внимательно смотрим глазами на графики, машем руками и пытаемся интерпретировать изменения. Плюсы: легко и быстро. Минусы: нужно иметь хорошее зрение.

2️⃣Cпособ. Корреляции.
Чаще всего под корреляцией имеют в виду корреляцию Пирсона. В целом, инструмент не нуждаются в представлении, но упомяну, что они бывают разные и каждый работает на разных данных.

1) У вас много данных и они распределены нормально - корреляция Пирсона работает отлично. Получите асимптотически несмещенную и эффективную оценку статистики.
2) У вас много данных, но они распределены ненормально - корреляция Пирсона работает хорошо. Оценка корреляции все еще асимптотически несмещенная, но уже неэффективная.
3) У вас мало данных - корреляция Пирсона работает плохо. Ваша оценка будет смещенной, ее надо корректировать.
4) У вас данные с большим количеством выбросов - корреляция Пирсона работает очень плохо. Для таких случаев лучше использовать непараметрические, более робастные подходы. Например, ранговый коэффициент корреляции Спирмена.
Корреляция - это хорошо, но стоит быть очень аккуратным в ее интерпретации и уметь отличать от каузации. На сайте spurious correlations можно найти забавные корреляции, например, популярность имени Виолетта коррелирует с выбросами топлива в Эквоториальной Гвинеи с коэффициентом корреляции 0,995 😂

3️⃣Способ. Эконометрические критерии.
Это более продвинутые методы, но они позволяют дать более-менее содержательный ответ на вопрос "Является ли X причиной Y (с каким-то предположением)?".

Идея в следующем: рассматриваем метрики в качестве временных рядов, динамика которых моделируется векторной авторегрессией. Такая модель говорит, что значение метрики y_t в момент в времени t зависит только от предыдыдущих значений, а также случайного "шума". На основе такой модели можно строить статистические критерии. Один из самых популярных - это тест Грейнджера на причинность. Такой тест проверяет гипотезу "X не является причиной Y по Грейнджеру", при этом причинность по Грейнджеру означает, что временной ряд y_t зависит не только от предыдущих значений У, но и от значений X в моменты времени t-1, t-2... и т.д. Если гипотеза верна, то вклад временного ряда X в Y будет нулевым.
Подход в целом работающий на практике. Из важных ограничений, которые стоит принимать, - не нужно использовать этот тест для 100500 пар метрик, поскольку проблему множественного тестирования гипотез никто не отменяет.
А для аналитиков - есть очень простая реализация этого теста в питоне.

4️⃣Способ. Около-ML подходы.Статистические тесты на временных рядах имеют достаточно много предположений и ограничений, но иногда хочется получить более понятный для бизнеса ответ, а именно "Является ли X причиной Y? Если влияет, то насколько сильно?" Желательно количественно и статистически корректно.
Тут нам и поможет машинное обучение и его различные применения "сбоку":
1) Любимая всеми линейная регрессия - по коэффициентам регрессоров можно понять вклад каждого фактора в целевое значение метрики и его статистическую значимость. Тут тоже есть ряд ограничений для корректного использования этого подхода - эти ограничения описываются в теореме Гаусса-Маркова.
2) Методы, которые можно считать на ансамблевых моделях деревьев решений - это Feature Importance и Shap values.

Если резюмировать, то главный вывод из этого всего - нужно аккуратно пользоваться всеми методами в области их применения и стараться не притягивать корреляцию там, где ее нет.
А какими методами пользуетесь вы - пишите в комментариях🔥
#теорвер

Я - бакалавр математических наук.

На прошлой неделе я защитил свой бакалаврский диплом на факультете математики, а вчера наконец-то досмотрел Атаку Титанов, поэтому можно и пост написать в канал:)
Не совсем стандартный пост, но так как этот канал посвящен и моей жизни тоже (неожиданно?), а не только аналитике, то хотел бы рассказать про топ-3 урока, которым научила меня учеба на матфаке ВШЭ.

1️⃣ Академия - это крутоМатематика и умение в абстрактное мышление очень помогает как в работе аналитика, так и в жизни. Да, ты не будешь использовать когомологии де Рама, чтобы посчитать статзначимость эффекта на АБ, но понимание сложных абстрактных понятий прокачивают мозг, что помогает понимать менее сложные, но загруженные большим объемом информации вещи на работе. Очень схоже с тем, как учить Python после прохождения курса по С++ в ШАДе Яндекса. Также это открывает намного больше возможностей в использовании не совсем тривиальных инструментов в работе, что очень полезно аналитику и другим "математизированным" профессиям. Это как использовать и понимать как пользоваться буровой установкой, тогда как многие предпочитают использовать кирку, потому что ничем другим пользоваться не умеют. Именно поэтому планирую продолжить свою учебу, но уже в магистратуре (но не матфака, об этом - позже).

2️⃣ Думай о худшем, надейся на лучшееНе всегда складывалось все так, как я этого хотел и как представлял в голове. В качестве кейса из жизни - моя попытка податься на учебу по обмену на семестр, когда я думал «ну вот я ща точну попаду, я же такой крутой, я же такое классное мотивационное написал». При этом думая только в таком ключе и развивая свое "дерево решений" вглубь, не имея на руках итогов, я не задумывался о том, что будет если меня не возьмут. Поэтому принимать отказ от университета и обрубать это дерево решений было очень непросто и пару дней находился в так называемом "тильте":) Пару раз спотыкаясь на таких вещах, понимаешь, что не стоит торопить события, а стоит прорабатывать разные сценарии во время ожидания, и уже в случае успеха - тогда радоваться и думать какой ты молодец. А в случае неудачи - быстро переключаться на другую ветку в дереве решений.

3️⃣ Удача застанет тебя за работойОригинальная цитата принадлежит Пикассо и связана с вдохновением, но мне она нравится в формулировке Руслана Фазлыева, при этом, как по мне, красиво дополняет предыдущий пункт. Вообще говоря, очень легко надеяться на лучшее и ничего не делать, можно хоть круглые сутки это делать. Куда сложнее организовать все так, чтобы надеяться пришлось как можно меньше. А для этого нужно много работать и не полагаться на то, что преподаватель на зачете не будет тебя валить или что получишь изи оффер от компании.

Кому-то покажется, что все, что я тут написал, - довольно примитивно и очевидно, нам ведь все говорят "учись хорошо", "диверсифицируй риски", "много работай". Но мне кажется эти мысли очень просты в теории, но трудно реализуемы в жизни, поэтому примитивными их считают либо те кто через такой опыт не проходил, либо те кто в своем познании настолько преисполнился, что как будто бы уже сто триллионов миллиардов лет проживет на триллионах и триллионах таких же планет, как эта Земля.

А вам желаю хорошего окончания рабочей недели и прекрасных выходных!

6 июня посетил техническую конференцию Aha'24 для продуктовых аналитиков и менеджеров. Помимо нетворкинга с "коллегами по цеху", постарался послушать пару докладов, поэтому решил поделиться с вами своими ощущениями от прослушанного.

1️⃣ ML-продукты: особенности, ошибки, лайфхаки (Роман Халкечев, CDO Яндекс Поиска)
Доклад представляет собой сводник 10 "правил" внедрения ML в продукт и доведения их до крутого решения в продакшн. Рассказ получился очень структурированным, наполнен конкретными примерами. Выписал себе несколько правил, поскольку в Авито тоже думаем в сторону ML моделей внутри CRM. Например, одно из правил было про быстрые MVP решения. В процессе построения ML пайплайна необходимо собрать данные, обучить модель, протестировать ее - сам процесс может занимать месяцы, а то и кварталы. Роман со своим большим опытом предлагает обкатывать быстрые решения (очень простая мысль в теории, но очень сложная на практике?). Также очень понравилась мысль, про которую сам тоже думал, - в таком долгом процессе важно как можно чаще и больше получать новые знания и проводить много маленьких АБ. Даже если гипотеза не супер масштабная - главное держать тонус команды и стремится к такому темпу, что каждый день в сервисе крутится хотя бы один АБ-тест.

2️⃣ Как и когда паковать молоко по 0,9л? Сложные продуктовые решения на основе размена метрик компании в А/Б-тестах (Кирилл Николаев, CDO Т-Банка)
Часто у CDO крупных компаний доклады - больше "helicopter view", чем что-то конкретное и содержательное. Но в данном случае Кирилл поделился интересным подходом в принятии решения, основываясь на эффективности по Парето - состоянии системы, при котором ни один показатель системы не может быть улучшен без ухудшения какого-либо другого показателя. В Т-Банке такой подход применяют, когда происходит размен метрик лояльности и LTV. Взял себе пару идей на заметку, поскольку при анализе маркетинговых коммуникаций всегда приходится искать такой же trade-off между метриками позитива и негатива от коммуникаций.

*3️⃣*Вечный контроль: зачем он нужен и как организовать его так, чтобы не сойти с ума (Виктория Гордеева, руководитель продуктовой аналитики OK.RU)
Куда же без моей любимой темы глобальных контролей, позволяющие оценивать совокупный эффект на целевые метрики от фичей, которые запускает и раскатывает продуктовая команда. В целом доклад ок, дает ответы на вопросы "а как такое запустить", но пока нет информации про "а как это анализировать?". Послушал после этого круглый стол про вечный контроль, но также ответов на эти вопросы не услышал. В Авито больше двух лет крутится "вечный" А/Б-тест, с помощью которого мы оцениваем эффект от всех маркетинговых коммуникаций в совокупности и часто сталкиваемся с проблемой вида "что является драйвером роста/падения метрик относительно глобального контроля?". Однако какой-то таблетки для решения такого рода проблем на рынке пока видимо нет (либо про них еще не рассказывают на конференциях) - грустно.

А какие у вас ощущения от Aha в этом году? Делитесь своим топом докладов в комментариях?

Как мерить негатив от маркетинговых коммуникаций (2/2)?

Прямой негатив:
Прямой негатив - это по сути негатив, который нам говорит "этому пользователю явно не понравилась твоя коммуникация и он решил сделать что-то плохое".
Что-то плохое - это:
1. Отписка от маркетинговых коммуникаций. Мы не сможем отправлять ему предложения о продукте, рекомендации и прочее.
2. Отписка от всех коммуникаций в приложении. Это серьезная проблема, потому что мы не сможем не просто отправлять маркетинг в целях получения доп эффекта, а вообще продуктово сломаем CJM пользователя в приложении.
3. Отписка от всех коммуникаций на уровне операционной системы. Это когда пользователь отписывается от пушей в настройках своего смартфона. Сравнимо со 2ым пунктом, но происходит обычно реже.
4. Обращение в поддержку. Обработка обращений - тоже стоит денег в "операционном" смысле, ее можно выразить в времени и зарплатах операторов поддержки.
5. Удаление приложения. Поздравляю, вы потеряли пользователя для всей компании. По сути самое ужасное, что мы можем сделать - мы не нашли подход к пользователю, не смогли его заинтересовать, неправильно подобрали частоту коммуникаций или отправляли ему постоянно что-то нерелевантное.
6*(со звездочкой). Жалоба в ФАС и штраф. Поздравляю, вы не только потеряли пользователя, но еще и заплатите штраф за это, если отправили коммуникацию пользователю, который до этого уже отписался от нее.

Кто-то может спросить - Армен, а как собственно в деньгах это выразить?!
Вопрос, кстати, крайне непростой.
Что нужно учитывать и какие проблемы возникают:
1. Как считать трейдофф между позитивом и негативом?
2. Разные виды коммуникаций имеют разный положительный эффект.
3. Разные пользователи имеют разный "вес".
4. Как атрибуцировать отписку к конкретной коммуникации. Кстати говоря, про модели атрибуции отлично рассказывает Костя из Тинькофф, очень рекомендую его канал!
5. Как сделать привязку к денежным метрикам?
В общем головных болей много, но на одном из последних Avito Analytics meetup моя коллега Аня из Авито подробно вглубь рассказала, как мы считаем стоимость отписок в Авито прям в конкретных цифрах и формулах, так что если тема заинтересовала - то рекомендую к просмотру!

Ставьте ?, если хочется побольше про специфику маркетинговых коммуникаций (а ее довольно прилично)!
Всем хорошего вечера пятницы и выходных!

#продукт