Наконец-то дочитал Product Analytics: Applied Data Science Techniques for Actionable Consumer Insights by Joanne Rodrigues. Много страниц, мелкий шрифт, очень плотный по содержанию текст.

Акадмический бэкграунд автора (магистратуры LSE и Беркли по математике, политологии и демографии) просматривается с самого начала. От методологии до кода на R, с кучей отступлений и инфомационных справок. В конце концов, когда еще в книге по аналитике прочитаешь про утилитаризм Бентама.

Книга состоит из пяти частей. Первая — методологическая. Вторая посвящена базовым статистическим методам (распределения, создание метрик, введение в A/B-тесты). Третья часть о предиктивных моделях (регрессии, деревья решений, SVM). Четвертая — о Casual inference методах (difference-in-difference, разрывный регрессионный дизайн, матчинг, аплифт-моделирование). Пятая часть про реализацию большей части методов на R.

Первая часть самая интересная и самая важная. В ней всего три главы. В первой главе проговаривается идея, что поведение пользователей сложное, у них разные мотивы, и мы никогда не обладаем всей полнотой информации. И для того, чтобы как-то начать предсказывать и менять пользователей, надо создать теорию, почему они ведут себя тем образом, который мы наблюдаем. Вторая глава как раз посвящена тому, как создавать подобные теории — какие критерии хорошей теории, как создавать метрики и формулировать гипотезы для проверки теории. И третья глава — как на основе теории менять поведение пользователей. Как понять, что мы действительно что-то изменили, как измерить. Даже предлагается несколько подходов, как обеспечивать изменения, в частности описывается Fogg Behavior Model.

Прочие части в целом неплохи, но какого-то уникального знания там меньше. Конечно, чувствуется политолого-демографический бэкграунд в описании casual inference подхода, да и в целом вся книга так или иначе фокусируется на этой парадигме (условно, “когда реальность очень неоднородна, квазиэксперименты лучше аб-тестов”). А код на R… приятно, что на R, но как и у многих академиков, как будто из 00-х, сильно отстал от реальности.

Из любопытного — в отличие от многих других книг по продуктовой аналитике, тут нет стандартного перечисления бизнес-метрик типа DAU или ARPU. Акцент сделан на поведении, концептуализации и измерении.

В общем, мне понравилось, несмотря на тяжеловесность текста. Я сам когда-то из академии и поэтому идея, что надо понять поведение пользователей и это будет ключом к изменению, мне понятна и очень близка.

#books

Понравилась вот эта часть статьи Криса:

*"Ответ на вопрос типа « Как влияет ___ на ___? » обычно требует больше усилий, чем оно того стоит . Забудьте о редком исключении.

→ Вместо этого : сосредоточьтесь на хорошей оценке в каждом блоке — оценке опыта пользователей, оценке поведения, оценке качества продукта, оценке цен, оценке конкурентов и т. д. — и не пытайтесь связать их вместе (что, даже если бы вы это сделали, в любом случае потребуется хорошая оценка внутри каждого блока; на самом деле, потребуется отличная оценка, чтобы справиться с объединенной дисперсией и помехами.)"*Зачастую, действительно хочется упороться в анализ причинно-следственных связей и понять, а что конкретно влияет на нужную тебе метрику. Например я работаю с cr1, можно много ковыряться в событиях и искать корреляции и пытаться обосновать их причинность.

Но как правило более эффективно идти от понимания системы и анализа отдельных блоков. Например на cr1 влияют:
- ценность оффера для сегментов, которые приходят на сайт
- этап пути клиента на котором находится пользователь
- доверие к продукту и бренду
- удобство и понятность интерфейса и отсутствие барьеров в процессе заказа
- позиционирование и цены конкурентов
- сезонность
- факторы принятие решения по сегментам.

Построить модель влияния всех этих факторов на cr1 и оценить вклад каждого параметра, кажется практически не возможно, а также всегда могут быть скрытые переменные.

Но можно провести исследование в каждом из блоков и найти гипотезы по улучшению в каждом из блоков и проверить их через АБ, такой путь более практичный, более понятный и приносит конкретный результат в виде роста метрик

Хорошо сказал

Речесч подборка от Юры Ветрова. Обратите внимание на статью Криса Чапмана - жиза.

Скрытая суть

В «Криптономиконе» Стивенсона герои все окружающее описывают математически, от чего видят скрытую от многих суть явлений. Слушал этот роман и попробовал для себя этот формат размышления с ИИ: когда изучаю какую-то концепцию (философскую, социальную, экономическую) или явление, то смотрю на нее через математический язык описания.

За это отвечает очень простой промпт:

Представь что эту концепцию надо описать математически \- как математический закон или формулу. Опиши с помощью математики, формулы, математической структуры: [концепция для описания]

Его можно применять почти ко всему, что вы изучаете, чтобы увидеть математические законы, заложенные в явлении.

Несколько примеров применимости подхода (все просим описать по данному выше промпту):

1. Опиши математически этот мем (для image2text моделей)
2. Опиши бизнес-модель сервиса Kindle через формулу
3. Я поругался с котом: он оцарапал меня, я обиделся и не хочу с ним общаться. Опиши это математически.
4. Представь философский принцип абсурда Камю в виде формулы (с философией классно заходит - это мой самый частый случай использования)
5. Я изучаю понятие продуктивность - предложи 3 способа как можно ее описать математически (добираемся до первых принципов явления)
6. Я не могу сделать выбор между А и Б. Опиши математически эту дилемму

Для более высокого качества надо попросить модель сначала расшифровать концепцию на естественном языке, чтобы насытить диалог контекстом, и только потом просить описать ее математически - качество будет лучше.

В комментариях еще промпты для продолжения диалога и примеры выдачи.

Пока болтался в отпуске, попалась на глаза статья от X5 Tech про разметку событий. Какой трекер они выбрали, как называть события, какая логика организации параметров. То, что я называю “дизайном событий” и что вполне может занимать до трети рабочего времени аналитика на ранних этапах проекта (потом, конечно, существенно меньше).

Статья в целом симпатичная, сам буквально неделю назад думал над правилами названия событий и в целом над структурированием своей документации. В геймдеве набор сущностей, действий и процессов ощутимо сложнее, кажется, чем приведенные. Тем не менее подходы и идеи все равно весьма схожи.

Но самое полезное в статье, на самом деле — не очень заметная ссылка на полную документацию по разметке событий. Она намного полнее и понятнее, чем статья, содержит в себе определения основных понятий, правила создания и ведения разметки, а также описание процессов разметки.

Очень хочется свою документацию довести до схожего вида, ведь примерно половина уже есть. Мечты-мечты.

Потихоньку пишу свою документацию по созданию "информационной модели продукта" и здорово посмотреть на опыт коллег по цеху.
В целом, идея выкладывать в паблик подобные методики очень хорошая...

Так, Антон, сфокусируйся - сначала допиши для внутреннего потребления, а потом думай как опенсорсить лучшие практики.

Словарик

Антрвольт, антревольт (через фр. entrevolte от итал. antervolta — «перед дугой») — часть плоскости стены между архивольтом (обрамлением, дугой) арки и расположенным над ней карнизом либо между архивольтами соседних арок в аркаде, хотя в английском утвердился термин - spandrel

В биологии антревольтами называют особенности устройства организма, которые не являются ценными для приспособленности сами по себе, а являются неизбежным результатом устройства других частей.

Итак, некая сущность, которая является неизбежным результатом, а не появляется как заранее спланированный результат. В биологии — это подбородок, в архитектуре — это пространство между стеной и аркой. Фактически, пространство следующее изгибам арки. Этот термин был придуман палеонтологом Стивеном Джеем Гулдом и популяционным генетиком Ричардом Левонтином в их статье «Спандрелы Сан-Марко и панглоссианская парадигма: критика адаптационистской программы»

Гораздо интереснее, что сам Ноам Хомский вроде бы полагал в качестве такой перемычки-антревольта сам язык, его рекурсию - как сущность, которая возникла как побочный продукт. Есть авторы, которые видят и объясняют антревольтом нашу религиозную веру, как побочный продукт эволюции