Проверять гипотезы быстро-3

И последнее, но не менее важное:

⚡️7. Смотрим на ближайшие метрики, а не на дальние.
(но влияние на дальние тоже проверяем — см.ниже)

Например, если мы делаем тесты на продающем экране, где написаны преимущества кредитки, мы будем смотреть не на все метрики воронки вплоть до шага "воспользовался картой", а только на конверсию в кнопку "оформить" на этом экране. Как только она созреет — останавливаем тест.

Логика простая: чем более дальние метрики мы смотрим, тем дольше будет крутиться тест, тк туда люди доходят позже и в меньшем количестве.

Но проверять, что мы не уронили дальние метрики, все равно нужно. Чтобы не случилось, например, что мы привели не тот поток людей — карты открывают, но не пользуются.

Это решается двумя способами:

— Массовый ухудшающий тест до дальних метрик

Например, за квартал 10 тестов показали рост конверсии в следующий шаг и мы их масштабировали.

В конце квартала мы делаем ухудшающий тест, где убираем эти 10 изменений и смотрим, что дальние метрики не изменились или просели. А значит, наши тесты действительно успешные.

Да, из этих 10 тестов парочка могли дальнюю метрику ухудшить и мы этого никогда не узнаем, ну и ладно: мы сэкономили так много времени, что позволило нам получить десять успешных, а не один.

— Вечный контроль

Сложнее в реализации, проще в использовании: выделяется небольшой поток клиентов, у которых вообще не будет никаких изменений, весь флоу остаётся старым.

Тогда и ухудшающих тестов не нужно: просто сверяемся с вечным контролем, что дальние метрики не изменяются, а в идеале тоже растут.

😎 Вроде это все основные пункты, что я хотела сказать про быстрые тесты.

Начало: Проверять гипотезы быстро, Проверять гипотезы быстро-2

А мы тем временем запустили процессы гроусхакинга ещё в двух командах и готовим третью 🔥

Проверять гипотезы быстро-2

Продолжаю про пункты с прошлого поста: теперь про запуск тестов своими силами и (почти) без согласований

⚡️5. Делаем почти все своими силами

В стандартной продуктовой команде при подготовке теста много времени занимает очередь в бэклоге: написать текст, нарисовать дизайн, отревьюить что-то и т.д. Хорошо, если это своя очередь, но часто это либо общие бэклоги или бэклоги соседних команд.

Наш приоритет — скорость, поэтому мы договариваемся или о том, что наши задачи всегда берутся первым приоритетом, или о том, что все делаем сами. Второе на практике выходит проще — все любят помощь и разгрузку

Например, когда тестировали фото, где человек держит карту, просто сами сфоткали руки коллеги на айфон.

А в команде у нас есть редактор и дизайнер — они редактор и дизайнер историй, но пишут тексты и рисуют картинки для наших тестов, чтобы мы не стояли в очереди к UX-редактору и бренд-дизайнеру от продукта.

⚡️6. Максимально обходимся без согласований

Когда я говорила с командами, у которых уже выстроен гроусхакинг, мне кто-то сказал «вы не должны ничего согласовывать» и прибавил «когда вас станут спрашивать, что за дичь вы делаете, это успех» 😃

Нас, конечно, пару раз уже так спросили, но в целом мы на берегу обсуждаем с ключевыми лицами: редакторами, дизайнерами, юристами, что мы будем запускать тесты без их согласования, обещаем совсем уж дурные вещи не делать (типа не материться в эфире) и без них тесты не масштабировать.

В итоге это вин-вин: мы приносим продуктовой команде успешные тесты, а дальше уже вместе обсуждаем масштабирование.

Ну и чтобы все были спокойны, у нас есть чат с анонсами запусков и подведением итогов, чтобы наблюдать за нами в режиме реального времени и, если что, иметь возможность нас стопнуть.

Проверять гипотезы быстро

Подводим сейчас ОКРы — моя гроусхакинг-команда запустила 68 (!) тестов за квартал, в последние недели разогнались до 10 тестов.

Что нам позволяет быстро тестировать:

⚡️1. Тестируем в безрелизных местах

У нас есть пачка мест, где можно без разработки менять тексты, картинки и т.д — используем их, а также запускаем тесты в пушах и смсках.

Параллельно продуктовые команды вкладываются в перевод самых популярных и перспективных мест на безрелизность — это суперинвестиция в будущее.
*⚡️***2. Выбираем места с большим потоком клиентов

Чтобы статзначимость набиралась супербыстро, нам нужны два условия: большой поток и большой аплифт.

Поэтому выбираем места, где клиентов много. Это и логично в плане эффекта на большее количество людей, и позволяет быстро завершать тесты.

⚡️3. Выбираем проседающие места и закладываемся на большой % аплифта

Места, где конверсия 90%, уже вылизаны и принести результат там сложнее, поэтому выбираем места, где конверсия проседает.

Гипотезы тоже выбираем амбициозные: ждать статзначимых изменений на 0,001% — тоже долго. Поэтому мы закладываем бОльшие изменения, минимум пара %. Не набрались эти проценты— обрубаем тест, запускаем новый.

⚡️4. Тестируем до прокси-метрик и максимально своими силами

Суперважные штуки, но об этом в следующем посте (:

Возвращаюсь с нерегулярной рубрикой «что почитать/посмотреть на выходных»

1. Ленни Рачитски — выпуск "100 вопросов для собеседования" и выпуск про публичные выступления с Мэттом Абрахамсом. На английском

2. Рассказ Ани Подображных на шоу PPM «из мидла в синьоры» - короткий (16 минут) и классный

3. Видео про теорию игр (а после него поиграйте в игру-симулятор)

4. Блог Дуолинго: о разном, в том числе и про продукт. Например, про метрики там разное есть, про геймификацию.

——————

Немного личного: Женя Беляков (он, кстати, сделал лого моему каналу) запустил проект про рабочие пространства. Показала, как работаю я. Ничего сверхъестественного, если честно, стол-стул, но все же :)

——————

И немного Тинькоффского: 16 апреля у нас будет крутой митап про безопасность в продукте.

Помните, как недавно Тинькофф разорвал рынок запуском фичи «защитим или вернем деньги», где, если вас обманут мошенники по телефону, мы возвращаем деньги? Поговорим именно об этом и с теми ребятами, кто это запустил, и как вообще такое стало возможно. А еще поговорим с Авито, как они решают проблему мошенников с «напиши в вотсап». А еще это будет в нашем новом мега-модном офисе. Приходите🐾

Про красивую тетрадь

Наверняка почти все, кто со мной тесно работает, слышали от меня эту метафору. Не помню, откуда я ее взяла, но она со мной давно 🙂

Суть в том, что если вы захотели начать вести дневник, то можно потратить полгода на выбор самой красивой, самой подходящей тетрадки по куче параметров: в клеточку или в линеечку, толстая или тонкая, с мягкой обложкой или твердой, со сменными блоками или без.

А можно взять первую попавшуюся и просто начать. И в процессе уже увидеть, какая тетрадка подходит больше.

Отвечаю этим на все долгие прокрастинации а-ля «у меня все еще нет описания продукта на вики, потому что я никак не могу найти идеальный шаблон для этого». Напиши без шаблона или потрать на поиск час, выбери любой из попавшихся, в процессе уже придет понимание, как структурировать.

Можно начать писать дайджесты без четкой согласованной со всеми структуры, можно набросать роадмап в экселе, можно прикинуть оргструктуру в заметках на маке, можно вести дневник в простой тетрадке. Много чего можно начать прямо сейчас)

Договариваться легко

У меня сейчас гроус-команда, которая помогает продуктовым командам находить точки роста и запускать много тестов (за месяц работы ребята уже вышли на скорость 5 тестов в неделю, я тут в приятном шоке)

Мне и моим ребятам приходится много договариваться внутри: по областям ответственности, задачам, помощи, выделениям людей, да и просто чтобы нас пускали куда-то запускать тесты.

Я вижу, как много людей заходят на подобные встречи с ноги: «здравствуйте, дайте нам разработчика на эту задачу» или «мне тут нужно запустить что-то, дайте мне часть потока»

И вижу, что помогает договариваться мне: я обозначаю запрос, но начинаю всегда не с него, а с рассказа про команду и ее цели, как мы помогаем продукту, что уже сделали и какие у нас существуют похожие договоренности с другими командами и т.д. Это занимает половину или большую часть встречи, но когда есть «кто вы и зачем просите то, что просите», нет негатива и запрос решается очень легко, и так мы постепенно обрастаем поддержкой многих соседей.

В какие-то дни приходится по 10 раз рассказывать одно и то же, но это того стоит. И да, у меня есть и запись с рассказом, но personal touch и возможность ответить сразу же на все вопросы — это немного другое)

Сходила гостем в подкаст к своему коллеге Максу Макарову (пост ниже). Получилось полтора часа разговора обо всем, кроме основной работы, хотя и ее чуток затронули.

Обсудили, что делает команда Origination, в которой работаю, что значит быть «лидером профессии продакт» в Тинькофф, кто такой продакт и какая часть словосочетания важнее — «менеджер» или «продукта». А еще вспомнили давнее: школу и шахматы, и поговорили про капоэйру, в которой я уже 15 (самой не верится) лет

Макс назвал подкаст «продакт менеджер — это про здравый смысл», очень нравится ❤️ и отлично слушается на х1.5 - х2

Ежегодное исследование рынка продактов

Уже во многих продуктовых каналах выставили, так что буду считать, что делаю last call!

Подлодка проводит ежегодное исследование продактов, эта неделя — последняя для ответов на опрос. Вопросов достаточно много (около 50-60), поэтому на выходе получается много интересного и для самих продактов, и для компаний (мы, например, тоже смотрим итоги исследований — насколько силен бренд и т.д)

Призываю пройти всех, кто не прошел: https://survey.alchemer.eu/s3/90657221/2024, займет минут 10. Ну и, говорят, среди прошедших разыгрывают билеты на мартовский сезон Подлодки)

survey.alchemer.eu

Исследование российского рынка продактов, 2024

Исследование российского рынка продактов, 2024.

Советы из наболевшего с собеседований:
- если положили в резюме результат, готовьтесь рассказать как вы измерили влияние именно своей работы на этот результат
- если в резюме есть метрика, готовьтесь рассказать почему вы именно этой метрикой решили заняться
- если в резюме есть что-то про CSAT, то готовьтесь рассказать, чем он отличается от NPS и наоборот

🎄 Друзья, с наступающим! Пусть в 2024 будет много радости и задач интересных :)

Чтобы пост был полезным, но не напряжным, могу вот такое рассказать: я в этом году начала снимать «фильм года». Снимаю каждый день какой-то самый яркий момент, а потом монтирую в ролик. Очень круто потом пересматривать и вспоминать: о, в этот день я с друзьями виделась, в этот спортзал затопило и мы рванули помогать, а здесь я просто кебаб вкусный ела.

Знаю, что есть люди, которые запариваются и монтируют профессионально, с выраниванием звука, спецэффектами и т.д., но я пока просто секунду снимаю и монтирую в приложении 1SE, мне как MVP хватает, занимает максимум 30 секунд в день. В общем, очень советую попробовать! И да, я сначала часто забывала снимать, но чем дальше, тем больше делаешь это просто на автомате.

Мои New year resolutions 2024: спать ложиться вовремя, построить новую команду, делать то, что нравится. Напишите про ваши в комментах и пусть все сбудется 🔴