Миллион, миллион, миллион чтобы что

Ладно, если без шуток (хотя пост выше и не шутка), есть куча ситуаций, когда стоимость исследования или стоимость получения данных выше, чем стоимость проведения эксперимента.

Иначе говоря, ответ «чтобы что, кто наша ЦА, будут ли этим пользоваться» получить дольше и дороже, чем «взять, сделать и посмотреть».

Сейчас глубинные интервью, исследования рынка и т.д. прочно ассоциируются с чем-то правильным и продуктовым, а действия по реализации — с чем-то проджектовым, когда все уже подтверждено. Но вообще-то взять и сделать — это тоже исследование, и часто супер-дешевое.

В общем,

— Если задачу можно сделать за час, не тратьте месяц на «чтобы что», даже если вы не согласны, что это надо. Сделаете — увидите, кто прав.

— В процессе делания вы можете получить больше вводных, что именно вам стоит исследовать. Или вообще понять, что все нужно делать по-другому. Или что это не нужно делать вообще.

— Ну и в конце концов, как говорил Марти Каган, если фаундер (а мы перекладываем — бизнес-лидер, руководитель) говорит, что что-то надо — доверьтесь ему, он создал эту компанию и может что-то знать. За то время, что вы будете проверять его слова, конкуренты могут уйти вперед.

Хорошего продакта отличает не только умение выяснять «чтобы что», но и умение вовремя остановиться и начать делать хоть что-нибудь

огнище

Проверять гипотезы быстро-3

И последнее, но не менее важное:

⚡️7. Смотрим на ближайшие метрики, а не на дальние.
(но влияние на дальние тоже проверяем — см.ниже)

Например, если мы делаем тесты на продающем экране, где написаны преимущества кредитки, мы будем смотреть не на все метрики воронки вплоть до шага "воспользовался картой", а только на конверсию в кнопку "оформить" на этом экране. Как только она созреет — останавливаем тест.

Логика простая: чем более дальние метрики мы смотрим, тем дольше будет крутиться тест, тк туда люди доходят позже и в меньшем количестве.

Но проверять, что мы не уронили дальние метрики, все равно нужно. Чтобы не случилось, например, что мы привели не тот поток людей — карты открывают, но не пользуются.

Это решается двумя способами:

— Массовый ухудшающий тест до дальних метрик

Например, за квартал 10 тестов показали рост конверсии в следующий шаг и мы их масштабировали.

В конце квартала мы делаем ухудшающий тест, где убираем эти 10 изменений и смотрим, что дальние метрики не изменились или просели. А значит, наши тесты действительно успешные.

Да, из этих 10 тестов парочка могли дальнюю метрику ухудшить и мы этого никогда не узнаем, ну и ладно: мы сэкономили так много времени, что позволило нам получить десять успешных, а не один.

— Вечный контроль

Сложнее в реализации, проще в использовании: выделяется небольшой поток клиентов, у которых вообще не будет никаких изменений, весь флоу остаётся старым.

Тогда и ухудшающих тестов не нужно: просто сверяемся с вечным контролем, что дальние метрики не изменяются, а в идеале тоже растут.

? Вроде это все основные пункты, что я хотела сказать про быстрые тесты.

Начало: Проверять гипотезы быстро, Проверять гипотезы быстро-2

А мы тем временем запустили процессы гроусхакинга ещё в двух командах и готовим третью ?

Проверять гипотезы быстро-2

Продолжаю про пункты с прошлого поста: теперь про запуск тестов своими силами и (почти) без согласований

⚡️5. Делаем почти все своими силами

В стандартной продуктовой команде при подготовке теста много времени занимает очередь в бэклоге: написать текст, нарисовать дизайн, отревьюить что-то и т.д. Хорошо, если это своя очередь, но часто это либо общие бэклоги или бэклоги соседних команд.

Наш приоритет — скорость, поэтому мы договариваемся или о том, что наши задачи всегда берутся первым приоритетом, или о том, что все делаем сами. Второе на практике выходит проще — все любят помощь и разгрузку

Например, когда тестировали фото, где человек держит карту, просто сами сфоткали руки коллеги на айфон.

А в команде у нас есть редактор и дизайнер — они редактор и дизайнер историй, но пишут тексты и рисуют картинки для наших тестов, чтобы мы не стояли в очереди к UX-редактору и бренд-дизайнеру от продукта.

⚡️6. Максимально обходимся без согласований

Когда я говорила с командами, у которых уже выстроен гроусхакинг, мне кто-то сказал «вы не должны ничего согласовывать» и прибавил «когда вас станут спрашивать, что за дичь вы делаете, это успех» ?

Нас, конечно, пару раз уже так спросили, но в целом мы на берегу обсуждаем с ключевыми лицами: редакторами, дизайнерами, юристами, что мы будем запускать тесты без их согласования, обещаем совсем уж дурные вещи не делать (типа не материться в эфире) и без них тесты не масштабировать.

В итоге это вин-вин: мы приносим продуктовой команде успешные тесты, а дальше уже вместе обсуждаем масштабирование.

Ну и чтобы все были спокойны, у нас есть чат с анонсами запусков и подведением итогов, чтобы наблюдать за нами в режиме реального времени и, если что, иметь возможность нас стопнуть.

Проверять гипотезы быстро

Подводим сейчас ОКРы — моя гроусхакинг-команда запустила 68 (!) тестов за квартал, в последние недели разогнались до 10 тестов.

Что нам позволяет быстро тестировать:

⚡️1. Тестируем в безрелизных местах

У нас есть пачка мест, где можно без разработки менять тексты, картинки и т.д — используем их, а также запускаем тесты в пушах и смсках.

Параллельно продуктовые команды вкладываются в перевод самых популярных и перспективных мест на безрелизность — это суперинвестиция в будущее.
*⚡️***2. Выбираем места с большим потоком клиентов

Чтобы статзначимость набиралась супербыстро, нам нужны два условия: большой поток и большой аплифт.

Поэтому выбираем места, где клиентов много. Это и логично в плане эффекта на большее количество людей, и позволяет быстро завершать тесты.

⚡️3. Выбираем проседающие места и закладываемся на большой % аплифта

Места, где конверсия 90%, уже вылизаны и принести результат там сложнее, поэтому выбираем места, где конверсия проседает.

Гипотезы тоже выбираем амбициозные: ждать статзначимых изменений на 0,001% — тоже долго. Поэтому мы закладываем бОльшие изменения, минимум пара %. Не набрались эти проценты— обрубаем тест, запускаем новый.

⚡️4. Тестируем до прокси-метрик и максимально своими силами

Суперважные штуки, но об этом в следующем посте (:

Возвращаюсь с нерегулярной рубрикой «что почитать/посмотреть на выходных»

1. Ленни Рачитски — выпуск "100 вопросов для собеседования" и выпуск про публичные выступления с Мэттом Абрахамсом. На английском

2. Рассказ Ани Подображных на шоу PPM «из мидла в синьоры» - короткий (16 минут) и классный

3. Видео про теорию игр (а после него поиграйте в игру-симулятор)

4. Блог Дуолинго: о разном, в том числе и про продукт. Например, про метрики там разное есть, про геймификацию.

——————

Немного личного: Женя Беляков (он, кстати, сделал лого моему каналу) запустил проект про рабочие пространства. Показала, как работаю я. Ничего сверхъестественного, если честно, стол-стул, но все же :)

——————

И немного Тинькоффского: 16 апреля у нас будет крутой митап про безопасность в продукте.

Помните, как недавно Тинькофф разорвал рынок запуском фичи «защитим или вернем деньги», где, если вас обманут мошенники по телефону, мы возвращаем деньги? Поговорим именно об этом и с теми ребятами, кто это запустил, и как вообще такое стало возможно. А еще поговорим с Авито, как они решают проблему мошенников с «напиши в вотсап». А еще это будет в нашем новом мега-модном офисе. Приходите?

Про красивую тетрадь

Наверняка почти все, кто со мной тесно работает, слышали от меня эту метафору. Не помню, откуда я ее взяла, но она со мной давно ?

Суть в том, что если вы захотели начать вести дневник, то можно потратить полгода на выбор самой красивой, самой подходящей тетрадки по куче параметров: в клеточку или в линеечку, толстая или тонкая, с мягкой обложкой или твердой, со сменными блоками или без.

А можно взять первую попавшуюся и просто начать. И в процессе уже увидеть, какая тетрадка подходит больше.

Отвечаю этим на все долгие прокрастинации а-ля «у меня все еще нет описания продукта на вики, потому что я никак не могу найти идеальный шаблон для этого». Напиши без шаблона или потрать на поиск час, выбери любой из попавшихся, в процессе уже придет понимание, как структурировать.

Можно начать писать дайджесты без четкой согласованной со всеми структуры, можно набросать роадмап в экселе, можно прикинуть оргструктуру в заметках на маке, можно вести дневник в простой тетрадке. Много чего можно начать прямо сейчас)

Договариваться легко

У меня сейчас гроус-команда, которая помогает продуктовым командам находить точки роста и запускать много тестов (за месяц работы ребята уже вышли на скорость 5 тестов в неделю, я тут в приятном шоке)

Мне и моим ребятам приходится много договариваться внутри: по областям ответственности, задачам, помощи, выделениям людей, да и просто чтобы нас пускали куда-то запускать тесты.

Я вижу, как много людей заходят на подобные встречи с ноги: «здравствуйте, дайте нам разработчика на эту задачу» или «мне тут нужно запустить что-то, дайте мне часть потока»

И вижу, что помогает договариваться мне: я обозначаю запрос, но начинаю всегда не с него, а с рассказа про команду и ее цели, как мы помогаем продукту, что уже сделали и какие у нас существуют похожие договоренности с другими командами и т.д. Это занимает половину или большую часть встречи, но когда есть «кто вы и зачем просите то, что просите», нет негатива и запрос решается очень легко, и так мы постепенно обрастаем поддержкой многих соседей.

В какие-то дни приходится по 10 раз рассказывать одно и то же, но это того стоит. И да, у меня есть и запись с рассказом, но personal touch и возможность ответить сразу же на все вопросы — это немного другое)

Сходила гостем в подкаст к своему коллеге Максу Макарову (пост ниже). Получилось полтора часа разговора обо всем, кроме основной работы, хотя и ее чуток затронули.

Обсудили, что делает команда Origination, в которой работаю, что значит быть «лидером профессии продакт» в Тинькофф, кто такой продакт и какая часть словосочетания важнее — «менеджер» или «продукта». А еще вспомнили давнее: школу и шахматы, и поговорили про капоэйру, в которой я уже 15 (самой не верится) лет

Макс назвал подкаст «продакт менеджер — это про здравый смысл», очень нравится ❤️ и отлично слушается на х1.5 - х2