Канал для поиска исполнителей для разных задач и организации мини конкурсов
Last updated 1 week, 2 days ago
Новые и перспективные Web3 игры с добычей токенов.
Чат: https://t.me/Crypto_Wolf_Chat
Правила чата смотрите в описании чата.
Все свои вопросы направляйте в чат или главному модератору чата: @Exudna_118
По теме сотрудничества: @Zombini
Last updated 23 hours ago
Проверять гипотезы быстро-3
И последнее, но не менее важное:
⚡️7. Смотрим на ближайшие метрики, а не на дальние.
(но влияние на дальние тоже проверяем — см.ниже)
Например, если мы делаем тесты на продающем экране, где написаны преимущества кредитки, мы будем смотреть не на все метрики воронки вплоть до шага "воспользовался картой", а только на конверсию в кнопку "оформить" на этом экране. Как только она созреет — останавливаем тест.
Логика простая: чем более дальние метрики мы смотрим, тем дольше будет крутиться тест, тк туда люди доходят позже и в меньшем количестве.
Но проверять, что мы не уронили дальние метрики, все равно нужно. Чтобы не случилось, например, что мы привели не тот поток людей — карты открывают, но не пользуются.
Это решается двумя способами:
— Массовый ухудшающий тест до дальних метрик
Например, за квартал 10 тестов показали рост конверсии в следующий шаг и мы их масштабировали.
В конце квартала мы делаем ухудшающий тест, где убираем эти 10 изменений и смотрим, что дальние метрики не изменились или просели. А значит, наши тесты действительно успешные.
Да, из этих 10 тестов парочка могли дальнюю метрику ухудшить и мы этого никогда не узнаем, ну и ладно: мы сэкономили так много времени, что позволило нам получить десять успешных, а не один.
— Вечный контроль
Сложнее в реализации, проще в использовании: выделяется небольшой поток клиентов, у которых вообще не будет никаких изменений, весь флоу остаётся старым.
Тогда и ухудшающих тестов не нужно: просто сверяемся с вечным контролем, что дальние метрики не изменяются, а в идеале тоже растут.
😎 Вроде это все основные пункты, что я хотела сказать про быстрые тесты.
Начало: Проверять гипотезы быстро, Проверять гипотезы быстро-2
А мы тем временем запустили процессы гроусхакинга ещё в двух командах и готовим третью 🔥
Проверять гипотезы быстро-2
Продолжаю про пункты с прошлого поста: теперь про запуск тестов своими силами и (почти) без согласований
⚡️5. Делаем почти все своими силами
В стандартной продуктовой команде при подготовке теста много времени занимает очередь в бэклоге: написать текст, нарисовать дизайн, отревьюить что-то и т.д. Хорошо, если это своя очередь, но часто это либо общие бэклоги или бэклоги соседних команд.
Наш приоритет — скорость, поэтому мы договариваемся или о том, что наши задачи всегда берутся первым приоритетом, или о том, что все делаем сами. Второе на практике выходит проще — все любят помощь и разгрузку
Например, когда тестировали фото, где человек держит карту, просто сами сфоткали руки коллеги на айфон.
А в команде у нас есть редактор и дизайнер — они редактор и дизайнер историй, но пишут тексты и рисуют картинки для наших тестов, чтобы мы не стояли в очереди к UX-редактору и бренд-дизайнеру от продукта.
⚡️6. Максимально обходимся без согласований
Когда я говорила с командами, у которых уже выстроен гроусхакинг, мне кто-то сказал «вы не должны ничего согласовывать» и прибавил «когда вас станут спрашивать, что за дичь вы делаете, это успех» 😃
Нас, конечно, пару раз уже так спросили, но в целом мы на берегу обсуждаем с ключевыми лицами: редакторами, дизайнерами, юристами, что мы будем запускать тесты без их согласования, обещаем совсем уж дурные вещи не делать (типа не материться в эфире) и без них тесты не масштабировать.
В итоге это вин-вин: мы приносим продуктовой команде успешные тесты, а дальше уже вместе обсуждаем масштабирование.
Ну и чтобы все были спокойны, у нас есть чат с анонсами запусков и подведением итогов, чтобы наблюдать за нами в режиме реального времени и, если что, иметь возможность нас стопнуть.
Проверять гипотезы быстро
Подводим сейчас ОКРы — моя гроусхакинг-команда запустила 68 (!) тестов за квартал, в последние недели разогнались до 10 тестов.
Что нам позволяет быстро тестировать:
⚡️1. Тестируем в безрелизных местах
У нас есть пачка мест, где можно без разработки менять тексты, картинки и т.д — используем их, а также запускаем тесты в пушах и смсках.
Параллельно продуктовые команды вкладываются в перевод самых популярных и перспективных мест на безрелизность — это суперинвестиция в будущее.
*⚡️***2. Выбираем места с большим потоком клиентов
Чтобы статзначимость набиралась супербыстро, нам нужны два условия: большой поток и большой аплифт.
Поэтому выбираем места, где клиентов много. Это и логично в плане эффекта на большее количество людей, и позволяет быстро завершать тесты.
⚡️3. Выбираем проседающие места и закладываемся на большой % аплифта
Места, где конверсия 90%, уже вылизаны и принести результат там сложнее, поэтому выбираем места, где конверсия проседает.
Гипотезы тоже выбираем амбициозные: ждать статзначимых изменений на 0,001% — тоже долго. Поэтому мы закладываем бОльшие изменения, минимум пара %. Не набрались эти проценты— обрубаем тест, запускаем новый.
⚡️4. Тестируем до прокси-метрик и максимально своими силами
Суперважные штуки, но об этом в следующем посте (:
Возвращаюсь с нерегулярной рубрикой «что почитать/посмотреть на выходных»
Ленни Рачитски — выпуск "100 вопросов для собеседования" и выпуск про публичные выступления с Мэттом Абрахамсом. На английском
Рассказ Ани Подображных на шоу PPM «из мидла в синьоры» - короткий (16 минут) и классный
Видео про теорию игр (а после него поиграйте в игру-симулятор)
Блог Дуолинго: о разном, в том числе и про продукт. Например, про метрики там разное есть, про геймификацию.
——————
Немного личного: Женя Беляков (он, кстати, сделал лого моему каналу) запустил проект про рабочие пространства. Показала, как работаю я. Ничего сверхъестественного, если честно, стол-стул, но все же :)
——————
И немного Тинькоффского: 16 апреля у нас будет крутой митап про безопасность в продукте.
Помните, как недавно Тинькофф разорвал рынок запуском фичи «защитим или вернем деньги», где, если вас обманут мошенники по телефону, мы возвращаем деньги? Поговорим именно об этом и с теми ребятами, кто это запустил, и как вообще такое стало возможно. А еще поговорим с Авито, как они решают проблему мошенников с «напиши в вотсап». А еще это будет в нашем новом мега-модном офисе. Приходите🐾
Про красивую тетрадь
Наверняка почти все, кто со мной тесно работает, слышали от меня эту метафору. Не помню, откуда я ее взяла, но она со мной давно 🙂
Суть в том, что если вы захотели начать вести дневник, то можно потратить полгода на выбор самой красивой, самой подходящей тетрадки по куче параметров: в клеточку или в линеечку, толстая или тонкая, с мягкой обложкой или твердой, со сменными блоками или без.
А можно взять первую попавшуюся и просто начать. И в процессе уже увидеть, какая тетрадка подходит больше.
Отвечаю этим на все долгие прокрастинации а-ля «у меня все еще нет описания продукта на вики, потому что я никак не могу найти идеальный шаблон для этого». Напиши без шаблона или потрать на поиск час, выбери любой из попавшихся, в процессе уже придет понимание, как структурировать.
Можно начать писать дайджесты без четкой согласованной со всеми структуры, можно набросать роадмап в экселе, можно прикинуть оргструктуру в заметках на маке, можно вести дневник в простой тетрадке. Много чего можно начать прямо сейчас)
Договариваться легко
У меня сейчас гроус-команда, которая помогает продуктовым командам находить точки роста и запускать много тестов (за месяц работы ребята уже вышли на скорость 5 тестов в неделю, я тут в приятном шоке)
Мне и моим ребятам приходится много договариваться внутри: по областям ответственности, задачам, помощи, выделениям людей, да и просто чтобы нас пускали куда-то запускать тесты.
Я вижу, как много людей заходят на подобные встречи с ноги: «здравствуйте, дайте нам разработчика на эту задачу» или «мне тут нужно запустить что-то, дайте мне часть потока»
И вижу, что помогает договариваться мне: я обозначаю запрос, но начинаю всегда не с него, а с рассказа про команду и ее цели, как мы помогаем продукту, что уже сделали и какие у нас существуют похожие договоренности с другими командами и т.д. Это занимает половину или большую часть встречи, но когда есть «кто вы и зачем просите то, что просите», нет негатива и запрос решается очень легко, и так мы постепенно обрастаем поддержкой многих соседей.
В какие-то дни приходится по 10 раз рассказывать одно и то же, но это того стоит. И да, у меня есть и запись с рассказом, но personal touch и возможность ответить сразу же на все вопросы — это немного другое)
Сходила гостем в подкаст к своему коллеге Максу Макарову (пост ниже). Получилось полтора часа разговора обо всем, кроме основной работы, хотя и ее чуток затронули.
Обсудили, что делает команда Origination, в которой работаю, что значит быть «лидером профессии продакт» в Тинькофф, кто такой продакт и какая часть словосочетания важнее — «менеджер» или «продукта». А еще вспомнили давнее: школу и шахматы, и поговорили про капоэйру, в которой я уже 15 (самой не верится) лет
Макс назвал подкаст «продакт менеджер — это про здравый смысл», очень нравится ❤️ и отлично слушается на х1.5 - х2
Ежегодное исследование рынка продактов
Уже во многих продуктовых каналах выставили, так что буду считать, что делаю last call!
Подлодка проводит ежегодное исследование продактов, эта неделя — последняя для ответов на опрос. Вопросов достаточно много (около 50-60), поэтому на выходе получается много интересного и для самих продактов, и для компаний (мы, например, тоже смотрим итоги исследований — насколько силен бренд и т.д)
Призываю пройти всех, кто не прошел: https://survey.alchemer.eu/s3/90657221/2024, займет минут 10. Ну и, говорят, среди прошедших разыгрывают билеты на мартовский сезон Подлодки)
survey.alchemer.eu
Исследование российского рынка продактов, 2024
Исследование российского рынка продактов, 2024.
Советы из наболевшего с собеседований:
- если положили в резюме результат, готовьтесь рассказать как вы измерили влияние именно своей работы на этот результат
- если в резюме есть метрика, готовьтесь рассказать почему вы именно этой метрикой решили заняться
- если в резюме есть что-то про CSAT, то готовьтесь рассказать, чем он отличается от NPS и наоборот
🎄 Друзья, с наступающим! Пусть в 2024 будет много радости и задач интересных :)
Чтобы пост был полезным, но не напряжным, могу вот такое рассказать: я в этом году начала снимать «фильм года». Снимаю каждый день какой-то самый яркий момент, а потом монтирую в ролик. Очень круто потом пересматривать и вспоминать: о, в этот день я с друзьями виделась, в этот спортзал затопило и мы рванули помогать, а здесь я просто кебаб вкусный ела.
Знаю, что есть люди, которые запариваются и монтируют профессионально, с выраниванием звука, спецэффектами и т.д., но я пока просто секунду снимаю и монтирую в приложении 1SE, мне как MVP хватает, занимает максимум 30 секунд в день. В общем, очень советую попробовать! И да, я сначала часто забывала снимать, но чем дальше, тем больше делаешь это просто на автомате.
Мои New year resolutions 2024: спать ложиться вовремя, построить новую команду, делать то, что нравится. Напишите про ваши в комментах и пусть все сбудется 🔴
Канал для поиска исполнителей для разных задач и организации мини конкурсов
Last updated 1 week, 2 days ago
Новые и перспективные Web3 игры с добычей токенов.
Чат: https://t.me/Crypto_Wolf_Chat
Правила чата смотрите в описании чата.
Все свои вопросы направляйте в чат или главному модератору чата: @Exudna_118
По теме сотрудничества: @Zombini
Last updated 23 hours ago