Precision-based designs for sequential randomized experiments Для тех кто привык следовать Fixed Horizon или mSPRT дизайну появилась альтернатива от Spotify. В пейпере рассматриваются два типа дизайна и их достоинства перед Sequential Test / FH: - FWCID…

Spotify Engineering

Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at

Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at - Spotify Engineering

Precision-based designs for sequential randomized experiments

Для тех кто привык следовать Fixed Horizon или mSPRT дизайну появилась альтернатива от Spotify. В пейпере рассматриваются два типа дизайна и их достоинства перед Sequential Test / FH:
- FWCID (fixed-width confidence interval design)
- FPD (fixed power design)

В отличие от подхода Wald'а, который принято чаще остальных использовать в качестве инструмента для последовательного тестирования, который отвечает на вопрос "есть ли эффект?", мы хотели бы ответить на вопрос "какова величина эффекта?".

Помимо этого, авторы ссылаются на другие недостатки классического подхода: меньшая мощность, чем у fixed-sample дизайна, а также ожидание конечного рассчитанного времени.

Подкреплено это все симуляциями MC на julia + python

Подробнее изучить на архиве:
https://arxiv.org/pdf/2405.03487

Самый важный SQL-запрос в моей карьере.

Сегодняшний пост про анализ аб-тестов. Будет полезен всем аналитикам и bi-девелоперам.

Создатель in-house платформы для A/B-тестирования в Авито Данила Леньков делится лайфаком: как свести задачу расчета Minimum Detectable Effect к простому SQL-запросу.

Читайте и делитесь в комметриях своими лайфхаками про анализ #аб!

Telegraph

Самый важный SQL-запрос в моей карьере или как посчитать MDE правильно

Больше 6 лет я занимаюсь вопросами культуры и автоматизации A/B-тестирования. Сотни часов я провел, консультируя аналитиков внутри и за пределами Авито по вопросам дизайна экспериментов. Тема A/B не всегда дается легко, несмотря на большое количество материалов…

Choosing a Proxy Metric from Past Experiments

Пейпер от Гугла на тему поиска прокси для экспериментов к таргет метрике

Из интересного:
- Авторы вводят свое понимание термина proxy quality. Они ссылаются на то, что в литературе это обычно не подсвечивается, но ничего нового по сути в определении нет. Нужно чтобы была высокая чувствительность и сонаправленность изменений у прокси с таргетом

- Они не выделяют какую-то одну прокси, а предлагают использовать composite proxy metric, которая по сути является набором нескольких ATE, что логично, в целом. Все это сопутствуется оптимизацией шума для получения более высокой чувствительности и направленности

- Ну и показывают результаты на 307 отобранных АБ, где иллюстрируют эффективность подобранной прокси (по их формуле, им удалось достигнуть 0.666 proxy score)

Что мне кажется является упущением в расчете Proxy Score (Detection\-Mistake) / Number of experiments where the north star is significant – строгое определение detection и mistake. У Detection знаки прокси и таргета одинаковые, у Mistake разные. Нередко бывает ситуация, если одна метрика падает, то другая, наоборот, будет расти (банально до нельзя – снизил расходы, вышел в плюс в прибыли). Но это так, возможно мелочи.

https://arxiv.org/pdf/2309.07893

Давно EXPF не проводил митапов и это пора исправлять!

25 апреля с 18:00 до 20:00 по Мск онлайн митап EXPF в партнерстве с прекрасными DataGo!

Традиционно, будем говорить про метрики, эксперименты и автоматизацию.

Программа:

▫️18:00 – 18:30 Как из подручных средств организовать процесс А/В тестирования
Макс Шевченко, Head of Experimentation Platfrom OKKO

▫️18:30 – 19:00 Критерии валидности АБ-тестов
Полина Ревина, руководитель платформы экспериментов СберМаркет

▫️19:00 – 19:30 Поиск Эффективных Прокси-Метрик,
Александр Кузнецов, ведущий аналитик EXPF

▫️19:30 — 20:00 Сбор качественных данных для проведения А/Б тестов
Константин Елисеев, Product manager DataGo!

Зарегистрироваться на мерприятие можно по ссылке:
https://expf.ru/expf_datago

Друзья,

По решению организаторов, митап был перенесен на 4 апреля в 18.00 по Москве

Просим прощения за доставленные неудобства

https://sbermarket.timepad.ru/event/2813000/

sbermarket.timepad.ru

A/B Platform Meetup | SberMarket Tech / События на TimePad.ru

Приглашаем на онлайн-митап СберМаркет Tech. Регистрируйся и присоединяйся к нам! Трансляция здесь: www.youtube.com/watch?v=YoTTuiVDeMo...

митАп vs митBп
У нас A/B-платформа, а у вас?

28 марта в 18:00 по Москве мы соберемся на онлайн-митап, чтобы поговорить про А/В-платформы, тесты и процессы, с этим связанные.

Вас ждут доклады и панельная дискуссия:

‌?Система автоматического расчёта А/В тестов. Рамиль Чермантеев, руководитель команды аналитиков-инженеров платформы экспериментов СберМаркета, расскажет, что автоматический расчет из себя представляет и с какими трудностями мы столкнулись при его развитии.

‌?Как привести эффекты от A/B-экспериментов к масштабу всей компании? Артем Дронов, аналитик АВ-платформы, Авито, поделится методологией приведения и оценки результатов экспериментов к масштабу всей компании.

‌?Система офлайн-экспериментов. Полина Ревина, и.о. руководителя A/B-платформы в СберМаркете, расскажет о свитчбэк-тестах и тестах в магазинах, сплитование для которых делается офлайн.

?Open Talks: Как развивать и масштабировать платформы и процесс проведения экспериментов. Модератор дискуссии со спикерами – Искандер Мирмахмадов, co-founder EXPF.

Регистрируйтесь, чтобы получить ссылку на трансляцию ?

Мы открыли вакансию middle-аналитика в EXPF
Вакансия https://hh.ru/vacancy/82857282

Откликнуться [email protected] или в личку @iskndr_m.
Предпочтительно на почту или тг

https://hh.ru/vacancy/94622691

hh.ru

Вакансия Middle Data analyst в Москве, работа в компании EXPF (вакансия в архиве c 24 июля 2023)

Зарплата: не указана. Москва. Требуемый опыт: 1–3 года. Полная занятость. Дата публикации: 24.07.2023.

Развитие культуры экспериментирования в компании

Совсем недавно мы проводили исследование для одного из клиентов, где необходимо было разработать action-план на будущие кварталы. Один из множества аспектов экспериментирования был культурный аспект.

Для исследования мы нашли десятки источников и я готов поделиться тремя достойными, которые включают в себя ценности, принципы и инструменты, позволяющие драйвить экспериментирование в компании:

The Evolution of Continuous Experimentation in Software Product Development – видение Microsoft затрагивает 3 трэка эволюции экспериментов, в которых 6 категорий: a) Techinical focus of product dev. Activities; b) Experimentation platform complexity; c) Experimentation pervasiveness; d) Engineering team-self-sufficiency; e) Experimentation team org.; f) OEC. Док представляет удобную концептуальную схему эволюции, можно брать на вооружение для понимания "где мы сейчас"

Organising for scaled experimentation – мало кому известная в России компания Vista, в которой сейчас работает Lukas Vermeer (ex. Booking Chief Exp Officer), описывает в этом доке организационную структуру команды экспериментов. Частично идейность перекликается с тем, что описано в Microsoft. А именно внедрение Experimentation Ambassadors в компанию с частичной централизацией в Center of Excellence.

Democratizing online controlled experiments at
Booking.com – в авторах этого пейпера также числится Lukas Vermeer. Материал описывает ценности, обеспечивающие экспериментирование в Booking'е. На мой взгляд к нескольким ценностям отсюда можно придти, только когда все детские проблемы уже решены. Но как полезный источник взглядов выглядит неплохо