Анатолий Карпов, «Методы оценки размера выборки в А/Б-тестах. От размера эффекта до симуляций»

Анатолий Карповm, СЕО Kolesa Conf 2022, 8 октября Описание доклада: Уметь отвечать на вопрос «Как долго должен идти А/Б-тест?» — важнейший навык аналитика. Если вы запускаете А/Б-тест на глазок, будьте готовы, что вас ждёт множество проблем: проблема подглядывания, недостаточная мощность теста, ложные срабатывания. Мы подробно разберём, как правильно оценивать размер выборки и время проведения теста, и с какими неочевидными трудностями вы можете столкнуться на этом пути. В докладе обсудим: – Как правильно подглядывать за А/Б-тестами. – Что сильнее: t-test или непараметрика? – Почему симуляция данных позволяет глубже понять свой продукт. – Как правильно оценить размер выборки для эксперимента в случае нетривиального дизайна исследования.