Ловить прирост конверсии 2.0% → 2.1% при трафике 3 000 в день на группу
Базовая конверсия в покупку — 2%. Продакт хочет, чтобы тест уверенно детектировал относительный прирост в 5% (то есть 2.0% → 2.1%). Доступный трафик — около 3 000 пользователей в день на группу.
Как к этому отнестись?
- Двух недель хватит: 3 000 в день дают 42 000 пользователей на группу, а это достаточный объём практически для любого продуктового теста — тем более что покупка не редкое событие, и прирост в 0.1 п.п. будет виден уже к концу первой недели, а вторая неделя нужна только для подстраховки от недельной сезонности
- Требуемый размер выборки не зависит от базовой конверсии: он определяется только уровнем значимости и мощностью
- При конверсии 2% и MDE в 0.1 п.п. потребуются сотни тысяч пользователей на группу — тест растянется на месяцы. Разумнее либо повысить MDE и тестировать более смелые изменения, либо перейти на более чувствительную метрику и методы снижения дисперсии
- Можно запустить тест на неделю и, если значимости нет, продлевать его до тех пор, пока она не появится