Остановка A/B-теста на третий день из-за p-value ниже 0.05
Тест рассчитан на две недели по размеру выборки, необходимому для выбранного MDE. На третий день в дашборде эксперимента p-value = 0.04 в пользу тестовой группы. Команда предлагает остановить тест и раскатывать.
Что верно?
- Останавливать можно: p-value ниже 0.05 означает, что эффект подтверждён, а дальнейшие дни его только уточнят; пока изменение не раскатано, вся аудитория продолжает получать худший вариант, поэтому при достигнутой значимости правильнее выкатывать сразу, а освободившийся трафик пустить на следующую гипотезу из бэклога
- Останавливать нельзя: если смотреть на результат каждый день и останавливаться на первом значимом, доля ложноположительных выводов становится намного выше заявленных 5%. Тест доводят до заранее рассчитанного размера выборки либо изначально закладывают методы последовательного тестирования
- Останавливать можно, если наблюдаемая разница по абсолютной величине больше MDE — это дополнительная гарантия сверх p-value
- Останавливать нельзя только из-за неполной недели: достаточно докрутить тест до ровных 7 дней, чтобы снять недельную сезонность