Аналитик проверяет тест каждый день и останавливает его при p < 0,05
Дашборд эксперимента обновляется ежедневно. Договорённость в команде: как только p-value опустится ниже 0,05, тест останавливают и раскатывают победителя. Обычно на это уходит 4–6 дней вместо запланированных двух недель.
Чем это оборачивается?
- Ничем: p-value не зависит от того, сколько раз на него посмотрели
- Доля ложных срабатываний окажется заметно выше заявленных 5%
- Снижается мощность теста, но заявленный уровень значимости в 5% сохраняется
- Проблема решается повышением порога до 0,1 при ежедневных проверках