На четвёртый день теста p-value опустился ниже 0.05
Тест спланирован на 14 дней исходя из расчёта размера выборки под нужный MDE. На четвёртый день менеджер смотрит дашборд, видит p-value = 0.04 и предлагает остановить эксперимент и раскатывать вариант B.
Что вы отвечаете?
- Останавливать нельзя: подглядывание с остановкой по первому p < 0.05 сильно повышает долю ложноположительных выводов
- Можно останавливать: нужный уровень значимости достигнут, дальнейший набор данных ничего не изменит
- Нужно продлить тест до тех пор, пока p-value не опустится ниже 0.01: тогда вывод будет надёжным при любой остановке
- Достаточно перезапустить тест с нуля на другой аудитории и сравнить результаты двух запусков