На третий день теста вариант B впереди на 12%: раскатывать?
Тест рассчитан на две недели по нужной выборке. На третий день вариант B опережает контроль на 12%, и калькулятор показывает значимость. Маркетинг просит раскатать сейчас, чтобы не терять выручку.
Что вы отвечаете?
- Раскатать сразу: значимость по калькулятору достигнута, а каждый день ожидания теряет для компании выручку.
- Раскатать на половину аудитории прямо сейчас, оставив тест идти на второй половине до конца срока.
- Дождаться расчётной выборки: подглядывание резко повышает вероятность ложного результата, а ранний эффект обычно ужимается.
- Перезапустить тест с нуля на вдвое увеличенной выборке, а накопленные за первые три дня данные удалить.