Вступить в клуб →
лёгкаявопросA/B-тесты и проверка гипотез

Тест закончился без статистической значимости: какой вывод корректен

Двухнедельный A/B-тест новой карточки товара завершился, набрав запланированную выборку. Статистически значимого различия между группами не получено.

Какой вывод корректен?

  • Эффекта нет: тест это доказал, изменение можно откатывать и не тратить на его поддержку время команды.
  • Тест сломан: при корректной разметке и достаточной выборке значимость достигается практически всегда.
  • Данных не хватило, чтобы отличить эффект нужного размера от шума: возможен и небольшой эффект, и его отсутствие.
  • Тест надо продлить ещё на две недели, дождаться появления значимости и тогда зафиксировать результат.

🔒 Проверка ответа — для участников клуба

  • Проверка ответа
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

Регистрация занимает минуту

Другие задачи раздела