Тест закончился без статистической значимости: какой вывод корректен
Двухнедельный A/B-тест новой карточки товара завершился, набрав запланированную выборку. Статистически значимого различия между группами не получено.
Какой вывод корректен?
- Эффекта нет: тест это доказал, изменение можно откатывать и не тратить на его поддержку время команды.
- Тест сломан: при корректной разметке и достаточной выборке значимость достигается практически всегда.
- Данных не хватило, чтобы отличить эффект нужного размера от шума: возможен и небольшой эффект, и его отсутствие.
- Тест надо продлить ещё на две недели, дождаться появления значимости и тогда зафиксировать результат.
