Зачем целевую метрику и минимальный эффект фиксируют до запуска теста
Перед запуском A/B-теста команда спорит, какую метрику считать главной и какой прирост считать успехом. Кто-то предлагает решить это после теста, «когда будут данные».
Почему целевую метрику и минимальный значимый эффект фиксируют заранее?
- Чтобы аналитик заранее подготовил запросы к витрине данных и не задерживал разбор результатов.
- Чтобы после теста не выбирать ту метрику, которая случайно сдвинулась в нужную сторону.
- Чтобы дизайн эксперимента соответствовал регламенту Scrum-церемоний и был принят на планировании.
- Чтобы можно было остановить тест в любой момент без потери корректности выводов.