Из 20 метрик эксперимента значимой оказалась одна второстепенная
Гипотеза была про рост конверсии в заказ. По ней различий не нашли. В отчёте смотрели ещё 19 дополнительных метрик, и у одной из них — доли пользователей, открывших раздел «Избранное», — p-value = 0,04.
Команда предлагает считать эксперимент успешным по этой метрике. Что ответит аналитик?
- Находка валидна: p-value ниже 0,05, значит эффект есть
- Второстепенную метрику следует объявить основной, раз именно по ней получена значимость
- Достаточно перейти к доверительным интервалам — на них множественность проверок не влияет
- При 20 проверках одна случайная значимость ожидаема — нужна перепроверка