Из 18 метрик значимой оказалась одна
В отчёте по эксперименту приведены 18 метрик. Основная метрика (конверсия в оплату) не изменилась, p = 0.62. Значимой оказалась одна метрика — клики по баннеру в футере, p = 0.03. Команда предлагает записать в результаты «рост вовлечённости».
Как поступить корректно?
- Раз метрика значима, эффект есть: можно фиксировать рост кликов как результат теста и раскатывать изменение
- При 18 проверках одно срабатывание на уровне 0.05 ожидаемо случайно. Решение принимается по заранее заявленной основной метрике, а на остальные применяют поправку на множественные сравнения; найденное можно оформить как новую гипотезу и проверить отдельным тестом
- Продлить тест до тех пор, пока по основной метрике тоже не наберётся значимость, а клики уже засчитать в результат
- Поправки на множественность нужны, когда метрик больше сотни: вероятность ложного срабатывания растёт заметно только при десятках и сотнях проверок, а на полутора десятках метрик ею можно пренебречь и трактовать каждый p-value отдельно, как если бы метрика в отчёте была единственной