Метрика выросла на 8% после раскатки на всех: можно ли засчитать эффект
Новый экран оплаты выкатили сразу на 100% пользователей. Сравнили конверсию в оплату за две недели до и две недели после: рост на 8%. Команда предлагает записать это в результат квартала.
Что корректно сказать про такой вывод?
- Вывод надёжен, если дополнительно посчитать p-value для разницы двух периодов
- Вывод ненадёжен только из-за длины окна: те же две недели против двух месяцев дадут корректную оценку
- Вывод надёжен: оба периода внутри одного месяца, значит внешние условия совпадают
- Вывод ненадёжен: сезонность, промо и смена состава трафика — нужна контрольная группа