Вступить в клуб →

Метрика выросла на 8% после раскатки на всех: можно ли засчитать эффект

Новый экран оплаты выкатили сразу на 100% пользователей. Сравнили конверсию в оплату за две недели до и две недели после: рост на 8%. Команда предлагает записать это в результат квартала.

Что корректно сказать про такой вывод?

  • Вывод надёжен, если дополнительно посчитать p-value для разницы двух периодов
  • Вывод ненадёжен только из-за длины окна: те же две недели против двух месяцев дадут корректную оценку
  • Вывод надёжен: оба периода внутри одного месяца, значит внешние условия совпадают
  • Вывод ненадёжен: сезонность, промо и смена состава трафика — нужна контрольная группа

Проверка ответа — в клубе

  • Мгновенная проверка ответа
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

регистрация занимает минуту

Другие задачи раздела