Вступить в клуб →
сложнаявопросПродвинутые эксперименты: CUPED, ratio-метрики, сетевые эффекты

Изменение на шаге оплаты видят 8% участников теста, эффект на всех незначим

Тест новой формы ввода карты. В тест распределили всех посетителей сайта, но до шага оплаты доходят только 8% из них — остальные изменения не видят. Конверсия всех участников в оплату выросла на 0,4%, p = 0,35. Продакт предлагает «посчитать только тех, кто видел новую форму, против всего контроля».

Как проанализировать тест корректно?

  • Сравнить дошедших до оплаты в обеих группах
  • Сравнить видевших форму со всем контролем
  • Признать, что эффекта у новой формы нет
  • Сравнить видевших форму с не дошедшими

🔒 Проверка ответа — для участников клуба

  • Проверка ответа
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

Регистрация занимает минуту

Другие задачи раздела