Изменение на шаге оплаты видят 8% участников теста, эффект на всех незначим
Тест новой формы ввода карты. В тест распределили всех посетителей сайта, но до шага оплаты доходят только 8% из них — остальные изменения не видят. Конверсия всех участников в оплату выросла на 0,4%, p = 0,35. Продакт предлагает «посчитать только тех, кто видел новую форму, против всего контроля».
Как проанализировать тест корректно?
- Сравнить дошедших до оплаты в обеих группах
- Сравнить видевших форму со всем контролем
- Признать, что эффекта у новой формы нет
- Сравнить видевших форму с не дошедшими
