Фича для 5% оплат обещает рост на 0,5%, а тест различает только 3%
Предлагают переделать ввод промокода на шаге оплаты. Промокод используют в 5% оплат. Оптимистичная оценка — конверсия этих пользователей вырастет на 10%. Разработка займёт 6 недель двух разработчиков. При текущем трафике A/B-тест за месяц надёжно заметит изменение числа оплат не меньше 3%.
Как поступить с гипотезой?
- Отложить: эффект мал и тестом его не измерить
- Сделать и проверить A/B-тестом на всех
- Сделать и сравнить неделю до и после
- Взять в работу: +10% — хороший прирост