CTR вырос на 12%, конверсия в оплату не изменилась: что делать с раскаткой
Тест новой карточки товара, две недели, выборка добрана до расчётной. Результаты:
- CTR из каталога в карточку: +12%, p < 0.01
- конверсия в оплату: без значимых изменений
- средний чек: без изменений
- время загрузки карточки: +300 мс
Основной метрикой эксперимента заранее заявлена конверсия в оплату. Выберите два корректных действия.
правильных вариантов может быть несколько
- Зафиксировать, что рост произошёл на промежуточной метрике и до денег не дошёл: решение о раскатке принимается по заранее заявленной основной метрике
- Раскатить: значимый рост CTR доказывает, что карточка нравится пользователям, а выручка подтянется со временем, как только они привыкнут к новому виду каталога; 300 мс задержки на этом фоне несущественны
- Проверить guardrail-метрики — скорость загрузки, долю отказов, нагрузку на поддержку — и оценить, не ухудшает ли изменение продукт при нулевом росте выручки
- Продлевать тест, пока конверсия в оплату не станет значимой: направление эффекта уже понятно
- Сделать CTR основной метрикой продукта: он набирает значимость быстрее и потому надёжнее конверсии в оплату