Конверсия в оформление +5%, отмены выросли с 4% до 11%
Заказ в один клик дал в тесте +5% к конверсии в оформление, фичу раскатали. Через месяц: доля отмен выросла с 4% до 11%, обращения в поддержку — на 30%, выручка не изменилась.
Как оценить результат?
- Результат положительный: целевая метрика теста выросла, отмены — зона операционной команды.
- Результат отрицательный: рост отмен почти втрое означает, что фичу надо откатывать без дальнейших расчётов.
- Тест некорректен: конверсию в оформление вообще нельзя измерять в продукте, где заказы можно отменять.
- Пересчитать эффект по метрике доставленных и оплаченных заказов и добавить guardrail на отмены и нагрузку на поддержку.