Фича раскатывается сразу на весь регион — как измерить эффект
Новый тариф доставки нельзя разделить внутри города: он включается для всего региона целиком по договорённости с логистикой. Классический A/B-сплит по пользователям невозможен. Бизнес всё равно требует оценку эффекта на выручку.
Какой подход здесь основной?
- Сравнить выручку региона до и после включения тарифа — разница и будет эффектом
- Сравнить тестовый регион с остальными за период после запуска: аудитория крупная, различия усреднятся
- Difference-in-differences на сопоставимых контрольных регионах с проверкой параллельности трендов до запуска
- Отказаться от оценки: без корректной рандомизации любой вывод об эффекте некорректен