Скидка пассажирам в тесте такси забирает машины у контрольной группы
Сервис такси тестирует скидку 15% для пассажиров, сплит 50/50 по пользователям в одних и тех же городах. В тестовой группе поездок на 12% больше, чем в контрольной. Водители общие: тестовые пассажиры заказывают чаще, и в часы пик контрольным пассажирам чаще не хватает машин.
Как спроектировать эксперимент корректнее?
- Рандомизировать города или интервалы времени
- Увеличить обе группы, чтобы сузить интервал
- Сплитовать по устройствам, а не по аккаунтам
- Считать эффект только по первым дням теста