CUPED сократил сроки тестов, но на новых пользователях не дал ничего
Чтобы ускорить эксперименты, в платформу внедрили CUPED: в качестве ковариаты берут значение той же метрики за две недели до старта теста.
На тестах для действующей базы длительность экспериментов сократилась примерно на треть. На тестах, которые крутятся только на новых пользователях, выигрыша нет вовсе — ширина доверительных интервалов не изменилась. Как это объяснить?
- CUPED смещает оценку эффекта на новых пользователях, поэтому поправку приходится вносить вручную
- Ковариату нужно брать за период самого эксперимента — тогда метод заработает и на новых пользователях
- Дело в объёме: на новых пользователях CUPED требует примерно вдвое больше трафика, чтобы дать выигрыш
- У новых пользователей нет предпериода, ковариата не коррелирует с метрикой — снижать нечего