Выбор ковариаты для CUPED
Чтобы повысить чувствительность теста, вы применяете CUPED. Коллега предлагает взять в качестве ковариаты число заказов пользователя за период самого эксперимента: «эта величина сильнее всего коррелирует с целевой метрикой, значит дисперсия упадёт максимально».
Что с этим предложением?
- Так делать нельзя: ковариата сама зависит от воздействия и оценка эффекта смещается, берут значение за предпериод
- Предложение верное: чем выше корреляция ковариаты с целевой метрикой, тем сильнее CUPED снижает дисперсию
- Так можно, но только если проверить, что средние ковариаты в группах не различаются значимо
- Разницы нет: CUPED корректирует только дисперсию и на точечную оценку эффекта не влияет вовсе