Корреляция выручки до и во время теста 0,7: сколько пользователей нужно с CUPED
Без поправок для теста с нужным MDE требуется 200 тысяч пользователей на группу. Корреляция выручки пользователя за 4 недели до теста и за 4 недели теста — 0,7. Команда применяет CUPED с этой ковариатой.
Сколько пользователей понадобится примерно?
- Около 100 тысяч: дисперсия падает до 51%
- Около 60 тысяч: дисперсия падает на 70%
- Около 140 тысяч: дисперсия падает до 70%
- Те же 200 тысяч: CUPED меняет лишь среднее