CTR как отношение сумм и t-тест по показам
Метрика теста — CTR, посчитанный как отношение суммы кликов к сумме показов по группе. Рандомизация выполнена по пользователю, но статистический критерий применили к выборке показов: каждый показ считается наблюдением со значением 0 или 1.
Чем это плохо?
- Ничем: показов на порядок больше, чем пользователей, поэтому доверительный интервал уже и оценка точнее
- Единица рандомизации — пользователь, а показы одного пользователя зависимы: дисперсия занижается, ложных выводов больше
- CTR — это доля, поэтому здесь подходит только критерий хи-квадрат, а t-тест неприменим в принципе
- Нужно считать среднее пользовательских CTR: это единственная корректная постановка для ratio-метрик