CTR считаем по показам, а трафик делим по пользователям
Метрика эксперимента — CTR баннера, то есть отношение числа кликов к числу показов. Пользователи распределяются по группам один раз и дальше видят баннер многократно: медиана — 6 показов на человека, у активных доходит до сотни.
Аналитик применил t-критерий к выборке из всех показов (по 12 млн в группе) и уже на второй день получил уверенную значимость. Что не так?
- Всё корректно: чем больше наблюдений, тем точнее оценка, показов набралось достаточно
- Показы одного пользователя зависимы: дисперсия занижена, значимость завышена
- Ratio-метрики в A/B неприменимы в принципе, вместо CTR нужно брать число кликов на пользователя
- Дело в раннем сроке: те же вычисления через две недели дадут корректный результат