Вступить в клуб →

CTR как отношение сумм и t-тест по показам

Метрика теста — CTR, посчитанный как отношение суммы кликов к сумме показов по группе. Рандомизация выполнена по пользователю, но статистический критерий применили к выборке показов: каждый показ считается наблюдением со значением 0 или 1.

Чем это плохо?

  • Ничем: показов на порядок больше, чем пользователей, поэтому доверительный интервал уже и оценка точнее
  • Единица рандомизации — пользователь, а показы одного пользователя зависимы: дисперсия занижается, ложных выводов больше
  • CTR — это доля, поэтому здесь подходит только критерий хи-квадрат, а t-тест неприменим в принципе
  • Нужно считать среднее пользовательских CTR: это единственная корректная постановка для ratio-метрик

Проверка ответа — в клубе

  • Мгновенная проверка ответа
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

регистрация занимает минуту

Другие задачи раздела