Вступить в клуб →

CTR в тесте посчитан t-тестом, где каждый показ — отдельное наблюдение

Тест новой выдачи поиска, сплит по пользователям. В каждой группе около 50 тысяч пользователей и по 4 миллиона показов товаров. Аналитик считает CTR как клики / показы и сравнивает группы t-тестом, где каждый показ — наблюдение со значением 0 или 1. Получилось p = 0,001 при росте CTR на 0,6%.

Что не так с расчётом?

  • Показы одного пользователя зависимы между собой
  • Всё верно: миллионы показов дают точный тест
  • Для CTR нужно брать медиану, а не среднее
  • Нужно убрать пользователей без единого клика

Проверка ответа — в клубе

  • Мгновенная проверка ответа
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

регистрация занимает минуту

Другие задачи раздела