CTR в тесте посчитан t-тестом, где каждый показ — отдельное наблюдение
Тест новой выдачи поиска, сплит по пользователям. В каждой группе около 50 тысяч пользователей и по 4 миллиона показов товаров. Аналитик считает CTR как клики / показы и сравнивает группы t-тестом, где каждый показ — наблюдение со значением 0 или 1. Получилось p = 0,001 при росте CTR на 0,6%.
Что не так с расчётом?
- Показы одного пользователя зависимы между собой
- Всё верно: миллионы показов дают точный тест
- Для CTR нужно брать медиану, а не среднее
- Нужно убрать пользователей без единого клика