Доли групп разошлись: 50.9% против 49.1%
Тест рассчитан на равное разбиение 50/50. По факту в группу A попало 610 800 пользователей, в группу B — 589 200, всего 1.2 млн. Проверка равенства долей даёт p < 0.001. Целевая метрика в группе B выше на 2.1%, результат значим.
Что делать с этим результатом?
- Считать результат непригодным: разъезд долей означает поломку в разметке или сборе данных, эффект интерпретировать нельзя
- Принять результат: перекос меньше двух процентов, а на аудитории в миллион с лишним пользователей это несущественно
- Нормировать метрики на фактические размеры групп: относительные величины от перекоса не зависят, анализ можно продолжать
- Добрать пользователей в меньшую группу за следующую неделю до равного размера и пересчитать результат на выровненных выборках