Сплит задан 50/50, а в группах 501 800 и 498 200 пользователей
Эксперимент запускался с равным разделением трафика. Через неделю в контроле 501 800 пользователей, в тесте — 498 200, расхождение около 0,36%. Проверка соответствия долей даёт p-value меньше 0,001.
Конверсия в тесте при этом выше на 2,1% и значима. Что делать?
- Расхождение в 0,36% несущественно и на выводы по конверсии не влияет
- Взвесить группы по фактическому размеру и продолжить анализ метрик
- Это SRM: случайностью такое расхождение не объясняется, метрики пока не читают
- Это нормально: система разделения выравнивает размеры групп только к концу эксперимента