Группы разъехались: 51 200 против 48 800 при сплите 50/50
Эксперимент запущен со сплитом 50/50. Через неделю в группах: контроль — 51 200 пользователей, тест — 48 800 (всего 100 000). Тестовая группа показывает значимый рост конверсии.
Как интерпретировать ситуацию?
- Отклонение в 1.2 п.п. в пределах нормы: при 100 000 пользователей группы редко получаются идеально равными, а случайные колебания размера тем заметнее, чем больше выборка, поэтому разница в пару тысяч человек ничего не говорит о качестве сплита
- Нужно взвесить группы, приведя их к 50/50, и дальше считать метрики как обычно
- Разница в размерах групп влияет только на мощность теста, на валидность результата — нет
- Это признак SRM: при честном сплите такое отклонение практически невероятно, значит сломан механизм разделения или сбор данных. Результат теста интерпретировать нельзя, пока причина не найдена