Сравнили неделю до и неделю после раскатки на 100%: почему вывод ненадёжен
Новую форму оплаты раскатали сразу на 100% пользователей в понедельник. Сравнили конверсию в оплату за неделю до и неделю после: +9%. Команда предлагает записать это в результаты квартала.
Почему такому выводу нельзя доверять?
- Неделя — слишком короткий период: надо сравнить теми же двумя точками, но месяц к месяцу.
- Нет контрольной группы: тот же рост могли дать сезонность, смена структуры трафика или соседний релиз.
- Конверсию нельзя сравнивать в процентах: корректный вывод даёт только абсолютное число оплат.
- Раскатывать надо было не в понедельник, а в середине недели: начало недели искажает конверсию.