Зачем перед серией экспериментов прогонять A/A-тест
Перед запуском продуктовой программы экспериментов команда две недели гоняет A/A-тесты: обе группы получают одинаковый продукт, но проходят через сплит-систему и всю цепочку сбора метрик.
Какую задачу решает эта работа?
- Прогреть кэши и наполнить дашборды историей, чтобы боевой тест сразу считался быстрее и без пропусков в данных
- Проверить сплит-систему и критерий: доля значимых различий должна быть близка к заявленному уровню значимости
- Повысить мощность будущих тестов за счёт истории, накопленной по обеим группам до старта эксперимента
- Оценить естественный прирост метрик, чтобы потом вычитать его из эффекта боевого теста