Значимый рост выручки на пользователя держится на нескольких крупных покупках
Метрика теста — выручка на пользователя. Распределение с тяжёлым хвостом: 96% пользователей не платят вообще, а в тестовой группе есть один заказ на 400 000 ₽ и ещё три свыше 100 000 ₽. Обычный t-тест даёт p = 0.03 в пользу теста.
Как поступить?
- Проверить устойчивость результата: построить доверительный интервал бутстрэпом, посмотреть эффект после винзоризации хвоста и разложить метрику на конверсию в покупку и средний чек. Решение принимать по устойчивой оценке, а не по одному прогону t-теста
- Доверять результату как есть: на больших выборках t-тест устойчив к любому распределению по центральной предельной теореме
- Удалить выбросы из тестовой группы, контроль оставить без изменений и пересчитать: так эффект очистится от аномалий
- Перейти к сравнению медиан: медианная выручка на пользователя и есть корректная метрика денег в продуктовых экспериментах