Тест на 800 пользователях не нашёл эффекта — значит, фича бесполезна?
Новая функция должна повысить конверсию с 5% на 0,5 п. п. Тест провели на 800 пользователях (по 400 в группе), p-value 0,41. Продакт-менеджер предлагает закрыть направление: «эффекта нет».
Как правильно интерпретировать?
- Мощность мала — тест не мог обнаружить такой эффект
- p-value 0,41 доказывает отсутствие эффекта
- Нужно понизить уровень значимости до 0,01
- Эффект есть, раз p-value меньше 0,5