p = 0.64 и вывод «эффекта нет»
Результаты теста: 600 пользователей в контроле и 600 в тесте, конверсия 2.0% против 2.4%, двусторонний p = 0.64.
В отчёте написано: «фича не работает, эффекта нет, гипотеза опровергнута».
Выберите корректную формулировку вывода.
- Эффект не обнаружен на этой выборке: мощности не хватает, чтобы отличить +0.4 п.п. от шума. Нужно показать доверительный интервал разницы и сравнить его с MDE — вывод «эффекта нет» из этих данных не следует
- Вывод верный: p выше 0.05 доказывает, что различий между вариантами нет, а чем больше значение p, тем сильнее это доказательство — при 0.64 группы можно считать практически идентичными
- Вывод верный, но требует подтверждения: если и на второй метрике p окажется выше 0.05, гипотезу можно считать окончательно опровергнутой
- Раз p сильно выше 0.05, верно и обратное утверждение: эффект заведомо не превышает 0.4 п.п., поэтому фичу можно закрывать как экономически бессмысленную, не тратя время на доверительный интервал и повторную проверку на большей выборке