Как трактовать p-value 0.03 в отчёте по A/B-тесту
В A/B-тесте конверсия в группе B выше на 0.4 п.п., p-value = 0.03 при заранее выбранном уровне значимости 0.05. Заказчик пишет в чат: «то есть с вероятностью 97% вариант B лучше, катим».
Как корректно поправить эту формулировку?
- Формулировка верна: величина 1 − p и есть вероятность того, что вариант B действительно лучше варианта A
- p-value — вероятность увидеть различие не меньше наблюдаемого, если разницы нет; это не вероятность гипотезы
- p-value показывает, что различие сохранится в 97 случаях из 100 при повторе теста на той же аудитории
- p-value = 0.03 означает, что 3% пользователей отреагировали на изменение отрицательно, и это надо учесть при раскатке