В A/B-тесте получили p-value 0,03: как сформулировать это заказчику
Эксперимент по новой карточке товара завершён, различие конверсий значимо, p-value = 0,03.
Продакт просит объяснить эту цифру человеческими словами. Какая формулировка корректна?
- Вероятность того, что вариант B лучше варианта A, равна 97%, а оставшиеся 3% — это риск ошибки
- Эффект варианта B относительно контроля составляет около 3% по конверсии
- Если разницы нет, такой или более сильный результат встречается примерно в 3% случаев
- Вероятность ошибиться, объявив вариант B победителем, равна 3%