180 корпоративных клиентов: как проверить гипотезу про онбординг без мощности на A/B
B2B-продукт: 180 корпоративных клиентов, у каждого своё внедрение длиной в недели. Вы хотите проверить, ускорит ли новый онбординг выход клиента на регулярное использование. Классический A/B на пользователях мощности не наберёт.
Как проверять гипотезу?
- Раскатать на всех и сравнить квартал до и квартал после: при таком объёме это единственный способ.
- Отложить проверку до момента, когда клиентов станет достаточно для статистически значимого теста.
- Дать новый онбординг части новых клиентов схожего профиля, оставив контрольную группу, и разобрать каждое внедрение.
- Снизить порог значимости с 0,05 до 0,2, чтобы имеющейся выборки хватило для формального вывода.