Рекомендации работают на всех полгода, и никто не может сказать, сколько они приносят
Персональные рекомендации раскатили на 100% пользователей полгода назад после успешного двухнедельного A/B-теста. Руководство спрашивает, сколько они приносят сейчас: алгоритм с тех пор трижды меняли, ассортимент вырос вдвое. Результаты старого теста уже неактуальны.
Что стоит сделать для таких фич в будущем?
- Держать постоянную контрольную группу в 2–5%
- Выключать рекомендации всем раз в полгода
- Спрашивать пользователей о пользе в опросе
- Сравнивать выручку с прогнозом до запуска