Сплит эксперимента на уровне сессии вместо пользователя
Тестируют новый экран корзины. Распределение по группам сделано на уровне сессии: при каждом заходе пользователь заново попадает в контроль или в тест.
За неделю активный пользователь успевает увидеть оба варианта. В качестве метрик заявлены конверсия в заказ, выручка на пользователя и возврат на 7-й день.
Что здесь не так?
- Сплит по сессиям даёт больше наблюдений и потому точнее: экран корзины пользователь оценивает в каждом визите заново, а увеличенное число наблюдений сокращает срок теста и сужает доверительный интервал; выручку и возврат на 7-й день при этом достаточно приписать той группе, в которую пользователь попадал чаще
- Ничего критичного: при большом числе сессий распределение вариантов выравнивается, и смещение исчезает само
- Проблема только в пользовательском опыте: человек заметит, что интерфейс меняется, и это исказит его реакцию на новый экран
- Один и тот же пользователь получает оба варианта, поэтому эффекты смешиваются, а метрики на пользователя (выручка на пользователя, возврат на 7-й день) вообще нельзя отнести к группе. Рандомизировать нужно по устойчивому идентификатору пользователя