Продакт говорит «в пределах нормы»: как читать crash-free после релиза
После релиза crash-free пользователей — 99,4% против 99,6% в прошлой версии. Продакт считает, что это в пределах нормы, и предлагает не тратить спринт.
Из отчёта видно: все новые краши — на экране истории операций, все на устройствах одного производителя, а сам экран открывают 6% аудитории.
Какой вывод корректен?
- Средний процент маскирует сегмент: внутри затронутой группы фича практически неработоспособна, оценивать нужно долю крашей на этом экране и на этих устройствах
- Раз общая метрика почти не изменилась, приоритет низкий: задачу можно взять в плановый релиз через месяц вместе с другими доработками этого экрана
- Проблема в самих устройствах этого производителя, на неё повлиять нельзя — остаётся описать ограничение в поддержке
- Ориентироваться надо не на crash-free, а на абсолютное число крашей: если оно не выросло, реагировать не нужно