Среднее время ответа 180 мс, а пользователи жалуются на зависания
Нагрузочный прогон показал среднее время ответа поиска 180 мс, требование — не больше 500 мс. Тестировщик отметил требование выполненным. После релиза часть пользователей жалуется, что поиск «думает» по пять секунд.
Что было упущено в анализе?
- Распределение: перцентили p95 и p99 показывают медленный хвост, среднее — нет
- Нагрузку нужно было давать в два раза больше
- Среднее нужно было считать по медиане вместо арифметического
- Время ответа надо было мерить в браузере, а не на сервере