Сервис лежал 40 минут, а алерт так и не сработал
Сервис уведомлений упал полностью, процесс не запускался. Алерт настроен на условие «доля ответов 5xx больше 5% за 5 минут». Узнали об аварии от пользователей через 40 минут.
Почему алерт промолчал и что стоило проверить заранее?
- Упавший сервис не отдаёт ответов, и метрики 5xx просто нет
- Пять минут — слишком длинное окно, нужно одна минута
- Порог 5% слишком высокий, нужно 1%
- Алерты в Grafana не работают для сервисов уведомлений