Алерт по скорости сгорания бюджета висит ещё час после исправления
SLO доступности 99,9% за 30 дней. Правило:
(sum(rate(http_requests_total{code=~"5.."}[1h]))
/ sum(rate(http_requests_total[1h]))) / 0.001 > 14.4
Десять минут сервис отдавал 100% ошибок, потом релиз откатили. Алерт сработал вовремя, но продолжал гореть ещё почти час после отката. Дежурные решили, что откат не помог, и начали лишние действия.
Как изменить правило?
- Добавить через and то же условие по окну [5m]
- Заменить окно [1h] на [5m] в правиле
- Поднять порог скорости сгорания до 100
- Добавить к правилу for: 1h