Prometheus съел 28 ГБ памяти после релиза с новыми метками
Разработчики добавили к http_requests_total метки user_id и path с полным URL, например /orders/83712. За сутки потребление памяти Prometheus выросло с 4 до 28 ГБ, ночью его убил OOM killer. Активных пользователей — около 400 тысяч.
Что нужно сделать?
- Убрать user_id и писать шаблон пути /orders/{id}
- Выделить Prometheus 64 ГБ памяти
- Увеличить scrape_interval с 15 до 60 секунд
- Сократить срок хранения с 15 до 3 дней