После добавления метки request_id запросы в Loki стали идти минутами
Логи собирает Promtail в Loki. Чтобы быстрее искать запрос по идентификатору, инженер вынес request_id из JSON в метку потока. Через день запросы в Grafana по сервису идут минутами, ingester потребляет в разы больше памяти, в хранилище миллионы мелких чанков.
Как искать по request_id правильно?
- Убрать метку и фильтровать `| json | request_id="…"`
- Добавить ещё метку user_id для сужения поиска
- Увеличить память ingester в несколько раз
- Сократить хранение логов до одного дня