Логи сервиса заказов пропадают только в некоторые дни
Два сервиса пишут JSON-логи в общий ежедневный индекс logs-app-YYYY.MM.DD с динамическим маппингом. Сервис заказов пишет "status": "paid", платёжный шлюз — "status": 402. В одни дни логи заказов есть полностью, в другие — почти все отсутствуют, а в логах сборщика много ошибок mapper_parsing_exception.
Что происходит и как это устранить?
- Тип поля задаёт первый документ дня; развести поля или индексы
- Сборщик теряет данные при высокой нагрузке; увеличить буфер
- Elasticsearch удаляет дубли; добавить уникальный id в логи
- Индексы переполняются; включить rollover по размеру