Одно битое сообщение остановило всю партицию
Консьюмер не смог разобрать сообщение с некорректным JSON: обработка вернула ошибку, offset не зафиксирован, сообщение читается снова. Так по кругу. Отставание партиции растёт часами, соседние партиции работают нормально. Что делать с таким сообщением по-хорошему?
- Пропустить его и молча зафиксировать offset: данные всё равно испорчены, и восстанавливать там уже нечего
- После ограниченного числа неудачных попыток отправить сообщение в DLQ, зафиксировать offset и продолжить обработку
- Перезапустить консьюмер: после ребаланса партиция достанется другому поду и сообщение обработается корректно
- Уменьшить retention топика, чтобы проблемное сообщение удалилось раньше и перестало блокировать партицию