Одно битое сообщение остановило обработку всей партиции
Потребитель Kafka при ошибке обработки не коммитит смещение и пробует сообщение снова. В топик попало событие с некорректным JSON. С этого момента лаг по одной партиции растёт, в логах бесконечно повторяется одна и та же ошибка разбора.
Что правильно сделать с такими сообщениями?
- После нескольких попыток отправить сообщение в отдельный топик для разбора
- Повторять бесконечно — рано или поздно сообщение обработается
- Молча пропускать сообщение при любой ошибке и коммитить смещение
- Перезапускать потребителя: при переподключении сообщение исчезнет