Одно неразбираемое сообщение остановило обработку партиции
В топике заказов появилось сообщение, при разборе которого консьюмер всегда бросает исключение (тело не соответствует контракту). Оффсет коммитится только после успешной обработки.
В мониторинге видно: лаг партиции растёт линейно, остальные партиции того же топика обрабатываются нормально, а в логах одна и та же ошибка много раз в секунду. Какое решение здесь правильное?
- Увеличить число партиций топика, чтобы нагрузка перераспределилась между потребителями группы
- Ограничить число попыток и после их исчерпания отправлять сообщение в отдельный топик разбора (DLQ), двигая оффсет дальше
- Перехватывать любые исключения и всегда коммитить оффсет — тогда лаг перестанет расти сам собой
- Увеличить допустимый интервал между опросами брокера, чтобы консьюмер успевал обработать сообщение