Одно битое сообщение остановило загрузку всей партиции на ночь
Загрузчик читает топик events, парсит JSON и пишет в хранилище. Ночью пришло сообщение с обрезанным JSON. Загрузчик падал на нём, перезапускался, читал его снова — и так до утра. Остальные события партиции не загрузились.
Как обрабатывать такие сообщения?
- Отправлять в DLQ с причиной и идти дальше
- Молча пропускать и коммитить смещение
- Бесконечно повторять до ручного вмешательства
- Удалять сообщение из топика Kafka