Ошибку в трансформации нашли через 10 дней, а хранение топика — 7 дней
В потоковой трансформации неделю назад появилась ошибка расчёта скидки. Её нашли через 10 дней, исправили и хотят перечитать события заново. Но retention топика orders — 7 дней, первые три дня событий из Kafka уже удалены.
Что стоило предусмотреть?
- Сохранять сырые события в объектное хранилище
- Отключить retention на всех топиках
- Писать в два топика с одинаковым retention
- Коммитить смещения реже