Команда-источник регулярно меняет формат событий и узнаёт о последствиях от аналитиков
Продуктовая команда пишет события в Kafka. Раз в месяц формат меняется: поле переименовывают, меняют тип, начинают слать пустые значения. Дата-инженеры узнают об этом по упавшим пайплайнам, а иногда через неделю — по неверным отчётам.
Какое организационно-техническое решение устраняет причину?
- Контракт данных со схемой и проверкой в CI источника
- Дописывать обработку каждого нового формата в пайплайне
- Попросить продуктовую команду предупреждать в чате
- Читать события без схемы как произвольный JSON