Поставщик поменял тип поля amount со строки на объект, и витрина молча обнулилась
Поставщик без предупреждения начал отдавать amount как {"value": 990, "currency": "RUB"} вместо "990.00". Загрузчик при ошибке разбора подставлял 0 и продолжал работу. Неделю выручка по этому поставщику в отчётах была нулевой, пока финансисты не заметили.
Как должен вести себя пайплайн при изменении схемы источника?
- Проверять схему на входе, откладывать битое и алертить
- Подставлять 0 и продолжать, чтобы пайплайн не падал
- Пропускать записи с ошибками без уведомления
- Автоматически создавать новые колонки под любые изменения