Что класть в слой RAW при выгрузке из внешнего API
Вы подключаете нового поставщика: он отдаёт JSON через API, состав полей у него время от времени меняется без предупреждения. В DWH принята слоистая архитектура RAW → ODS → DDS → Marts.
Как правильно поступить с выгрузкой на слое RAW?
- Сразу разбирать JSON и класть только те 8 полей, которые нужны текущей витрине: остальное занимает место в хранилище и время на разбор при каждой загрузке.
- Класть в RAW уже очищенные, типизированные и дедуплицированные данные: тогда ODS читает готовое, а лишний слой преобразований из пайплайна уходит.
- Хранить в RAW только последнюю выгрузку, перезаписывая предыдущую: история всё равно доступна в источнике, а объём хранилища не растёт с каждой загрузкой.
- Складывать ответ как есть, добавив технические поля: время загрузки, источник, идентификатор батча; разбор, типизацию и очистку делать на следующих слоях.