Инкрементальная модель с merge по 3 млрд строк стала пересобираться дольше полной
Модель fct_events (3 млрд строк, партиции по дате) использует incremental_strategy='merge' с unique_key='event_id'. Каждый запуск перезаписывает события за последние 3 дня, и merge сравнивает их со всей таблицей — запуск идёт дольше полного пересчёта.
Какая стратегия подойдёт лучше?
- insert_overwrite по партициям дат
- append без уникального ключа
- merge без unique_key и предикатов
- view вместо инкрементальной модели