Вступить в клуб →

Инкрементальная модель с merge по 3 млрд строк стала пересобираться дольше полной

Модель fct_events (3 млрд строк, партиции по дате) использует incremental_strategy='merge' с unique_key='event_id'. Каждый запуск перезаписывает события за последние 3 дня, и merge сравнивает их со всей таблицей — запуск идёт дольше полного пересчёта.

Какая стратегия подойдёт лучше?

  • insert_overwrite по партициям дат
  • append без уникального ключа
  • merge без unique_key и предикатов
  • view вместо инкрементальной модели

Проверка ответа — в клубе

  • Мгновенная проверка ответа
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

регистрация занимает минуту

Другие задачи раздела