Включение DAG со старой start_date положило источник
Новый суточный DAG выкатили с start_date полугодовой давности и включили. Через минуту Airflow создал больше сотни запусков, десятки из них поехали параллельно, база-источник ушла в отказ, дежурный отключил DAG.
Историю за полгода залить всё-таки нужно. Как поступить?
- Убрать start_date из определения DAG: без начальной даты запуски за прошлые интервалы не создаются, а историю зальёт отдельный разовый скрипт мимо Airflow.
- Поставить retries = 0 и увеличить таймаут задач: без повторных попыток суммарная нагрузка на источник упадёт в разы, и сотня запусков доедет без отказа.
- Ограничить одновременность (max_active_runs = 1, пул с ограниченным числом слотов на задачи к источнику) и доливать историю контролируемым backfill; на регулярном расписании catchup отключить.
- Расширить кластер воркеров и поднять parallelism: сотня запусков отработает быстрее, пиковая нагрузка на источник закончится раньше, и отключать DAG не придётся.