Что уместно передавать между задачами через XCom
Задача extract вычитывает данные из источника, задача transform их обрабатывает. Инженер хочет передать результат из первой задачи во вторую через XCom.
Что уместно передавать таким способом?
- Готовый датафрейм на 5 млн строк — так вторая задача не будет читать источник повторно.
- Небольшие метаданные: путь к выгруженному файлу в S3, идентификатор батча, число обработанных строк.
- Содержимое выгруженного CSV-файла целиком, чтобы не зависеть от хранилища.
- Открытое соединение с базой-источником, чтобы вторая задача не тратила время на подключение.