Optimisation d’un DAG utilisant des tâches longues et bloquantes

Scénario

Contexte : Certaines tâches prennent plusieurs heures et bloquent les workers disponibles. Le Problème : Les ressources sont mal utilisées et les autres pipelines sont ralentis. Contraintes : Analyser la possibilité d’externaliser certaines tâches (KubernetesPodOperator, CeleryExecutor). Améliorer la scalabilité. Livrable attendu : Proposer une stratégie d’optimisation permettant d’améliorer l’utilisation des ressources et la scalabilité du système Airflow.

Compétences ciblées