Retour aux cas pratiques
Apache AirflowAvancé
Correction d’un problème de concurrence excessive des tâches
Scénario
Contexte : Plusieurs DAGs s’exécutent simultanément et saturent la capacité du worker. Le Problème : Aucune limite de parallélisme n’est définie au niveau du DAG ou globalement. Contraintes : Configurer concurrency, max_active_tasks ou pools. Équilibrer la charge entre DAGs critiques et secondaires. Livrable attendu : Proposer une configuration permettant de contrôler la concurrence et stabiliser l’exécution globale.
Compétences ciblées
concurrencypoolsperformancedagresource-management