Optimisation d’un pipeline critique avec gestion avancée des pools

Scénario

Contexte : Plusieurs tâches consomment des ressources externes limitées (API, base de données). Le Problème : Des appels simultanés excessifs provoquent des erreurs côté système externe. Contraintes : Mettre en place des pools Airflow. Définir des limites précises par ressource. Éviter tout dépassement de capacité. Livrable attendu : Proposer une configuration avancée de pools permettant un contrôle fin des accès aux ressources externes.

Compétences ciblées