Correction d’un goulot d’étranglement du scheduler sous forte charge

Scénario

Contexte : Des centaines de DAGs sont déployés et exécutés quotidiennement. Le Problème : Le scheduler devient lent et accumule du retard dans la planification des tâches. Symptôme : Temps élevé dans le parsing des DAGs et files d’attente saturées. Contraintes : Optimiser le parsing des DAGs. Réduire la complexité des imports. Ajuster dag_dir_list_interval et max_active_runs. Livrable attendu : Proposer une stratégie d’optimisation du scheduler permettant de gérer un grand nombre de DAGs efficacement.

Compétences ciblées