Apache Airflow
Expert
Correction d’un goulot d’étranglement du scheduler sous forte charge
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
scheduler
performance
scalability
optimization
production
Scénario Technique
Contexte : Des centaines de DAGs sont déployés et exécutés quotidiennement. Le Problème : Le scheduler devient lent et accumule du retard dans la planification des tâches. Symptôme : Temps élevé dans le parsing des DAGs et files d’attente saturées. Contraintes : Optimiser le parsing des DAGs. Réduire la complexité des imports. Ajuster dag_dir_list_interval et max_active_runs. Livrable attendu : Proposer une stratégie d’optimisation du scheduler permettant de gérer un grand nombre de DAGs efficacement.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.