Optimisation avancée d’un Airflow avec KubernetesExecutor

Scénario

Contexte : Les pipelines nécessitent une scalabilité dynamique selon la charge. Le Problème : Les workers actuels sont fixes et limitent la capacité d’exécution. Contraintes : Migrer vers KubernetesExecutor. Définir des ressources CPU et mémoire adaptées par tâche. Maintenir la stabilité des exécutions critiques. Livrable attendu : Proposer une architecture KubernetesExecutor permettant scalabilité automatique et isolation des workloads.

Compétences ciblées