Conception d’une architecture Airflow hautement disponible en production

Scénario

Contexte : Votre plateforme data exécute des pipelines critiques 24/7 via Apache Airflow en production. Le Problème : L’instance actuelle repose sur un seul scheduler et une base locale, créant un point unique de défaillance. Contraintes : Mettre en place une architecture distribuée avec plusieurs schedulers, une base PostgreSQL managée et un executor adapté (Celery ou Kubernetes). Garantir haute disponibilité et tolérance aux pannes. Livrable attendu : Proposer une architecture Airflow HA détaillant composants, base de données, executor et mécanismes de résilience.

Compétences ciblées