Mise en place d’un framework d’orchestration multi-pipelines interconnectés

Scénario

Contexte : Plusieurs pipelines alimentent différentes zones du data lake et du data warehouse. Le Problème : Les dépendances croisées rendent difficile la gestion des échecs et des redémarrages partiels. Contraintes : Concevoir une orchestration centralisée avec gestion des dépendances inter-pipelines. Prévoir reprise sur incident et reprocessing ciblé. Maintenir traçabilité complète. Livrable attendu : Proposer une architecture d’orchestration avancée décrivant gestion des dépendances, reprise et monitoring global.

Compétences ciblées