Retour aux cas pratiques
ETL DesignExpert
Correction d’un pipeline distribué provoquant des incohérences transactionnelles
Scénario
Contexte : Un pipeline distribué charge des données issues de plusieurs microservices. Le Problème : Des incohérences apparaissent lorsque certaines sources échouent partiellement pendant le chargement. Extrait logique actuelle : Extraction parallèle -> Transformation -> Chargement unique Aucune gestion transactionnelle globale. Contraintes : Introduire un mécanisme de contrôle transactionnel ou compensation. Garantir atomicité logique du chargement. Maintenir performance distribuée. Livrable attendu : Proposer une refonte du design ETL assurant cohérence globale malgré l’exécution distribuée.
Compétences ciblées
etldistributed-systemdata-integrityarchitecturebugfix