Conception d’un pipeline ETL incrémental robuste pour données transactionnelles

Scénario

Contexte : Votre entreprise charge quotidiennement les transactions issues d’un système OLTP vers un data warehouse. Le Problème : Le pipeline actuel recharge l’intégralité des données chaque nuit, ce qui augmente les temps de traitement et les coûts. Contraintes : Mettre en place une extraction incrémentale basée sur une colonne de type last_update ou timestamp. Garantir l’idempotence du traitement. Prévoir un mécanisme de reprise en cas d’échec. Livrable attendu : Proposer un design ETL incrémental structuré décrivant extraction différentielle, transformations adaptées et chargement sécurisé dans la table cible.

Compétences ciblées