Correction d’un pipeline ETL chargeant des doublons

Scénario

Contexte : Un pipeline charge quotidiennement des données clients dans une table cible. Le Problème : Des doublons apparaissent car aucune vérification d’unicité n’est effectuée lors du chargement. Extrait logique actuelle : Extraction -> Transformation minimale -> Insert direct dans table clients Aucune détection de clé existante. Contraintes : Ajouter une étape de déduplication basée sur une clé métier. Éviter la suppression manuelle en base. Maintenir la simplicité du pipeline. Livrable attendu : Proposer une correction du design ETL permettant d’éviter les doublons lors du chargement.

Compétences ciblées