Correction d’un pipeline incrémental provoquant des incohérences

Scénario

Contexte : Un pipeline ETL charge quotidiennement des données via MERGE dans une table principale. Le Problème : Certaines mises à jour sont ignorées ou créent des doublons à cause d’une condition de jointure incomplète. Extrait actuel : MERGE main T USING staging S ON T.user_id = S.user_id WHEN MATCHED THEN UPDATE SET ... La clé composite réelle inclut aussi event_date. Contraintes : Corriger la logique MERGE pour garantir l’unicité et la cohérence. Assurer idempotence du traitement. Livrable attendu : Fournir une requête MERGE corrigée garantissant un chargement incrémental fiable et cohérent.

Compétences ciblées