Correction d’un pipeline ne garantissant pas l’idempotence

Scénario

Contexte : Suite à des redémarrages fréquents, le pipeline recharge partiellement les mêmes données. Le Problème : Des enregistrements dupliqués ou incohérents apparaissent après reprise. Extrait logique actuelle : Extraction -> Insert direct sans vérification Contraintes : Mettre en place une stratégie idempotente basée sur clés techniques ou mécanisme de merge. Garantir qu’une réexécution n’altère pas les résultats. Livrable attendu : Proposer une refonte du design ETL garantissant idempotence et cohérence lors des redémarrages.

Compétences ciblées