Correction d’un pipeline ne gérant pas les données en retard (late arriving data)

Scénario

Contexte : Certaines transactions sont enregistrées avec plusieurs jours de retard dans le système source. Le Problème : Le pipeline incrémental basé uniquement sur la date du jour ignore ces enregistrements tardifs. Extrait logique actuelle : Extraction WHERE transaction_date = current_date Contraintes : Adapter la logique d’extraction pour couvrir une fenêtre glissante. Éviter les doublons. Maintenir performance et cohérence. Livrable attendu : Proposer une correction du design ETL permettant de gérer efficacement les données tardives.

Compétences ciblées