Correction d’un modèle incrémental complexe générant des incohérences historiques

Scénario

Contexte : Un modèle incrémental gère des mises à jour tardives provenant de plusieurs sources. Le Problème : Des données historiques sont écrasées ou mal fusionnées lors des exécutions successives. Extrait actuel : {{ config(materialized='incremental', unique_key='id') }} La logique ne prend pas en compte les mises à jour tardives. Contraintes : Implémenter une stratégie merge robuste. Gérer les late-arriving data. Garantir idempotence et cohérence historique. Livrable attendu : Proposer une refonte incrémentale garantissant l’intégrité des données historiques même en cas de retards de chargement.

Compétences ciblées