Mise en place d’un chargement incrémental basé sur timestamp

Scénario

Contexte : Des données sont importées quotidiennement dans une table BigQuery via batch. Le Problème : Chaque chargement recharge l’ensemble des données au lieu d’ajouter uniquement les nouvelles lignes. Contraintes : Identifier les nouvelles lignes via un champ updated_at. Éviter les doublons. Maintenir l’intégrité des données. Livrable attendu : Proposer une stratégie de chargement incrémental utilisant MERGE ou une table intermédiaire pour intégrer uniquement les nouvelles données.

Compétences ciblées