Conception d’un pipeline de chargement incrémental avec Snowpipe

Scénario

Contexte : Votre entreprise reçoit quotidiennement des fichiers CSV déposés dans un bucket cloud contenant les nouvelles ventes. Le Problème : Le chargement manuel via COPY INTO devient impraticable et risque d’introduire des doublons. Contraintes : Mettre en place Snowpipe pour automatiser l’ingestion continue. Gérer un chargement incrémental basé sur les nouveaux fichiers uniquement. Éviter les duplications de données. Livrable attendu : Proposer l’architecture Snowpipe incluant stage, pipe et mécanisme d’auto-ingestion permettant un chargement fiable et automatisé.

Compétences ciblées