Correction d’une mauvaise implémentation de Stream causant des duplications

Scénario

Contexte : Un pipeline Snowflake utilise Streams et Tasks pour transformer des données entrantes. Le Problème : Certaines données sont traitées plusieurs fois, générant des duplications en aval. Extrait logique actuelle : SELECT * FROM my_stream; Aucune gestion d’idempotence n’est prévue. Contraintes : Garantir que chaque enregistrement soit traité une seule fois. Préserver l’intégrité des données. Livrable attendu : Proposer une correction du pipeline Streams/Tasks assurant un traitement fiable et sans duplication.

Compétences ciblées