Correction d’un pipeline Structured Streaming non idempotent

Scénario

Contexte : Un pipeline Spark Structured Streaming traite des événements financiers en temps réel. Le Problème : Lors d’un redémarrage, certains événements sont traités deux fois, générant des incohérences. Extrait logique actuelle : .writeStream .outputMode("append") Aucune gestion d’idempotence n’est prévue. Contraintes : Utiliser des checkpoints fiables. Garantir exactly-once semantics avec Kafka ou autre source. Préserver la cohérence métier. Livrable attendu : Proposer une correction garantissant un traitement idempotent et tolérant aux redémarrages.

Compétences ciblées