Mise en place d’un traitement incrémental avec Spark Structured Streaming

Scénario

Contexte : Une application reçoit des événements en continu via Kafka. Le Problème : Les données sont actuellement traitées en batch quotidien, ce qui retarde les analyses. Contraintes : Utiliser Structured Streaming pour lire depuis Kafka. Assurer un traitement idempotent. Gérer les checkpoints pour tolérance aux pannes. Livrable attendu : Proposer une architecture Spark Structured Streaming permettant un traitement incrémental fiable et résilient.

Compétences ciblées