Apache Spark
Avancé
Mise en place d’un traitement incrémental avec Spark Structured Streaming
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
structured-streaming
kafka
real-time
checkpoint
etl
Scénario Technique
Contexte : Une application reçoit des événements en continu via Kafka. Le Problème : Les données sont actuellement traitées en batch quotidien, ce qui retarde les analyses. Contraintes : Utiliser Structured Streaming pour lire depuis Kafka. Assurer un traitement idempotent. Gérer les checkpoints pour tolérance aux pannes. Livrable attendu : Proposer une architecture Spark Structured Streaming permettant un traitement incrémental fiable et résilient.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.