Apache Spark
Avancé
Mise en place d’un traitement incrémental avec Spark Structured Streaming

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

structured-streaming
kafka
real-time
checkpoint
etl

Scénario Technique

Contexte : Une application reçoit des événements en continu via Kafka. Le Problème : Les données sont actuellement traitées en batch quotidien, ce qui retarde les analyses. Contraintes : Utiliser Structured Streaming pour lire depuis Kafka. Assurer un traitement idempotent. Gérer les checkpoints pour tolérance aux pannes. Livrable attendu : Proposer une architecture Spark Structured Streaming permettant un traitement incrémental fiable et résilient.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Mise en place d’un traitement incrémental avec Spark Structured Streaming | Test Technique & Recrutement