Apache Spark
Expert
Correction d’un pipeline Structured Streaming non idempotent

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

structured-streaming
idempotence
checkpoint
real-time
data-integrity

Scénario Technique

Contexte : Un pipeline Spark Structured Streaming traite des événements financiers en temps réel. Le Problème : Lors d’un redémarrage, certains événements sont traités deux fois, générant des incohérences. Extrait logique actuelle : .writeStream .outputMode("append") Aucune gestion d’idempotence n’est prévue. Contraintes : Utiliser des checkpoints fiables. Garantir exactly-once semantics avec Kafka ou autre source. Préserver la cohérence métier. Livrable attendu : Proposer une correction garantissant un traitement idempotent et tolérant aux redémarrages.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Correction d’un pipeline Structured Streaming non idempotent | Test Technique & Recrutement