Apache Spark
Expert
Correction d’un pipeline Structured Streaming non idempotent
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
structured-streaming
idempotence
checkpoint
real-time
data-integrity
Scénario Technique
Contexte : Un pipeline Spark Structured Streaming traite des événements financiers en temps réel. Le Problème : Lors d’un redémarrage, certains événements sont traités deux fois, générant des incohérences. Extrait logique actuelle : .writeStream .outputMode("append") Aucune gestion d’idempotence n’est prévue. Contraintes : Utiliser des checkpoints fiables. Garantir exactly-once semantics avec Kafka ou autre source. Préserver la cohérence métier. Livrable attendu : Proposer une correction garantissant un traitement idempotent et tolérant aux redémarrages.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.