Apache Spark
Avancé
Mise en place d’un contrôle d’erreurs dans Structured Streaming
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
structured-streaming
error-handling
resilience
real-time
etl
Scénario Technique
Contexte : Un pipeline Spark Structured Streaming traite des données en temps réel. Le Problème : En cas d’erreur de parsing, le flux s’arrête complètement. Contraintes : Implémenter une gestion robuste des erreurs (mode permissive, dead-letter queue). Maintenir la continuité du flux. Livrable attendu : Proposer une stratégie de gestion d’erreurs permettant au streaming de continuer malgré des enregistrements invalides.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.