Mise en place d’un contrôle d’erreurs dans Structured Streaming

Scénario

Contexte : Un pipeline Spark Structured Streaming traite des données en temps réel. Le Problème : En cas d’erreur de parsing, le flux s’arrête complètement. Contraintes : Implémenter une gestion robuste des erreurs (mode permissive, dead-letter queue). Maintenir la continuité du flux. Livrable attendu : Proposer une stratégie de gestion d’erreurs permettant au streaming de continuer malgré des enregistrements invalides.

Compétences ciblées