Conception d’une architecture Spark haute disponibilité sur cluster distribué

Scénario

Contexte : Votre plateforme traite plusieurs téraoctets de données par jour via Apache Spark déployé sur un cluster distribué. Le Problème : Une panne du driver ou d’un nœud entraîne l’échec complet des jobs critiques. Contraintes : Mettre en place un déploiement Spark en mode cluster avec gestion de la haute disponibilité (YARN, Kubernetes ou Standalone HA). Configurer le checkpointing et la tolérance aux pannes. Livrable attendu : Proposer une architecture Spark résiliente détaillant gestion du driver, du resource manager et des mécanismes de reprise automatique.

Compétences ciblées