Apache Spark
Expert
Conception d’une architecture Spark haute disponibilité sur cluster distribué
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
cluster
high-availability
fault-tolerance
architecture
big-data
Scénario Technique
Contexte : Votre plateforme traite plusieurs téraoctets de données par jour via Apache Spark déployé sur un cluster distribué. Le Problème : Une panne du driver ou d’un nœud entraîne l’échec complet des jobs critiques. Contraintes : Mettre en place un déploiement Spark en mode cluster avec gestion de la haute disponibilité (YARN, Kubernetes ou Standalone HA). Configurer le checkpointing et la tolérance aux pannes. Livrable attendu : Proposer une architecture Spark résiliente détaillant gestion du driver, du resource manager et des mécanismes de reprise automatique.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.