Apache Spark
Expert
Conception d’une architecture Spark haute disponibilité sur cluster distribué

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

cluster
high-availability
fault-tolerance
architecture
big-data

Scénario Technique

Contexte : Votre plateforme traite plusieurs téraoctets de données par jour via Apache Spark déployé sur un cluster distribué. Le Problème : Une panne du driver ou d’un nœud entraîne l’échec complet des jobs critiques. Contraintes : Mettre en place un déploiement Spark en mode cluster avec gestion de la haute disponibilité (YARN, Kubernetes ou Standalone HA). Configurer le checkpointing et la tolérance aux pannes. Livrable attendu : Proposer une architecture Spark résiliente détaillant gestion du driver, du resource manager et des mécanismes de reprise automatique.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Conception d’une architecture Spark haute disponibilité sur cluster distribué | Test Technique & Recrutement