Apache Spark
Expert
Débogage d'un job Spark en production via Spark UI et métriques

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

spark
debugging
spark-ui
performance
production

Scénario Technique

Contexte Un job Spark de production présente des comportements intermittents : parfois rapide, parfois 10x plus lent sans changement de code apparent. Le Problème L'équipe ne sait pas interpréter le Spark UI pour identifier la cause des ralentissements (GC overhead, spill, skew, shuffle). Contraintes Décrire la méthodologie d'analyse du Spark UI : stages, tasks, métriques GC, shuffle read/write. Identifier les patterns caractéristiques de chaque problème. Proposer des corrections ciblées pour chaque cause identifiée. Livrable attendu Un guide de diagnostic structuré couvrant les 4 causes principales de lenteur Spark, avec métriques Spark UI associées et actions correctives.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Débogage d'un job Spark en production via Spark UI et métriques | Défi Technique & Recrutement — CodeDuel