Apache Spark
Expert
Correction d’un job provoquant un OutOfMemoryError sur executor

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

memory
executor
shuffle
performance
optimization

Scénario Technique

Contexte : Un job Spark complexe exécute plusieurs jointures et agrégations sur un dataset massif. Le Problème : Certains executors échouent avec OutOfMemoryError malgré une configuration mémoire élevée. Extrait actuel : spark.executor.memory=4g spark.sql.shuffle.partitions=200 Les paramètres ne sont pas adaptés à la volumétrie réelle. Contraintes : Analyser le plan d’exécution. Ajuster la mémoire executor, les partitions shuffle et éventuellement la sérialisation (Kryo). Livrable attendu : Proposer une stratégie d’optimisation mémoire permettant d’éviter les erreurs tout en maintenant les performances.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Correction d’un job provoquant un OutOfMemoryError sur executor | Test Technique & Recrutement