Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
Scénario Technique
Contexte : Un job Spark complexe exécute plusieurs jointures et agrégations sur un dataset massif. Le Problème : Certains executors échouent avec OutOfMemoryError malgré une configuration mémoire élevée. Extrait actuel : spark.executor.memory=4g spark.sql.shuffle.partitions=200 Les paramètres ne sont pas adaptés à la volumétrie réelle. Contraintes : Analyser le plan d’exécution. Ajuster la mémoire executor, les partitions shuffle et éventuellement la sérialisation (Kryo). Livrable attendu : Proposer une stratégie d’optimisation mémoire permettant d’éviter les erreurs tout en maintenant les performances.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.