Correction d’un job provoquant un OutOfMemoryError sur executor

Scénario

Contexte : Un job Spark complexe exécute plusieurs jointures et agrégations sur un dataset massif. Le Problème : Certains executors échouent avec OutOfMemoryError malgré une configuration mémoire élevée. Extrait actuel : spark.executor.memory=4g spark.sql.shuffle.partitions=200 Les paramètres ne sont pas adaptés à la volumétrie réelle. Contraintes : Analyser le plan d’exécution. Ajuster la mémoire executor, les partitions shuffle et éventuellement la sérialisation (Kryo). Livrable attendu : Proposer une stratégie d’optimisation mémoire permettant d’éviter les erreurs tout en maintenant les performances.

Compétences ciblées