Correction d’une action collect() provoquant un dépassement mémoire

Scénario

Contexte : Un développeur utilise collect() pour récupérer toutes les données dans le driver. Le Problème : Sur un gros dataset, l’application plante avec une erreur OutOfMemory. Extrait actuel : val data = df.collect() Cette instruction ramène toutes les données en mémoire locale. Contraintes : Éviter collect() sur de grands volumes. Proposer une alternative distribuée. Livrable attendu : Corriger le code afin d’éviter le dépassement mémoire et conserver un traitement distribué efficace.

Compétences ciblées