Apache Spark
Fondamental
Correction d’une action collect() provoquant un dépassement mémoire
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
memory
bugfix
collect
performance
big-data
Scénario Technique
Contexte : Un développeur utilise collect() pour récupérer toutes les données dans le driver. Le Problème : Sur un gros dataset, l’application plante avec une erreur OutOfMemory. Extrait actuel : val data = df.collect() Cette instruction ramène toutes les données en mémoire locale. Contraintes : Éviter collect() sur de grands volumes. Proposer une alternative distribuée. Livrable attendu : Corriger le code afin d’éviter le dépassement mémoire et conserver un traitement distribué efficace.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.