Apache Spark
Fondamental
Correction d’une action collect() provoquant un dépassement mémoire

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

memory
bugfix
collect
performance
big-data

Scénario Technique

Contexte : Un développeur utilise collect() pour récupérer toutes les données dans le driver. Le Problème : Sur un gros dataset, l’application plante avec une erreur OutOfMemory. Extrait actuel : val data = df.collect() Cette instruction ramène toutes les données en mémoire locale. Contraintes : Éviter collect() sur de grands volumes. Proposer une alternative distribuée. Livrable attendu : Corriger le code afin d’éviter le dépassement mémoire et conserver un traitement distribué efficace.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Correction d’une action collect() provoquant un dépassement mémoire | Test Technique & Recrutement