Apache Spark
Fondamental
Correction d’un problème de cache mal utilisé
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
cache
performance
bugfix
dataframe
big-data
Scénario Technique
Contexte : Un DataFrame est utilisé plusieurs fois dans le pipeline. Le Problème : Chaque action déclenche un recalcul complet du DAG. Extrait actuel : df.filter(...).count() df.filter(...).show() Aucun cache n’est défini. Contraintes : Utiliser cache() ou persist() de manière appropriée. Éviter la consommation mémoire excessive. Livrable attendu : Corriger le pipeline en introduisant un cache stratégique améliorant les performances.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.