Apache Spark
Avancé
Optimisation d’un pipeline utilisant plusieurs transformations coûteuses
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
pipeline
optimization
transformation
performance
big-data
Scénario Technique
Contexte : Un pipeline Spark applique successivement plusieurs transformations (filter, join, groupBy). Le Problème : L’ordre des transformations n’est pas optimal et augmente le volume intermédiaire traité. Contraintes : Réorganiser les transformations pour réduire le dataset le plus tôt possible. Exploiter le Catalyst Optimizer. Livrable attendu : Proposer une réorganisation logique des transformations améliorant la performance globale du pipeline.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.