Apache Spark
Expert
Optimisation avancée d’une jointure multi-tables avec Adaptive Query Execution
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
aqe
join-optimization
performance
shuffle
big-data
Scénario Technique
Contexte : Une requête Spark SQL joint plusieurs tables volumineuses issues d’un data lake. Le Problème : Les performances varient fortement selon la distribution des données. Contraintes : Activer Adaptive Query Execution (AQE). Optimiser la stratégie de jointure (broadcast, sort-merge). Réduire les shuffles inutiles. Livrable attendu : Proposer une configuration et une stratégie permettant d’améliorer dynamiquement l’exécution des jointures volumineuses.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.