Optimisation avancée d’une jointure multi-tables avec Adaptive Query Execution

Scénario

Contexte : Une requête Spark SQL joint plusieurs tables volumineuses issues d’un data lake. Le Problème : Les performances varient fortement selon la distribution des données. Contraintes : Activer Adaptive Query Execution (AQE). Optimiser la stratégie de jointure (broadcast, sort-merge). Réduire les shuffles inutiles. Livrable attendu : Proposer une configuration et une stratégie permettant d’améliorer dynamiquement l’exécution des jointures volumineuses.

Compétences ciblées