Correction d’un broadcast join mal configuré

Scénario

Contexte : Une petite table de référence est jointe à une table volumineuse. Le Problème : Spark n’utilise pas automatiquement le broadcast join, entraînant un shuffle inutile. Extrait actuel : df_large.join(df_small, "id") La table df_small est suffisamment petite pour être diffusée. Contraintes : Forcer un broadcast join si pertinent. Vérifier que la taille reste raisonnable. Livrable attendu : Proposer une version optimisée de la jointure utilisant broadcast pour réduire le shuffle.

Compétences ciblées