Retour aux cas pratiques
Apache SparkFondamental
Jointure simple entre deux DataFrames Spark
Scénario
Contexte Deux fichiers existent : un fichier de commandes et un fichier de clients. L'équipe souhaite enrichir les commandes avec les informations clients. Le Problème Le script actuel utilise une boucle Python pour associer chaque commande à son client, ce qui est impraticable à grande échelle. Contraintes Utiliser join() de PySpark avec une jointure de type inner sur la colonne client_id. Sélectionner uniquement les colonnes utiles du résultat. Livrable attendu Un script PySpark réalisant une jointure correcte entre les deux DataFrames et affichant le résultat enrichi.
Compétences ciblées
sparkpysparkjoindataframeenrichissement
