Retour aux cas pratiques
Apache SparkFondamental

Jointure simple entre deux DataFrames Spark

Scénario

Contexte Deux fichiers existent : un fichier de commandes et un fichier de clients. L'équipe souhaite enrichir les commandes avec les informations clients. Le Problème Le script actuel utilise une boucle Python pour associer chaque commande à son client, ce qui est impraticable à grande échelle. Contraintes Utiliser join() de PySpark avec une jointure de type inner sur la colonne client_id. Sélectionner uniquement les colonnes utiles du résultat. Livrable attendu Un script PySpark réalisant une jointure correcte entre les deux DataFrames et affichant le résultat enrichi.

Compétences ciblées

sparkpysparkjoindataframeenrichissement
    Jointure simple entre deux DataFrames Spark — mise en situation Apache Spark | CodeDuel