Retour aux cas pratiques
Apache SparkFondamental

Renommage et cast de colonnes dans un DataFrame

Scénario

Contexte Un fichier source contient des colonnes mal nommées (espaces, majuscules) et des types incorrects qui bloquent les transformations suivantes. Le Problème Les étapes suivantes du pipeline échouent à cause de noms de colonnes incompatibles et de types StringType. Contraintes Utiliser withColumnRenamed() pour normaliser les noms. Utiliser withColumn() et cast() pour corriger les types. Aucune modification du fichier source. Livrable attendu Un script PySpark normalisant noms et types de colonnes pour préparer le DataFrame aux transformations suivantes.

Compétences ciblées

sparkpysparkwithcolumncastdataframe
    Renommage et cast de colonnes dans un DataFrame — mise en situation Apache Spark | CodeDuel