Retour aux cas pratiques
Apache SparkFondamental
Renommage et cast de colonnes dans un DataFrame
Scénario
Contexte Un fichier source contient des colonnes mal nommées (espaces, majuscules) et des types incorrects qui bloquent les transformations suivantes. Le Problème Les étapes suivantes du pipeline échouent à cause de noms de colonnes incompatibles et de types StringType. Contraintes Utiliser withColumnRenamed() pour normaliser les noms. Utiliser withColumn() et cast() pour corriger les types. Aucune modification du fichier source. Livrable attendu Un script PySpark normalisant noms et types de colonnes pour préparer le DataFrame aux transformations suivantes.
Compétences ciblées
sparkpysparkwithcolumncastdataframe
