Correction d'un script Spark avec schéma mal inféré

Scénario

Contexte Un ingénieur data charge un fichier CSV de températures. Les colonnes numériques sont inférées comme StringType, provoquant des erreurs lors des calculs. Le Problème L'inférence automatique de schéma échoue sur certains fichiers mal formatés. Code actuel df = spark.read.csv("/data/temperatures.csv", header=True) df.select(avg("temperature")).show() Contraintes Définir un schéma explicite avec StructType et StructField. Forcer le type DoubleType sur la colonne temperature. Livrable attendu Un script PySpark définissant un schéma explicite et calculant correctement la moyenne de température.

Compétences ciblées