Apache Spark
Fondamental
Correction d'un script Spark avec schéma mal inféré

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

spark
pyspark
schema
structtype
dataframe

Scénario Technique

Contexte Un ingénieur data charge un fichier CSV de températures. Les colonnes numériques sont inférées comme StringType, provoquant des erreurs lors des calculs. Le Problème L'inférence automatique de schéma échoue sur certains fichiers mal formatés. Code actuel df = spark.read.csv("/data/temperatures.csv", header=True) df.select(avg("temperature")).show() Contraintes Définir un schéma explicite avec StructType et StructField. Forcer le type DoubleType sur la colonne temperature. Livrable attendu Un script PySpark définissant un schéma explicite et calculant correctement la moyenne de température.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Correction d'un script Spark avec schéma mal inféré | Défi Technique & Recrutement — CodeDuel