Écriture d'un DataFrame Spark en format Parquet

Scénario

Contexte Un pipeline de données génère un DataFrame de résultats qui doit être persisté pour une consommation ultérieure. Le Problème Les résultats sont actuellement sauvegardés en CSV, format peu efficace pour les requêtes analytiques. Contraintes Écrire le DataFrame en format Parquet avec compression snappy. Utiliser le mode overwrite. Partitionner par la colonne pays. Livrable attendu Un script PySpark sauvegardant correctement un DataFrame en Parquet avec partitionnement et compression.

Compétences ciblées