Mise en place d’une écriture optimisée avec partitionnement Parquet

Scénario

Contexte : Les données transformées sont écrites en Parquet mais les requêtes ultérieures sont lentes. Le Problème : Aucun partitionnement n’est appliqué lors de l’écriture. Contraintes : Définir un partitionBy adapté (par exemple par date ou région). Optimiser la lecture ultérieure. Éviter un trop grand nombre de petits fichiers. Livrable attendu : Proposer une stratégie d’écriture Parquet optimisée pour de futures requêtes analytiques.

Compétences ciblées