Apache Spark
Avancé
Mise en place d’une écriture optimisée avec partitionnement Parquet
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
parquet
partitionBy
storage
performance
big-data
Scénario Technique
Contexte : Les données transformées sont écrites en Parquet mais les requêtes ultérieures sont lentes. Le Problème : Aucun partitionnement n’est appliqué lors de l’écriture. Contraintes : Définir un partitionBy adapté (par exemple par date ou région). Optimiser la lecture ultérieure. Éviter un trop grand nombre de petits fichiers. Livrable attendu : Proposer une stratégie d’écriture Parquet optimisée pour de futures requêtes analytiques.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.