Apache Spark
Avancé
Écriture d'un rapport agrégé avec pivot dynamique

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

spark
pivot
groupby
reporting
pyspark

Scénario Technique

Contexte Une équipe reporting souhaite générer un tableau croisé du chiffre d'affaires par produit et par trimestre à partir d'un DataFrame de ventes. Le Problème Le rapport est actuellement généré en pandas après un collect() sur un DataFrame de plusieurs millions de lignes. Contraintes Utiliser groupBy() et pivot() de PySpark directement sur le DataFrame distribué. Limiter les valeurs du pivot aux 4 trimestres connus pour éviter un pivot dynamique coûteux. Livrable attendu Un script PySpark générant un rapport pivot agrégé sans collect() préalable sur le DataFrame complet.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis