Retour aux cas pratiques
Apache SparkAvancé

Écriture d'un rapport agrégé avec pivot dynamique

Scénario

Contexte Une équipe reporting souhaite générer un tableau croisé du chiffre d'affaires par produit et par trimestre à partir d'un DataFrame de ventes. Le Problème Le rapport est actuellement généré en pandas après un collect() sur un DataFrame de plusieurs millions de lignes. Contraintes Utiliser groupBy() et pivot() de PySpark directement sur le DataFrame distribué. Limiter les valeurs du pivot aux 4 trimestres connus pour éviter un pivot dynamique coûteux. Livrable attendu Un script PySpark générant un rapport pivot agrégé sans collect() préalable sur le DataFrame complet.

Compétences ciblées

sparkpivotgroupbyreportingpyspark
    Écriture d'un rapport agrégé avec pivot dynamique — mise en situation Apache Spark | CodeDuel