Retour aux cas pratiques
Apache SparkAvancé
Écriture d'un rapport agrégé avec pivot dynamique
Scénario
Contexte Une équipe reporting souhaite générer un tableau croisé du chiffre d'affaires par produit et par trimestre à partir d'un DataFrame de ventes. Le Problème Le rapport est actuellement généré en pandas après un collect() sur un DataFrame de plusieurs millions de lignes. Contraintes Utiliser groupBy() et pivot() de PySpark directement sur le DataFrame distribué. Limiter les valeurs du pivot aux 4 trimestres connus pour éviter un pivot dynamique coûteux. Livrable attendu Un script PySpark générant un rapport pivot agrégé sans collect() préalable sur le DataFrame complet.
Compétences ciblées
sparkpivotgroupbyreportingpyspark
