Apache Spark
Avancé
Écriture d'un rapport agrégé avec pivot dynamique
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
spark
pivot
groupby
reporting
pyspark
Scénario Technique
Contexte Une équipe reporting souhaite générer un tableau croisé du chiffre d'affaires par produit et par trimestre à partir d'un DataFrame de ventes. Le Problème Le rapport est actuellement généré en pandas après un collect() sur un DataFrame de plusieurs millions de lignes. Contraintes Utiliser groupBy() et pivot() de PySpark directement sur le DataFrame distribué. Limiter les valeurs du pivot aux 4 trimestres connus pour éviter un pivot dynamique coûteux. Livrable attendu Un script PySpark générant un rapport pivot agrégé sans collect() préalable sur le DataFrame complet.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.