Apache Spark
Expert
Optimisation avancée via tuning du plan d'exécution Catalyst

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

spark
catalyst
aqe
tuning
performance

Scénario Technique

Contexte Un job analytique critique prend 3 heures sur un cluster de 20 nœuds pour traiter 500GB de données. Le Problème L'analyse du Spark UI révèle des stages déséquilibrés, un nombre de partitions inadapté après shuffle et des spill mémoire fréquents. Contraintes Ajuster spark.sql.shuffle.partitions en fonction du volume. Forcer un AQE (Adaptive Query Execution) avec les configurations appropriées. Corriger les spill en ajustant spark.executor.memory et spark.memory.fraction. Documenter chaque paramètre modifié. Livrable attendu Une configuration Spark optimisée avec justification technique de chaque paramètre, visant une réduction significative du temps d'exécution.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis