Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
Scénario Technique
Contexte Un job analytique critique prend 3 heures sur un cluster de 20 nœuds pour traiter 500GB de données. Le Problème L'analyse du Spark UI révèle des stages déséquilibrés, un nombre de partitions inadapté après shuffle et des spill mémoire fréquents. Contraintes Ajuster spark.sql.shuffle.partitions en fonction du volume. Forcer un AQE (Adaptive Query Execution) avec les configurations appropriées. Corriger les spill en ajustant spark.executor.memory et spark.memory.fraction. Documenter chaque paramètre modifié. Livrable attendu Une configuration Spark optimisée avec justification technique de chaque paramètre, visant une réduction significative du temps d'exécution.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.