Débogage d'un job Spark en production via Spark UI et métriques

Scénario

Contexte Un job Spark de production présente des comportements intermittents : parfois rapide, parfois 10x plus lent sans changement de code apparent. Le Problème L'équipe ne sait pas interpréter le Spark UI pour identifier la cause des ralentissements (GC overhead, spill, skew, shuffle). Contraintes Décrire la méthodologie d'analyse du Spark UI : stages, tasks, métriques GC, shuffle read/write. Identifier les patterns caractéristiques de chaque problème. Proposer des corrections ciblées pour chaque cause identifiée. Livrable attendu Un guide de diagnostic structuré couvrant les 4 causes principales de lenteur Spark, avec métriques Spark UI associées et actions correctives.

Compétences ciblées