Conception d’une stratégie de monitoring et tuning avancé du cluster Spark

Scénario

Contexte : Les performances des jobs Spark sont variables selon la charge. Le Problème : Aucun monitoring structuré ni métriques avancées ne sont exploitées pour optimiser le cluster. Contraintes : Intégrer Spark UI, métriques JVM et outils de monitoring externes. Identifier les goulots d’étranglement CPU, mémoire et I/O. Livrable attendu : Proposer une stratégie complète de monitoring et tuning permettant d’améliorer durablement la performance du cluster Spark.

Compétences ciblées