Optimisation d’un job Spark avec partitionnement adapté

Scénario

Contexte : Un job Spark traite quotidiennement plusieurs centaines de gigaoctets de données transactionnelles. Le Problème : Les temps d’exécution sont instables à cause d’un partitionnement non maîtrisé, provoquant des tâches déséquilibrées. Contraintes : Analyser le nombre de partitions existantes. Ajuster via repartition ou coalesce selon le cas. Éviter les shuffles inutiles. Maintenir une bonne parallélisation. Livrable attendu : Proposer une stratégie de partitionnement optimisée permettant d’améliorer la stabilité et les performances du job Spark.

Compétences ciblées