Correction d’un déséquilibre massif de partitions dans un job critique

Scénario

Contexte : Un job Spark critique montre une forte disparité entre tâches rapides et tâches très lentes. Le Problème : Certaines partitions contiennent beaucoup plus de données que d’autres. Contraintes : Identifier la cause du skew. Utiliser repartitionByRange ou salting si nécessaire. Minimiser l’impact sur la logique métier. Livrable attendu : Proposer une stratégie technique pour équilibrer efficacement les partitions et stabiliser le temps d’exécution.

Compétences ciblées