Optimisation d’un job MapReduce souffrant de data skew

Scénario

Contexte : Votre cluster Hadoop exécute un job MapReduce quotidien pour analyser des logs applicatifs volumineux. Le Problème : Certaines tâches Reduce prennent beaucoup plus de temps que les autres car certaines clés sont extrêmement fréquentes, provoquant un déséquilibre (data skew). Contraintes : Analyser la distribution des clés intermédiaires. Éviter une modification complète de la logique métier. Limiter l’impact sur le temps total d’exécution et la charge réseau. Livrable attendu : Proposer une stratégie technique (custom partitioner, combiner, salting) permettant de corriger le déséquilibre des reducers et stabiliser le temps d’exécution.

Compétences ciblées