Optimisation avancée d’un job MapReduce multi-étapes

Scénario

Contexte : Un workflow MapReduce complexe enchaîne plusieurs étapes intermédiaires sur HDFS. Le Problème : Les écritures et lectures intermédiaires provoquent une latence importante et une surcharge disque. Contraintes : Réduire les I/O inutiles. Utiliser combiners ou chaining si possible. Maintenir la cohérence des résultats finaux. Livrable attendu : Proposer une refonte technique du workflow MapReduce permettant d’améliorer significativement les performances globales.

Compétences ciblées