Optimisation d’un workflow Hadoop avec combinaison MapReduce

Scénario

Contexte : Deux jobs MapReduce sont exécutés successivement avec des écritures intermédiaires sur HDFS. Le Problème : Les écritures et lectures intermédiaires augmentent le temps total du workflow. Contraintes : Réduire les I/O inutiles. Conserver la logique de traitement. Minimiser la charge sur HDFS. Livrable attendu : Proposer une refonte du workflow (chaining ou combiner avancé) permettant de réduire les écritures intermédiaires et améliorer les performances globales.

Compétences ciblées