Hadoop
Avancé
Optimisation d’un workflow Hadoop avec combinaison MapReduce
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
mapreduce
workflow
optimization
hdfs
performance
Scénario Technique
Contexte : Deux jobs MapReduce sont exécutés successivement avec des écritures intermédiaires sur HDFS. Le Problème : Les écritures et lectures intermédiaires augmentent le temps total du workflow. Contraintes : Réduire les I/O inutiles. Conserver la logique de traitement. Minimiser la charge sur HDFS. Livrable attendu : Proposer une refonte du workflow (chaining ou combiner avancé) permettant de réduire les écritures intermédiaires et améliorer les performances globales.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.