Hadoop
Expert
Correction d’un déséquilibre extrême des reducers sur cluster volumineux
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
data-skew
mapreduce
partitioner
performance
big-data
Scénario Technique
Contexte : Un job analytique traite plusieurs téraoctets de logs applicatifs. Le Problème : Une minorité de reducers traite l’essentiel des données à cause d’une clé dominante, bloquant l’ensemble du job. Contraintes : Identifier la cause du data skew. Implémenter une stratégie de partitionnement personnalisée ou salting avancé. Minimiser la duplication des données. Livrable attendu : Proposer une solution robuste permettant d’équilibrer la charge des reducers et stabiliser le temps d’exécution du job.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.