Hadoop
Expert
Correction d’un déséquilibre extrême des reducers sur cluster volumineux

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

data-skew
mapreduce
partitioner
performance
big-data

Scénario Technique

Contexte : Un job analytique traite plusieurs téraoctets de logs applicatifs. Le Problème : Une minorité de reducers traite l’essentiel des données à cause d’une clé dominante, bloquant l’ensemble du job. Contraintes : Identifier la cause du data skew. Implémenter une stratégie de partitionnement personnalisée ou salting avancé. Minimiser la duplication des données. Livrable attendu : Proposer une solution robuste permettant d’équilibrer la charge des reducers et stabiliser le temps d’exécution du job.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Hadoop - Correction d’un déséquilibre extrême des reducers sur cluster volumineux | Test Technique & Recrutement