Hadoop
Avancé
Correction d’un problème de petits fichiers saturant HDFS

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

hdfs
small-files
namenode
performance
optimization

Scénario Technique

Contexte : Des milliers de petits fichiers sont générés quotidiennement et stockés dans HDFS. Le Problème : Le NameNode consomme excessivement de la mémoire car chaque fichier génère des métadonnées, ce qui dégrade les performances globales. Contraintes : Éviter de modifier l’architecture applicative existante. Réduire la pression sur le NameNode. Maintenir l’accessibilité des données. Livrable attendu : Proposer une stratégie de consolidation (SequenceFile, HAR, compaction batch) permettant de limiter le small files problem sur HDFS.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis