Hadoop
Avancé
Correction d’un problème de petits fichiers saturant HDFS
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
hdfs
small-files
namenode
performance
optimization
Scénario Technique
Contexte : Des milliers de petits fichiers sont générés quotidiennement et stockés dans HDFS. Le Problème : Le NameNode consomme excessivement de la mémoire car chaque fichier génère des métadonnées, ce qui dégrade les performances globales. Contraintes : Éviter de modifier l’architecture applicative existante. Réduire la pression sur le NameNode. Maintenir l’accessibilité des données. Livrable attendu : Proposer une stratégie de consolidation (SequenceFile, HAR, compaction batch) permettant de limiter le small files problem sur HDFS.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.