Correction d’un problème de petits fichiers saturant HDFS

Scénario

Contexte : Des milliers de petits fichiers sont générés quotidiennement et stockés dans HDFS. Le Problème : Le NameNode consomme excessivement de la mémoire car chaque fichier génère des métadonnées, ce qui dégrade les performances globales. Contraintes : Éviter de modifier l’architecture applicative existante. Réduire la pression sur le NameNode. Maintenir l’accessibilité des données. Livrable attendu : Proposer une stratégie de consolidation (SequenceFile, HAR, compaction batch) permettant de limiter le small files problem sur HDFS.

Compétences ciblées