Optimisation d’une lecture HDFS avec compression adaptée

Scénario

Contexte : Les données stockées dans HDFS sont volumineuses et les temps de lecture sont élevés. Le Problème : Les fichiers ne sont pas compressés ou utilisent un format peu performant. Contraintes : Choisir un format de compression compatible MapReduce (Snappy, Gzip). Maintenir la possibilité de traitement distribué efficace. Éviter une surcharge CPU excessive. Livrable attendu : Proposer une stratégie de compression adaptée aux workloads analytiques permettant d’améliorer les performances de lecture et stockage.

Compétences ciblées