Résolution d'un problème de small files aggravant les performances HDFS

Scénario

Contexte Un pipeline Spark génère plusieurs milliers de petits fichiers Parquet par jour, dégradant progressivement les performances de lecture HDFS et surchargeant le NameNode. Le Problème Chaque micro-batch Spark écrit autant de fichiers que de partitions actives, produisant des fichiers de quelques Ko. Contraintes Impémenter une stratégie de compaction post-écriture avec coalesce(). Configurer le nombre de fichiers cibles en fonction de la taille optimale (128-256MB). Automatiser la compaction sans interruption du pipeline principal. Livrable attendu Une stratégie de compaction PySpark réduisant le nombre de fichiers produits et maintenant des tailles de fichiers optimales pour HDFS.

Compétences ciblées