Optimisation d’un data lake avec gestion des petits fichiers

Scénario

Contexte : Le data lake contient des millions de petits fichiers générés par des jobs Spark successifs. Le Problème : Les performances de lecture se dégradent fortement à cause du small files problem. Contraintes : Mettre en place une stratégie de compaction périodique. Ajuster la taille cible des fichiers. Optimiser la configuration d’écriture. Livrable attendu : Proposer une solution complète de gestion des petits fichiers améliorant la performance globale du cluster.

Compétences ciblées