Optimisation d’un pipeline massif avec gestion avancée de partitionnement

Scénario

Contexte : Le pipeline traite plusieurs milliards d’enregistrements mensuels. Le Problème : Les performances se dégradent fortement lors des phases de transformation et de chargement. Contraintes : Introduire partitionnement logique des données. Minimiser les shuffles ou transferts inutiles. Maintenir cohérence inter-partitions. Livrable attendu : Proposer une stratégie de design ETL optimisée pour très grand volume incluant partitionnement et parallélisation.

Compétences ciblées