Optimisation d’un pipeline batch volumineux

Scénario

Contexte : Un pipeline batch traite plusieurs millions d’enregistrements chaque nuit. Le Problème : Les temps de traitement dépassent la fenêtre disponible. Contraintes : Introduire parallélisation ou partitionnement logique. Réduire les transformations inutiles. Maintenir cohérence des données. Livrable attendu : Proposer une stratégie d’optimisation du design ETL améliorant performance et stabilité.

Compétences ciblées