Mise en place d’un système de journalisation détaillée du pipeline

Scénario

Contexte : Les incidents sur le pipeline sont difficiles à diagnostiquer. Le Problème : Les logs actuels sont limités et ne permettent pas de retracer précisément les erreurs. Contraintes : Ajouter journalisation des volumes traités, durées d’exécution et statuts d’étapes. Centraliser les logs. Prévoir alertes simples. Livrable attendu : Proposer un design ETL intégrant un système structuré de logging et monitoring.

Compétences ciblées