Conception d’un système de monitoring et d’observabilité complet du pipeline

Scénario

Contexte : Les incidents ETL sont détectés tardivement et l’analyse des causes est difficile. Le Problème : Aucun système centralisé de métriques ni d’alertes n’est en place. Contraintes : Intégrer métriques de volumétrie, latence et taux d’erreur. Mettre en place alertes automatiques. Assurer traçabilité complète des exécutions. Livrable attendu : Proposer une architecture d’observabilité avancée pour pipeline ETL incluant monitoring, logs et alertes proactives.

Compétences ciblées