Architecture d'un lakehouse avec séparation Bronze/Silver/Gold
Scénario
Contexte Une organisation souhaite refondre son datalake en adoptant l'architecture Medallion (Bronze/Silver/Gold) pour améliorer la gouvernance et la qualité des données. Le Problème Actuellement, toutes les données brutes et transformées cohabitent sans séparation, rendant impossible le contrôle de qualité et la traçabilité. Contraintes Définir les responsabilités et transformations de chaque couche. Implémenter le pipeline Bronze → Silver → Gold en PySpark avec Delta Lake. Ajouter des métadonnées de lignage (source, timestamp d'ingestion, version de traitement) à chaque couche. Livrable attendu Une implémentation PySpark complète de l'architecture Medallion avec Delta Lake, transformations documentées et métadonnées de lignage à chaque couche.