Apache Spark
Expert
Architecture d'un lakehouse avec séparation Bronze/Silver/Gold

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

spark
lakehouse
medallion
delta-lake
data-architecture

Scénario Technique

Contexte Une organisation souhaite refondre son datalake en adoptant l'architecture Medallion (Bronze/Silver/Gold) pour améliorer la gouvernance et la qualité des données. Le Problème Actuellement, toutes les données brutes et transformées cohabitent sans séparation, rendant impossible le contrôle de qualité et la traçabilité. Contraintes Définir les responsabilités et transformations de chaque couche. Implémenter le pipeline Bronze → Silver → Gold en PySpark avec Delta Lake. Ajouter des métadonnées de lignage (source, timestamp d'ingestion, version de traitement) à chaque couche. Livrable attendu Une implémentation PySpark complète de l'architecture Medallion avec Delta Lake, transformations documentées et métadonnées de lignage à chaque couche.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Architecture d'un lakehouse avec séparation Bronze/Silver/Gold | Défi Technique & Recrutement — CodeDuel