Apache Spark
Expert
Implémentation d'un Delta Lake avec gestion ACID et time travel

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

spark
delta-lake
acid
time-travel
upsert

Scénario Technique

Contexte Une équipe data engineering doit remplacer un datalake Parquet classique par une solution supportant les mises à jour ACID et la traçabilité des modifications. Le Problème Le format Parquet ne supporte pas les updates et deletes natifs, rendant impossible la conformité GDPR (droit à l'oubli). Contraintes Utiliser Delta Lake (delta-spark). Implémenter merge() pour upsert. Démontrer le time travel avec versionAsOf. Implémenter VACUUM pour nettoyage des anciennes versions. Livrable attendu Un script PySpark complet démontrant écriture Delta, upsert via merge(), time travel et gestion du cycle de vie des données.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Implémentation d'un Delta Lake avec gestion ACID et time travel | Défi Technique & Recrutement — CodeDuel