Implémentation d'un Delta Lake avec gestion ACID et time travel

Scénario

Contexte Une équipe data engineering doit remplacer un datalake Parquet classique par une solution supportant les mises à jour ACID et la traçabilité des modifications. Le Problème Le format Parquet ne supporte pas les updates et deletes natifs, rendant impossible la conformité GDPR (droit à l'oubli). Contraintes Utiliser Delta Lake (delta-spark). Implémenter merge() pour upsert. Démontrer le time travel avec versionAsOf. Implémenter VACUUM pour nettoyage des anciennes versions. Livrable attendu Un script PySpark complet démontrant écriture Delta, upsert via merge(), time travel et gestion du cycle de vie des données.

Compétences ciblées