Mise en place d’un pipeline Delta Lake avec gestion ACID

Scénario

Contexte : Les équipes souhaitent bénéficier de transactions ACID sur leur data lake Spark. Le Problème : Les mises à jour concurrentes provoquent des incohérences sur des fichiers Parquet standards. Contraintes : Implémenter Delta Lake. Activer le versioning et la gestion des transactions. Garantir la compatibilité avec les workloads existants. Livrable attendu : Proposer une architecture Delta Lake permettant gestion ACID, time travel et contrôle des écritures concurrentes.

Compétences ciblées