Implémentation d'un pipeline ETL avec gestion des partitions

Scénario

Contexte Un pipeline ETL charge quotidiennement des logs applicatifs et doit les transformer avant persistance. Le Problème Le pipeline actuel utilise un nombre de partitions par défaut inadapté, générant soit trop de petits fichiers soit des partitions trop volumineuses. Contraintes Utiliser repartition() ou coalesce() selon le contexte. Définir le nombre de partitions en fonction du volume estimé (128MB par partition). Justifier le choix entre repartition et coalesce. Livrable attendu Un pipeline ETL PySpark avec gestion explicite du nombre de partitions adaptée aux deux phases de transformation et d'écriture.

Compétences ciblées