Conception d’un DAG dynamique générant des tâches à partir d’une liste de sources

Scénario

Contexte : Votre pipeline doit traiter quotidiennement des fichiers provenant de plusieurs sources partenaires. Le Problème : Le DAG actuel duplique manuellement les tâches pour chaque source, rendant la maintenance complexe. Contraintes : Générer dynamiquement les tâches à partir d’une liste Python. Éviter la duplication de code. Maintenir des dépendances claires entre extraction et transformation. Livrable attendu : Proposer un DAG dynamique utilisant une boucle ou TaskFlow API permettant de créer automatiquement les tâches pour chaque source.

Compétences ciblées