Retour aux cas pratiques
Apache AirflowAvancé
Mise en place d’un capteur (Sensor) pour attendre un fichier externe
Scénario
Contexte : Un pipeline doit attendre l’arrivée d’un fichier dans un stockage externe avant de poursuivre le traitement. Le Problème : Le DAG démarre immédiatement et échoue si le fichier n’est pas encore disponible. Contraintes : Utiliser un FileSensor ou équivalent. Configurer un timeout et un poke_interval raisonnables. Éviter le blocage excessif des ressources. Livrable attendu : Proposer une implémentation utilisant un Sensor permettant d’attendre proprement la disponibilité du fichier.
Compétences ciblées
sensordagdependencyetlautomation