Correction d’un pipeline LLM sans gestion des délais de réponse

Scénario

Contexte : Certaines requêtes prennent trop de temps et bloquent l’application. Le Problème : Aucun timeout ou fallback n’est prévu. Extrait logique actuelle : response = client.generate(prompt) Sans timeout défini. Contraintes : Définir timeout maximum. Implémenter fallback simple en cas d’échec. Journaliser délais excessifs. Livrable attendu : Corriger l’intégration afin d’améliorer robustesse face aux latences API.

Compétences ciblées