Correction d’un système sans limitation de fréquence des appels LLM

Scénario

Contexte : Une application envoie un grand nombre de requêtes au LLM. Le Problème : Dépassement de quota et coûts imprévus. Extrait logique actuelle : for request in requests: client.generate(request) Sans contrôle. Contraintes : Implémenter rate limiting simple. Ajouter gestion des quotas. Journaliser volume d’appels. Livrable attendu : Corriger l’intégration afin de contrôler la fréquence et maîtriser les coûts d’utilisation du LLM.

Compétences ciblées