Correction d’un système envoyant des prompts trop longs

Scénario

Contexte : Une application envoie l’intégralité d’un document volumineux au LLM. Le Problème : Les requêtes dépassent la limite de tokens et échouent. Extrait logique actuelle : prompt = full_document client.generate(prompt) Contraintes : Implémenter découpage simple en segments. Limiter taille du prompt. Tester cohérence des réponses partielles. Livrable attendu : Corriger le système pour respecter les limites de tokens tout en conservant pertinence des réponses.

Compétences ciblées