Mise en place d’un système d’orchestration multi-modèles avec routage intelligent

Scénario

Contexte : Une application utilise plusieurs LLM spécialisés (résumé, code, classification) selon le type de tâche. Le Problème : Les requêtes sont envoyées au même modèle, entraînant coûts élevés et performances inadaptées. Contraintes : Implémenter un routeur intelligent déterminant quel modèle utiliser selon le type de requête. Mesurer latence et coût. Garantir cohérence des réponses. Livrable attendu : Concevoir une architecture d’orchestration multi-modèles optimisant coût, latence et qualité selon le cas d’usage.

Compétences ciblées