Conception d’un système d’évaluation automatique des réponses LLM

Scénario

Contexte : Une équipe souhaite mesurer objectivement la qualité des réponses générées. Le Problème : L’évaluation est manuelle et subjective. Contraintes : Définir métriques simples (similarité avec référence, cohérence). Mettre en place dataset de test. Automatiser scoring. Livrable attendu : Proposer un système d’évaluation structuré permettant comparaison des performances sur plusieurs versions du prompt ou modèle.

Compétences ciblées