Conception d’une architecture Transformer pour classification de texte à grande échelle

Scénario

Contexte : Une plateforme traite des millions de documents textuels et souhaite automatiser leur classification thématique avec haute précision. Le Problème : Les modèles LSTM actuels atteignent leurs limites en termes de performance et de parallélisation. Contraintes : Concevoir une architecture basée sur Transformer ou fine-tuning d’un modèle pré-entraîné. Gérer tokenisation adaptée et séquences longues. Optimiser mémoire GPU et temps d’entraînement. Livrable attendu : Proposer une architecture complète incluant prétraitement, fine-tuning, stratégie d’évaluation et plan de déploiement scalable.

Compétences ciblées