Correction d’un modèle entraîné sur séquences tronquées sans attention adéquate

Scénario

Contexte : Un modèle traite des documents longs mais tronque systématiquement au-delà d’une certaine longueur. Le Problème : Des informations importantes en fin de document sont ignorées. Extrait logique actuelle : Tokenizer(max_length=128, truncation=True) Contraintes : Mettre en place stratégie sliding window ou modèle adapté aux longues séquences. Évaluer impact sur performance. Livrable attendu : Proposer une solution permettant gestion efficace de documents longs en NLP.

Compétences ciblées