Conception d’une stratégie d’entraînement distribué pour dataset massif

Scénario

Contexte : Le dataset contient des centaines de millions d’enregistrements et ne tient pas en mémoire sur une seule machine. Le Problème : L’entraînement devient lent ou impossible dans l’environnement actuel. Contraintes : Concevoir une stratégie d’entraînement distribué ou par mini-batch. Optimiser utilisation des ressources. Maintenir reproductibilité. Livrable attendu : Proposer une architecture d’entraînement scalable adaptée aux très grands volumes de données.

Compétences ciblées