Mise en place d’un pipeline distribué d’entraînement multi-GPU

Scénario

Contexte : Le dataset d’images dépasse plusieurs centaines de millions d’exemples. Le Problème : L’entraînement sur une seule machine devient trop long et coûteux. Contraintes : Concevoir un entraînement distribué multi-GPU ou multi-nodes. Assurer synchronisation des gradients. Garantir reproductibilité des résultats. Livrable attendu : Proposer une architecture distribuée complète permettant entraînement scalable et stable.

Compétences ciblées