Optimisation d’un job MLlib distribué sur grand volume

Scénario

Contexte : Une équipe data science entraîne un modèle via MLlib sur un dataset massif. Le Problème : L’entraînement prend plusieurs heures et consomme excessivement les ressources cluster. Contraintes : Optimiser la préparation des données. Ajuster le nombre de partitions. Configurer correctement la mémoire executor et driver. Livrable attendu : Proposer une stratégie d’optimisation complète pour accélérer l’entraînement distribué tout en maîtrisant les ressources.

Compétences ciblées