Apache Spark
Expert
Optimisation d’un job MLlib distribué sur grand volume
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
mllib
machine-learning
performance
optimization
big-data
Scénario Technique
Contexte : Une équipe data science entraîne un modèle via MLlib sur un dataset massif. Le Problème : L’entraînement prend plusieurs heures et consomme excessivement les ressources cluster. Contraintes : Optimiser la préparation des données. Ajuster le nombre de partitions. Configurer correctement la mémoire executor et driver. Livrable attendu : Proposer une stratégie d’optimisation complète pour accélérer l’entraînement distribué tout en maîtrisant les ressources.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.