Optimisation d’un pipeline utilisant plusieurs transformations coûteuses

Scénario

Contexte : Un pipeline Spark applique successivement plusieurs transformations (filter, join, groupBy). Le Problème : L’ordre des transformations n’est pas optimal et augmente le volume intermédiaire traité. Contraintes : Réorganiser les transformations pour réduire le dataset le plus tôt possible. Exploiter le Catalyst Optimizer. Livrable attendu : Proposer une réorganisation logique des transformations améliorant la performance globale du pipeline.

Compétences ciblées