Retour aux cas pratiques
Apache SparkFondamental
Mise en place d’un filtrage simple avec Spark DataFrame
Scénario
Contexte : Une équipe souhaite analyser uniquement les transactions supérieures à 100 unités monétaires. Le Problème : Le filtrage n’est pas encore implémenté dans le pipeline Spark. Contraintes : Utiliser l’API DataFrame pour filtrer les lignes. Éviter toute transformation en RDD. Conserver les performances distribuées. Livrable attendu : Écrire un extrait de code Spark permettant de filtrer efficacement les transactions selon le montant.
Compétences ciblées
dataframefiltertransformationetlbig-data