Optimisation d'un job GraphX pour analyse de réseau à grande échelle

Scénario

Contexte Une équipe fraud detection doit identifier les communautés dans un graphe de transactions financières de 100 millions d'arêtes. Le Problème L'algorithme de détection de communautés actuel dépasse les limites mémoire du cluster et ne converge pas après 50 itérations. Contraintes Utiliser GraphFrames (successeur de GraphX) avec l'algorithme Label Propagation. Limiter le nombre d'itérations avec un critère de convergence. Filtrer les arêtes de faible poids avant traitement pour réduire le graphe. Livrable attendu Un script PySpark utilisant GraphFrames pour détection de communautés avec optimisations de convergence et réduction préalable du graphe.

Compétences ciblées