Apache Spark
Expert
Optimisation d'un job GraphX pour analyse de réseau à grande échelle

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

spark
graphframes
graph
fraud-detection
community-detection

Scénario Technique

Contexte Une équipe fraud detection doit identifier les communautés dans un graphe de transactions financières de 100 millions d'arêtes. Le Problème L'algorithme de détection de communautés actuel dépasse les limites mémoire du cluster et ne converge pas après 50 itérations. Contraintes Utiliser GraphFrames (successeur de GraphX) avec l'algorithme Label Propagation. Limiter le nombre d'itérations avec un critère de convergence. Filtrer les arêtes de faible poids avant traitement pour réduire le graphe. Livrable attendu Un script PySpark utilisant GraphFrames pour détection de communautés avec optimisations de convergence et réduction préalable du graphe.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis