Apache Spark
Expert
Correction d’un déséquilibre massif de partitions dans un job critique
Type d'évaluation
Mise en situation réelle
Analyse
Intelligence Artificielle
Compétences ciblées
partition-skew
performance
repartition
optimization
big-data
Scénario Technique
Contexte : Un job Spark critique montre une forte disparité entre tâches rapides et tâches très lentes. Le Problème : Certaines partitions contiennent beaucoup plus de données que d’autres. Contraintes : Identifier la cause du skew. Utiliser repartitionByRange ou salting si nécessaire. Minimiser l’impact sur la logique métier. Livrable attendu : Proposer une stratégie technique pour équilibrer efficacement les partitions et stabiliser le temps d’exécution.
Prêt à évaluer ce talent ?
Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.