Apache Spark
Avancé
Implémentation d'un UDF pour transformation métier complexe

Type d'évaluation

Mise en situation réelle

Analyse

Intelligence Artificielle

Compétences ciblées

spark
udf
pyspark
transformation
custom-function

Scénario Technique

Contexte Une règle métier de catégorisation de risque client ne peut pas être exprimée avec les fonctions Spark natives. Le Problème L'équipe utilise une boucle Python sur le DataFrame pour appliquer la règle, ce qui contourne complètement le moteur distribué. Contraintes Créer un UDF avec udf() en spécifiant le type de retour. Enregistrer l'UDF pour usage SQL si nécessaire. Privilégier les fonctions natives Spark si possible, sinon justifier l'UDF. Livrable attendu Un script PySpark définissant et appliquant un UDF correctement typé pour la règle métier, avec note sur les implications performance.

Prêt à évaluer ce talent ?

Accédez à l'interface de test complète pour soumettre votre architecture ou votre code.

Commencer le Défis
    Apache Spark - Implémentation d'un UDF pour transformation métier complexe | Défi Technique & Recrutement — CodeDuel