Implémentation d'un UDF pour transformation métier complexe

Scénario

Contexte Une règle métier de catégorisation de risque client ne peut pas être exprimée avec les fonctions Spark natives. Le Problème L'équipe utilise une boucle Python sur le DataFrame pour appliquer la règle, ce qui contourne complètement le moteur distribué. Contraintes Créer un UDF avec udf() en spécifiant le type de retour. Enregistrer l'UDF pour usage SQL si nécessaire. Privilégier les fonctions natives Spark si possible, sinon justifier l'UDF. Livrable attendu Un script PySpark définissant et appliquant un UDF correctement typé pour la règle métier, avec note sur les implications performance.

Compétences ciblées