Traitement de données semi-structurées JSON imbriquées

Scénario

Contexte Un flux de données événementiels est stocké en JSON avec des champs imbriqués (objets et tableaux) qu'il faut aplatir pour analyse. Le Problème Le schéma JSON contient des champs nested et des arrays que les requêtes SQL standards ne peuvent pas interroger directement. Contraintes Utiliser getField(), explode() et col() pour aplatir la structure. Gérer le cas où le champ imbriqué peut être null. Livrable attendu Un script PySpark aplatissant correctement une structure JSON imbriquée en un DataFrame tabulaire exploitable.

Compétences ciblées