Correction d’un problème de gestion mémoire avec persist mal utilisé

Scénario

Contexte : Un DataFrame est persistant en mémoire mais provoque des erreurs liées au manque de RAM. Le Problème : persist() est utilisé sans niveau de stockage adapté. Extrait actuel : df.persist() Aucune stratégie MEMORY_AND_DISK n’est définie. Contraintes : Choisir un StorageLevel adapté. Éviter la saturation mémoire. Maintenir de bonnes performances. Livrable attendu : Proposer une configuration de persistance adaptée garantissant stabilité et performance.

Compétences ciblées