Pipeline complet avec gestion des erreurs et reprise

Scénario

Vous devez concevoir un pipeline Talend qui traite quotidiennement un gros fichier de transactions (plusieurs centaines de milliers de lignes). Le job doit : charger les données dans une base PostgreSQL, enregistrer chaque ligne en erreur dans une table dédiée, permettre la reprise du traitement en cas d’interruption (par exemple, relancer le job sans retraiter les lignes déjà chargées), générer un rapport automatisé résumant le nombre de lignes traitées, rejetées et reprises. Décrivez en détail l’architecture du job, les composants clés, la gestion des rejets, l’implémentation de la reprise et la logique de génération du rapport.

Compétences ciblées