Conception d’une architecture ETL hybride batch et temps réel

Scénario

Contexte : Votre entreprise traite des données transactionnelles critiques en temps réel tout en produisant des rapports consolidés chaque nuit. Le Problème : L’architecture actuelle repose uniquement sur des batchs nocturnes, ce qui ne permet pas d’alimenter les tableaux de bord temps réel. Contraintes : Concevoir une architecture combinant ingestion streaming pour données critiques et batch pour consolidations historiques. Garantir cohérence entre flux temps réel et data warehouse. Prévoir gestion des doublons et idempotence. Livrable attendu : Proposer un design ETL hybride détaillant composants, flux de données, mécanismes de synchronisation et stratégie de gouvernance.

Compétences ciblées