Architecte / Urbaniste DATA Senior : AWS Databricks Jean-Michel.io

Description de la mission

La mission de l'architecte / urbaniste Data vise à :

-     Court terme : s'approprier l'environnement technique et fonctionnel du programme data ; mettre à jour le socle documentaire (cartographie des flux et référentiels, modèles de données métier et techniques, …)

-     Moyen terme : construire la vision cible de la plateforme data afin d'assurer la cohérence, la performance et la sécurité des flux et du stockage de données. Veiller à ce que les données soient correctement structurées et exploitables les équipes SI, Data et métier.

a - Positionnement dans l'organisation

L'Architecte / urbaniste Data est le référent architecture et urbanisme du programme data. Il se positionne à l'interface entre la vision stratégique du programme (portée par le Directeur de Programme) et les réalisations concrètes des squads (coordonnées par le Lead Technique). Il assure la cohérence architecturale de la plateforme data sur le long terme, en maintenant l'alignement entre les besoins métiers, les contraintes du Système d'Information et les choix technologiques.

Il travaille en binôme structurant avec le Lead Technique Data : définition des patterns, des schémas et principes directeurs ; le Lead Technique Data traduit ces décisions en standards d'implémentation et vérifie leur respect dans les squads. Cette complémentarité est au cœur du dispositif de redressement technique du programme.

Il intervient en appui du département SI (cheffe du pole décisionnel et échanges) et du programme Data (Directeur de Programme) dans le cadre des activités de conception de la chaîne de valeur de la donnée. Il peut ainsi être amené à intervenir sur tous les champs d'intervention liés à la gestion de la donnée dans l'ensemble du système d'Information et du programme Data.

b - Missions et activités clés

Ses missions principales sont de :

•     Concevoir et maintenir l'architecture fonctionnelle et technique de la plateforme data

•     Produire les schémas d'urbanisation du SI data (référentiels, flux, couches logiques, domaines)

•     Définir les patterns d'ingestion, de transformation et d'exposition de la donnée

•     Garantir l'alignement entre les besoins métiers exprimés et les choix technologiques retenus

•     Produire et tenir à jour la cartographie des flux de données et des systèmes sources

•     Définir les principes directeurs de l'architecture du programme data

•     Participer à la qualification technique des projets en amont des squads

•     S'assurer de la cohérence de ces travaux avec le schéma directeur du SI (urbanisation globale)

•     Contribuer à la démarche de gestion de la qualité, de la sécurité et de la conformité des données en lien avec les instances

•     Produire et tenir à jour la documentation associée à ces travaux

•     Anticiper les évolutions de la plateforme en intégrant les tendances architecturales (Data Mesh, Data Fabric)

•     Veille technologique

Architecture fonctionnelle du SI Data

      ◦     Conduire les ateliers de modélisation fonctionnelle avec les référents métiers

      ◦     Produire les diagrammes de contexte, de flux et de domaines data (C4 model ou ArchiMate)

      ◦     Établir et maintenir la cartographie des sources de données et des systèmes producteurs

      ◦     Définir l'architecture logique de la plateforme : couches Bronze / Silver / Gold (Medallion)

      ◦     Documenter les contrats d'interface entre systèmes sources et plateforme data

Architecture technique de la plateforme

      ◦     Définir l'architecture cible AWS + Databricks (services utilisés, intégrations, niveaux de service)

      ◦     Concevoir les patterns d'ingestion batch et streaming (schémas de référence réutilisables)

      ◦     Définir la stratégie de gestion des métadonnées (Unity Catalog, AWS Glue Data Catalog)

      ◦     Établir les principes de partitionnement, de versioning et de rétention des données

      ◦     Définir les patterns d'exposition (APIs data, partage de datasets, couche sémantique)

Gouvernance architecture

      ◦     Animer le comité d'architecture data (revue des choix structurants)

      ◦     Produire les Architecture Decision Records (ADRs) pour toutes les décisions structurantes

      ◦     Assurer la revue architecturale des User Stories à fort impact technique

      ◦     Définir et faire respecter les principes de sécurité et de conformité data par design

      ◦     Contribuer à la politique de gestion du cycle de vie des données (Data Lifecycle Management)

Collaboration et alignement

      ◦     Tenir des sessions d'alignement régulières avec le Lead Technique Data (bi-mensuel)

      ◦     Participer aux ateliers métiers pour qualifier les besoins en termes architecturaux

      ◦     Assurer la liaison avec l'Architecte d'Entreprise DSI pour la cohérence SI globale

c - Livrables

Les livrables attendus :

•     Schéma d'urbanisation du SI data (cartographie des domaines, flux, couches, référentiels)

•     Architecture cible de la plateforme data (diagramme C4 ou équivalent, niveau contexte, conteneurs, composants)

•     Catalogue des patterns d'ingestion, de transformation et d'exposition de la donnée

•     Référentiel des standards de modélisation et de nommage des entités data

•     Document de gouvernance architecturale (principes directeurs, processus de revue)

•     Stratégie de gestion des métadonnées et de l'observabilité de la plateforme

Compétences attendues

Très forte expérience professionnelle, et au moins 5 ans souhaité dans des fonctions d'architecture de systèmes d'information ou d'architecture data. Expérience confirmée en conception de plateformes data de bout en bout, de la modélisation fonctionnelle à l'architecture technique.

•     Expérience de conception d'architecture pour des programmes data à grande échelle (> 2 à 3 squads ou > 30 To)

•     Capacité démontrée à produire des livrables d'architecture clairs et adoptés par les équipes

•     Expérience de travail dans des environnements cloud AWS

•     Expérience de collaboration en programme agile avec des rôles techniques et métiers

•     Secteurs : Banque, Assurance, Retail, Industrie ou Santé - tout secteur avec patrimoine data complexe

Compétences techniques

•     Maîtrise des patterns d'architecture data : Data Lakehouse, Medallion Architecture, Data Vault, Data Mesh…

•     Connaissance experte des composants AWS data : S3, Glue, Lake Formation, Redshift, Kinesis, MSK

•     Connaissance avancée de Databricks : Delta Lake, Unity Catalog, Lakehouse architecture

•     Maîtrise des méthodes de modélisation : entité-relation, dimensionnel (Kimball/Inmon), Data Vault

2.0, UML

•     Maîtrise des outils d'architecture d'entreprise (ArchiMate, C4 Model, Sparx EA, Archi ou équivalent)

•     Connaissance des stratégies de gouvernance des métadonnées (catalogues : Data Catalog, Unity Catalog, Collibra, Atlan, DataHub)

•     Maîtrise de SQL avancé et compréhension des technologies de traitement (Spark, dbt)

•     Connaissance des enjeux de sécurité et conformité data (chiffrement, RBAC, RGPD by design)

•     Compréhension des architectures d'intégration (ELT/ETL, CDC, event-driven, API) •   Notion de machine learning / IA

•     Certifications et formations souhaitées :

◦     AWS Certified Solutions Architect - Professional

◦     AWS DataBricks Platform Architect Accreditation

◦     Data Modeling Strategies DataBricks

◦     TOGAF 9 Certified (Architecture d'entreprise) - fortement souhaité

◦ Certification Databricks (Data Engineer Professional ou Solution Architect)

◦Formation DAMA-DMBOK (gouvernance de la donnée) - un atout