Data Engineer Jean-Michel.io

Client : Transport

Dans le cadre de l'évolution du DataHub vers une architecture Data Lakehouse, le client engage une bascule progressive depuis une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse. Cette trajectoire inclut la migration des flux existants, la mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products) et le décommissionnement de Talend.

Le/la Data Engineer intervient sous la responsabilité du Responsable de l'équipe technique et en appui du Techlead sur le projet de bascule Lakehouse. Son périmètre couvre à la fois la contribution au projet de décommissionnement Talend et de nouvelle architecture Snowflake, la réalisation de projets et demandes évolutives sur le périmètre data existant, ainsi que le traitement des incidents et le support au Run.

Livrables attendus

• Inventaire et documentation des jobs Talend repris

• Pipelines Snowflake industrialisés issus de la migration Talend

• Modèles Lakehouse documentés

• Contribution à la stratégie de migration et de décommissionnement Talend

• Développements réalisés sur les projets et demandes évolutives traités

• Suivi et documentation des incidents traités (analyse de cause racine, correctifs)

Stack technique

• Snowflake (SQL, Snowpipe, Snowpark, RBAC, supervision)

• Terraform

• Talend (ou ETL équivalent)

• Python

• SQL avancé

• AWS (Lambda, services serverless) - apprécié

Compétences obligatoires :

• Snowflake : SQL, Snowpipe, Snowpark, RBAC, supervision

• Terraform

• Talend ou ETL équivalent

• SQL avancé

• Python

Compétences appréciées

• Power BI

• Expérience Data Lakehouse / Data Mesh

• AWS (Lambda, services serverless)

Description - CraftmanDataCraftmanData est un cabinet de conseil spécialisé en data, intelligence artificielle et architectures critiques, conçu pour accompagner les organisations confrontées à des enjeux de transformation à grande échelle, de performance opérationnelle et de continuité de service.Nous intervenons là où la donnée devient un actif stratégique, dans des environnements complexes, fortement réglementés et soumis à des contraintes de disponibilité élevées (24/7, SLA, RTO/RPO) : transport et logistique, ports et douanes, industrie, services publics, plateformes numériques.Notre approche repose sur trois piliers :1. Architecture data & plateformes critiquesNous concevons et sécurisons des architectures data modernes, résilientes et scalables :•Kubernetes & conteneurisation (cloud, on-prem, hybride)•Architectures événementielles et orientées flux•Modernisation de legacy complexes (ESB, BizTalk, batchs, monolithes)•Haute disponibilité, PRA/PCA, performance et souveraineté des données2. Data, IA et usages métiersNous mettons la data et l'IA au service des usages réels :•IA générative appliquée aux métiers (opérations, service client, conformité)•Automatisation intelligente des processus•Exploitation des flux massifs (messaging, API, temps réel)•Gouvernance, qualité et traçabilité de la donnée3. Exécution et RUN industrialiséCraftmanData se distingue par une culture forte de l'exécution :•Accompagnement de bout en bout : cadrage → delivery → RUN•Structuration des équipes N1 / N2 / N3•Observabilité, monitoring 24/7, gestion des incidents•Optimisation des coûts et des performances dans la duréeNotre positionnementCraftmanData n'est pas un simple intégrateur technologique.Nous agissons comme un partenaire de confiance, capable de dialoguer aussi bien avec les directions générales qu'avec les équipes techniques, pour sécuriser des plateformes critiques et accompagner une croissance durable.