Data Engineer Confirmé - Azure / Microsoft Fabric - Bordeaux Talents Digital

Missions :

Migration des pipelines Data

• Réaliser l'audit des tables et pipelines existants.
• Identifier les flux éligibles à la migration.
• Transformer et migrer les pipelines vers la nouvelle Data Engine Platform.
• Assurer la maintenance et le support des nouveaux flux mis en production.

Migration de l'architecture Data

• Participer à la migration de l'environnement Azure Synapse Analytics vers Microsoft Fabric.
• Concevoir et optimiser les traitements de données dans un objectif de performance et de maintenabilité.
• Intervenir sur les composants Microsoft Fabric (OneLake, Lakehouses, etc.).
• Participer à l'intégration des différentes sources et outils du SI Data.

Gouvernance des données

• Mettre en œuvre les règles de conservation et d'archivage des données.
• Garantir la conformité des flux avec les politiques de rétention définies par l'organisation.
• Participer à la documentation et à la structuration du patrimoine Data.

Vie d'équipe

• Participer aux cérémonies Agile.
• Collaborer étroitement avec les équipes Data Engineering et Data Analytics.
• Produire et maintenir une documentation technique de qualité.
• Être force de proposition sur les bonnes pratiques et les évolutions techniques.

Stack technique :

Data Platform

• Microsoft Fabric
• Azure Synapse Analytics
• OneLake
• Lakehouse

Data Engineering

• Python
• PySpark
• SQL
• Spark

Orchestration

• Airflow
• DAG complexes

Outils & Méthodologies

• Jira
• Azure DevOps
• Agile Scrum / Kanban

Écosystème

• Salesforce
• Amplitude
• Tableau

Profil recherché :

• Vous justifiez d'une expérience confirmée en Data Engineering.
• Vous maîtrisez les environnements Microsoft Data, notamment Azure Synapse et idéalement Microsoft Fabric.
• Vous possédez une solide expertise sur Spark, Python, PySpark et SQL.
• Vous avez une expérience significative dans la conception et l'optimisation de pipelines Data complexes.
• Vous êtes à l'aise avec la création et la maintenance de DAG sous Airflow.
• Vous maîtrisez les principes de modélisation de données et les architectures Data modernes.
• Vous êtes autonome, rigoureux et capable de porter des sujets techniques de bout en bout.
• Vous appréciez le travail en équipe et savez communiquer efficacement avec des interlocuteurs techniques et fonctionnels.
• Une sensibilité aux usages de l'IA appliqués au développement et à l'optimisation des pipelines constitue un plus.

Contexte de la mission :

Dans le cadre du renforcement et de l'accélération de son pôle Data suite à une réorganisation interne, notre client recherche un Data Engineer Confirmé pour accompagner plusieurs chantiers stratégiques de modernisation de sa plateforme Data.

La mission s'inscrit dans un contexte de transformation technologique avec la migration de l'architecture Data existante vers Microsoft Fabric, ainsi que la refonte et la migration de nombreux pipelines de données.