Data Engineer (Expert +10 ans) Jean-Michel.io

Le présent appel d'offre a pour objet la sélection d'un Data Engineer Senior afin d'accompagner le pôle Data Services de notre client secteur transport public dans la conception, l'industrialisation et l'évolution de ses solutions data.

• Concevoir, développer et optimiser des pipelines de données à grande échelle

• Mettre en œuvre des flux batch, streaming et ingestion via API

• Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold)

• Développer et industrialiser les pipelines via DBT, Spark et Iceberg

• Contribuer à l'évolution de l'architecture Lakehouse

Livrables

• Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent)

• Orchestrer les workflows ETL/ELT via Airflow

• Mettre en œuvre l'Infrastructure as Code (Terraform)

• Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes)

• Garantir la disponibilité, la supervision et l'observabilité des traitements

• Participer à la gestion des incidents et à l'amélioration continue

• Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés)

• Documenter les architectures, pipelines et règles métier

• Garantir la conformité des flux, notamment dans le cadre RGPD

• 8 années minimum d'expérience en Data Engineering

• Une maîtrise avancée des architectures Big Data et Lakehouse

• Expertise réelle sur Spark, DBT, Iceberg, AWS et Terraform

• Maîtrise des services AWS (Glue, EMR, S3, ...)

• Connaissance de Trino/Starburst, Datadog

• Forte capacité d'analyse, rigueur, autonomie et culture de l'amélioration continue