Data Engineer GCP / Spark – Plateforme Data Jean-Michel.io

vous interviendrez sur la plateforme data au cœur des enjeux de collecte, structuration et valorisation des données.

Contexte

Intégré à l'équipe "Bronze", vous contribuerez à la construction et à l'évolution des pipelines de données dans un environnement à forte volumétrie.

️ Vos missions

• Collecter et intégrer des données issues de sources hétérogènes

• Concevoir et maintenir des pipelines data robustes et scalables

• Structurer et organiser le stockage des données (Data Lake)

• Participer à la mise en place d'infrastructures data sur GCP

• Développer et maintenir les workflows CI/CD

• Garantir la qualité, la sécurité et la gouvernance des données

• Accompagner les équipes dans l'exploitation des données

• Contribuer à la documentation et aux bonnes pratiques

Stack technique

• Python, SQL, Spark

• Airflow

• GCP (BigQuery, Dataproc, PubSub, Cloud Storage)

• Delta Lake

• Terraform / Terragrunt

• GitLab CI/CD

Nous recherchons un Data Engineer expérimenté capable d'intervenir sur l'ensemble de la chaîne de traitement de la donnée.

️ Compétences requises :

• Expérience significative en Data Engineering (5 ans minimum)

• Maîtrise de Python et SQL

• Bonne expérience sur Spark

• Expérience sur GCP (BigQuery indispensable)

• Expérience sur la mise en place de pipelines data

• Connaissance des architectures Data Lake / Delta Lake

• Maîtrise des outils d'orchestration (Airflow)

• Expérience en CI/CD (GitLab)

• Connaissance des outils d'infrastructure as code (Terraform)

• Bonne compréhension des enjeux de gouvernance et qualité des données

Soft skills :

• Capacité à vulgariser des sujets techniques

• Esprit collaboratif

• Autonomie et rigueur

• Bonne communication

Agence digitale d'archi'Tech qui propose des solutions sur mesure et accompagne ses clients via des démarches de Thinking pour accélérer leur transformation et leur performance digitale.