INGENIEUR DATA AZURE H/F (H/F) SERA
Lyon 1er ArrondissementCDI
Salaire non précisé
Il y a 1 heures sur le WebSoyez parmi les premiers à postuler
Critères de l'offre
Métiers :
- Ingénieur Data Scientist (H/F)
- + 1 métier
Expérience min :
- 6 à 10 ans
Secteur :
- ESN, Editeurs de logiciel, Services informatiques
Compétences :
- Anglais
Lieux :
- Lyon 1er Arrondissement
Conditions :
- CDI
- Salaire non précisé
- Temps Plein
Description du poste
Nous recherchons un Data Engineer H/F pour intervenir au sein d'un environnement Cloud Data Warehouse sous Microsoft Azure.
Vous rejoindrez une équipe travaillant sur des sujets à forts enjeux autour de la Data, du Cloud et de l'industrialisation, avec un rôle à la fois orienté Data Engineering, supervision et DevOps.
Le profil recherché devra être capable d'intervenir sur l'ensemble de la chaîne de traitement des données, de la conception des pipelines jusqu'au déploiement et la supervision.
Vos principales missions:
* Concevoir, développer et orchestrer des notebooks Databricks en PySpark
* Alimenter et exploiter une architecture Medallion : Bronze / Silver / Gold
* Manipuler et optimiser les formats Parquet, Delta et CSV, en tenant compte des enjeux de performance, robustesse et coûts
* Optimiser les notebooks et jobs existants
* Mettre en place et maintenir la supervision des flux de données
* Monitorer les pipelines Azure Data Factory
* Suivre la qualité des données et mettre en place des alertes et tableaux de bord
* Participer à la détection et à la résolution des incidents ainsi qu'à la fiabilisation de la plateforme Data
* Collaborer avec les équipes métiers et techniques afin de comprendre les besoins et industrialiser les traitements
* Faire évoluer les repositories d'infrastructure Terraform et Jenkins
* Maintenir et exécuter les pipelines Jenkins dédiés aux déploiements et traitements Data
* Participer à la gestion des repositories GitHub : branches, PR/MR, revues de code et workflows Git
* Contribuer à l'automatisation et à la diffusion des bonnes pratiques Git / CI/CD
* Intervenir sur les sujets d'infrastructure Cloud associés à la plateforme Data
* Réaliser des études d'opportunité
* Participer à des dossiers d'innovation
* Produire des études, recommandations et dossiers d'architecture
* Répondre aux expressions de besoins internes
Environnement technique
Cloud & Data
* Microsoft Azure
* Azure Databricks
* Azure Data Factory
* Azure Storage Account
* Azure Key Vault
* Power BI
DevOps & CI/CD
* Terraform
* Jenkins
* GitHub
* Git / PR / MR / workflows
* Intégration Runtime via VM
Langages
* Python
* PySpark
* Spark SQL
* SQL
Data
* Parquet
* Delta / Delta Lake
* CSV
Librairies
* PySpark
* Delta-Spark
* Azure Identity
* Azure Key Vault Secrets
* Azure Storage Blob
Compétences attendues
* 7 ans d'expérience professionnelle minimum
* Solide expérience en Data Engineering
* Très bonne maîtrise de Databricks / PySpark
* Bonne connaissance de Microsoft Azure
* Expérience significative en DevOps
* Maîtrise de Terraform et Jenkins
* Bonne connaissance de Git / GitHub et CI/CD
* Connaissance des architectures Data, IA et Reporting BI
* Bonnes capacités rédactionnelles : documentation, guides techniques, dossiers d'architecture
* Autonomie, organisation et capacité à prioriser
* Esprit d'initiative et capacité à être force de proposition
* Anglais professionnel / technique
Les avantages du modèle JOCAD
En rejoignant JOCAD IT, vous bénéficiez d'un environnement structuré et attentif au bien-être des collaborateurs :
* Mutuelle & Prévoyance familiales complètes
* Tickets restaurant (Swile)
* Prime Vacances Syntec
* Plan de développement des compétences pour accompagner votre évolution
* Nombreuses offres CSE via Club Employés (réductions, loisirs, culture, voyages.)
Vous rejoindrez une équipe travaillant sur des sujets à forts enjeux autour de la Data, du Cloud et de l'industrialisation, avec un rôle à la fois orienté Data Engineering, supervision et DevOps.
Le profil recherché devra être capable d'intervenir sur l'ensemble de la chaîne de traitement des données, de la conception des pipelines jusqu'au déploiement et la supervision.
Vos principales missions:
* Concevoir, développer et orchestrer des notebooks Databricks en PySpark
* Alimenter et exploiter une architecture Medallion : Bronze / Silver / Gold
* Manipuler et optimiser les formats Parquet, Delta et CSV, en tenant compte des enjeux de performance, robustesse et coûts
* Optimiser les notebooks et jobs existants
* Mettre en place et maintenir la supervision des flux de données
* Monitorer les pipelines Azure Data Factory
* Suivre la qualité des données et mettre en place des alertes et tableaux de bord
* Participer à la détection et à la résolution des incidents ainsi qu'à la fiabilisation de la plateforme Data
* Collaborer avec les équipes métiers et techniques afin de comprendre les besoins et industrialiser les traitements
* Faire évoluer les repositories d'infrastructure Terraform et Jenkins
* Maintenir et exécuter les pipelines Jenkins dédiés aux déploiements et traitements Data
* Participer à la gestion des repositories GitHub : branches, PR/MR, revues de code et workflows Git
* Contribuer à l'automatisation et à la diffusion des bonnes pratiques Git / CI/CD
* Intervenir sur les sujets d'infrastructure Cloud associés à la plateforme Data
* Réaliser des études d'opportunité
* Participer à des dossiers d'innovation
* Produire des études, recommandations et dossiers d'architecture
* Répondre aux expressions de besoins internes
Environnement technique
Cloud & Data
* Microsoft Azure
* Azure Databricks
* Azure Data Factory
* Azure Storage Account
* Azure Key Vault
* Power BI
DevOps & CI/CD
* Terraform
* Jenkins
* GitHub
* Git / PR / MR / workflows
* Intégration Runtime via VM
Langages
* Python
* PySpark
* Spark SQL
* SQL
Data
* Parquet
* Delta / Delta Lake
* CSV
Librairies
* PySpark
* Delta-Spark
* Azure Identity
* Azure Key Vault Secrets
* Azure Storage Blob
Compétences attendues
* 7 ans d'expérience professionnelle minimum
* Solide expérience en Data Engineering
* Très bonne maîtrise de Databricks / PySpark
* Bonne connaissance de Microsoft Azure
* Expérience significative en DevOps
* Maîtrise de Terraform et Jenkins
* Bonne connaissance de Git / GitHub et CI/CD
* Connaissance des architectures Data, IA et Reporting BI
* Bonnes capacités rédactionnelles : documentation, guides techniques, dossiers d'architecture
* Autonomie, organisation et capacité à prioriser
* Esprit d'initiative et capacité à être force de proposition
* Anglais professionnel / technique
Les avantages du modèle JOCAD
En rejoignant JOCAD IT, vous bénéficiez d'un environnement structuré et attentif au bien-être des collaborateurs :
* Mutuelle & Prévoyance familiales complètes
* Tickets restaurant (Swile)
* Prime Vacances Syntec
* Plan de développement des compétences pour accompagner votre évolution
* Nombreuses offres CSE via Club Employés (réductions, loisirs, culture, voyages.)
Salaire et avantages
Annuel de 45000.0 Euros à 55000.0 Euros
Référence : 213NZPW
Recommandé pour vous

Lyon (69)CDI 45 000 € - 55 000 € par an Il y a 28 jours

Lyon (69)CDI Salaire non précisé Hier

Chaponnay (69)CDI Salaire non précisé Il y a 6 jours