Data Engineer (H/F) MANE CONSEIL
Paris (75)CDI
Il y a 1 heures sur le WebSoyez parmi les premiers à postuler
Critères de l'offre
Métiers :
- Data Engineer (H/F)
- + 2 métiers
Expérience min :
- 3 à 21+ ans
Secteur :
- ESN, Editeurs de logiciel, Services informatiques
Compétences :
- Python
- Oracle
- SQL
- Versioning
- Apache
Lieux :
- Paris (75)
Conditions :
- CDI
- Temps Plein
Description du poste
Migration Datawarehouse - Nous recherchons un(e) Data Engineer expérimenté(e)
Dans le cadre de la refonte du framework Data Warehouse de notre client, nous recherchons un(e) Data Engineer disposant d'une solide expérience sur Apache Airflow afin de concevoir from scratch le nouveau workflow d'orchestration et de migrer progressivement l'existant vers cette nouvelle stack technique.
Un PoC Airflow est déjà en place : nous recherchons donc un profil capable de challenger les choix techniques, proposer des améliorations et nous guider dans la définition de l'architecture cible.
Missions principales
- Concevoir from scratch le nouveau workflow d'orchestration de données basé sur Apache Airflow (architecture des DAGs, gestion des dépendances, scheduling, monitoring).
- Évaluer et challenger le PoC Airflow existant : analyser les choix réalisés, proposer des alternatives et orienter les décisions d'architecture.
- Migrer les pipelines de données existants depuis l'ancien workflow vers la nouvelle plateforme.
- Écrire et maintenir des tests unitaires, d'intégration et de non-régression pour garantir la qualité et la fiabilité des pipelines migrés.
- Optimiser les pipelines existants (performance, robustesse, coûts, lisibilité du code) lors de leur migration.
- Rédiger et optimiser des requêtes SQL pour l'extraction, la transformation et le chargement des données (une expérience sur Oracle serait un plus).
- Contribuer à la mise en œuvre de bonnes pratiques d'industrialisation (versioning, revue de code, CI/CD, documentation).
- Accompagner et conseiller l'équipe sur les bonnes pratiques Airflow et Data Engineering (partage de connaissances, mentoring technique).
Compétences additionnelles appréciées
- Connaissance des concepts de Real-Time / Near Real-Time Data Warehousing et des différentes approches (streaming, micro-batch, CDC, etc.).
- Une expérience sur Amazon Redshift serait un plus.
Environnements techniques
- Orchestration : Apache Airflow
- Langage : Python (Pandas, NumPy)
- Bases de données : SQL, Oracle (souhaité)
- Data Warehouse : Redshift (apprécié)
Dans le cadre de la refonte du framework Data Warehouse de notre client, nous recherchons un(e) Data Engineer disposant d'une solide expérience sur Apache Airflow afin de concevoir from scratch le nouveau workflow d'orchestration et de migrer progressivement l'existant vers cette nouvelle stack technique.
Un PoC Airflow est déjà en place : nous recherchons donc un profil capable de challenger les choix techniques, proposer des améliorations et nous guider dans la définition de l'architecture cible.
Missions principales
- Concevoir from scratch le nouveau workflow d'orchestration de données basé sur Apache Airflow (architecture des DAGs, gestion des dépendances, scheduling, monitoring).
- Évaluer et challenger le PoC Airflow existant : analyser les choix réalisés, proposer des alternatives et orienter les décisions d'architecture.
- Migrer les pipelines de données existants depuis l'ancien workflow vers la nouvelle plateforme.
- Écrire et maintenir des tests unitaires, d'intégration et de non-régression pour garantir la qualité et la fiabilité des pipelines migrés.
- Optimiser les pipelines existants (performance, robustesse, coûts, lisibilité du code) lors de leur migration.
- Rédiger et optimiser des requêtes SQL pour l'extraction, la transformation et le chargement des données (une expérience sur Oracle serait un plus).
- Contribuer à la mise en œuvre de bonnes pratiques d'industrialisation (versioning, revue de code, CI/CD, documentation).
- Accompagner et conseiller l'équipe sur les bonnes pratiques Airflow et Data Engineering (partage de connaissances, mentoring technique).
Compétences additionnelles appréciées
- Connaissance des concepts de Real-Time / Near Real-Time Data Warehousing et des différentes approches (streaming, micro-batch, CDC, etc.).
- Une expérience sur Amazon Redshift serait un plus.
Environnements techniques
- Orchestration : Apache Airflow
- Langage : Python (Pandas, NumPy)
- Bases de données : SQL, Oracle (souhaité)
- Data Warehouse : Redshift (apprécié)
Salaire et avantages
Indemnité transports
Ordinateur portable
Ordinateur portable
Référence : 201LSKR
Recommandé pour vous
Paris (75)CDI 55 000 € - 70 000 € Il y a 19 jours
Paris (75)CDI 45 000 € - 55 000 € par an Il y a 6 jours
Paris (75)CDI Il y a 4 jours