Senior Data Engineer F/H Recruteur partenaire

• Concevoir et développer des pipelines de données à grande échelle, en batch et en streaming, permettant de collecter, transformer et exploiter efficacement des volumes importants de données, tout en faisant évoluer l'architecture Data Lake et les infrastructures de stockage.
• Garantir la qualité, la fiabilité et l'accessibilité des données en mettant en place des mécanismes de validation, de surveillance et de contrôle de leur fraîcheur, de leur exhaustivité et de leur intégrité, tout en construisant des datasets structurés et réutilisables.
• Optimiser les performances des traitements distribués et des requêtes SQL, réduire les temps d'exécution et maîtriser les coûts d'infrastructure, en exploitant notamment Python, SQL, Spark et les technologies de traitement distribué.
• Expérimenter et industrialiser de nouvelles solutions techniques, développer des prototypes et intégrer les approches pertinentes aux systèmes de production, tout en contribuant aux décisions d'architecture et à l'amélioration continue des pratiques d'ingénierie.

3 résultats attendus

• Une infrastructure Data robuste, performante et scalable

Vous développez et fiabilisez des pipelines batch et streaming capables de traiter des volumes croissants de données, avec un niveau élevé de performance, de disponibilité et d'observabilité.

• Des données fiables, accessibles et directement exploitables

Vous mettez en place des contrôles de qualité et des datasets réutilisables permettant aux équipes de disposer de données cohérentes, actualisées et facilement exploitables, tout en réduisant les interventions manuelles.

• Des traitements de données plus performants et économiquement optimisés

Vous améliorez l'efficacité des traitements distribués et des requêtes en trouvant le meilleur équilibre entre rapidité d'exécution, fiabilité des résultats et coûts d'infrastructure.

Vous êtes un Senior Data Engineer expérimenté, passionné par les architectures Data complexes, les systèmes distribués et les problématiques de performance à grande échelle.

Vous possédez :

• Une expérience significative dans la conception, le développement et l'exploitation de pipelines de données en production, idéalement sur des infrastructures à fort volume.
• Une excellente maîtrise de Python et SQL, avec une expérience de développement en production sur Python ou Scala.
• Une expertise des technologies de traitement distribué, notamment PySpark, Spark SQL et Spark Streaming.
• Une bonne connaissance des architectures Data Lake et des formats de stockage comme Parquet et Apache Iceberg.
• Une maîtrise des architectures de traitement batch et streaming, ainsi que des problématiques associées à la gestion de volumes importants de données.
• Une expérience concrète de l'optimisation de requêtes SQL et de traitements distribués, avec une compréhension approfondie du fonctionnement des moteurs de traitement.
• Une capacité à concevoir des datasets fiables, structurés et réutilisables pour répondre aux besoins de différentes équipes.
• Une bonne compréhension des enjeux de qualité, fiabilité, observabilité et performance des infrastructures Data.

Sont particulièrement appréciées :

• Une expérience avec Apache Flink ou d'autres moteurs de traitement de flux en temps réel.
• Une connaissance des pipelines de Machine Learning, notamment pour l'entraînement ou l'inférence de modèles.
• Une familiarité avec les systèmes de recommandation, de ranking, les embeddings ou l'Entity Resolution.
• Une expérience des architectures manipulant des données sensibles, des exigences du RGPD et des mécanismes de gestion des données personnelles.
• Une capacité à comprendre ou modifier ponctuellement des composants développés en Rust.

Vous êtes autonome, curieux, pragmatique et appréciez les problématiques techniques complexes.

Vous aimez comprendre le fonctionnement interne des technologies que vous utilisez, identifier les sources d'inefficacité et expérimenter différentes approches pour améliorer les performances et la fiabilité des systèmes.

Vous êtes capable de prendre des responsabilités sur des composants critiques, de défendre vos choix techniques et de collaborer efficacement avec d'autres ingénieurs.

Une expérience combinant les exigences techniques d'une grande plateforme et l'agilité d'une startup ou scale-up constituera un véritable atout.

Votre diplôme ou votre école ne sont pas des

Tirez le meilleur des deux mondes avec digiRocks: plateforme et cabinet de recrutement spécialisé dans le digital et l'informatique. Depuis 2017, digiRocks a déjà accompagné 450 sociétés dans plus de 5000 recrutements, avec au moins deux talents présentés en deux semaines pour un recrutement effectué en 30 jours, avec 3 mois de garantie satisfait ou remplacé, le tout sans avancer aucun frais, donc sans risque. "Nous ne sommes pas payés pour chercher, nous le sommes pour trouver » dit souvent notre CEO. Profils commerciaux, produit, projet, technique, data pour des grands comptes, des start-up/scale-up, des PME-ETI, dans le conseil, le SaaS, des agences ou même des annonceurs / clients finaux. N'hésitez pas à visiter notre annuaire talent pour voir en live les derniers profils à qui nous parlons.