Data Engineer - Databricks & Cloud AWS (H/F) Recruteur partenaire

Nous recherchons un Data Engineer - Databricks & Cloud AWS

Nous sommes partenaires Databricks et AWS, et le Lakehouse est devenu la colonne vertébrale de nos projets : migrations vers Databricks, mise en place d'Unity Catalog, pipelines Delta, industrialisation ML et GenAI sur Mosaic AI.

Vos missions :

- Construire des pipelines sur Databricks : ingestion, transformations Spark / Delta, orchestration (Workflows, DLT, dbt), modélisation en couches.

- Participer à la gouvernance : vous contribuez à la mise en place d' Unity Catalog chez nos clients : catalogues, lineage, droits d'accès.

- Contribuer aux migrations : vous participez aux chantiers de migration de datalakes / data warehouses / plateformes on-premises vers le Lakehouse, aux côtés d'un.e référent.e technique.

- Rendre la donnée exploitable par l'IA : vous contribuez aux fondations dont les cas d'usage GenAI et ML ont besoin : qualité et fraîcheur des données, catalogue et lineage, exposition de corpus pour du RAG, recherche vectorielle, feature stores.

- Fiabiliser : tests, monitoring, documentation, revue de code.

- Apprendre et transmettre : vous passez vos certifications Databricks (prises en charge, sur votre temps de travail), vous suivez un écosystème qui bouge très vite, et vous partagez ce que vous trouvez en interne.

Environnement technique (non exhaustif)

- Databricks, notre plateforme de référence : Unity Catalog, Delta Lake, Delta Live Tables, Workflows, Databricks SQL, Auto Loader, Mosaic AI, Vector Search, MLflow sur Azure comme sur AWS. - Clouds : AWS principalement (Glue, EMR, Kinesis, Lambda, Bedrock, SageMaker), Azure, et aussi Snowflake, BigQuery, on-premises (Hadoop, Cloudera)

- IA & ML : Mosaic AI, Amazon Bedrock, SageMaker, MLflow, frameworks d'orchestration LLM (LangChain, LlamaIndex), bases vectorielles (pgvector, OpenSearch, Qdrant) - BDD : PostgreSQL, MySQL, MongoDB, Cassandra.

- Langages : Python, SQL, Spark (PySpark, Spark SQL)

- ETL/ELT & orchestration : dbt, Fivetran, Airbyte, Dagster.

Nous recherchons une personne présentant des fondamentaux solides :

- Python et SQL : vous êtes à l'aise, vous écrivez du code propre, vous savez ce qu'est une jointure coûteuse. C'est non négociable, c'est la base de tout le reste.

- Une première expérience en production avec Databricks indispensable : ce qui compte, c'est que vous ayez déjà mis les mains dedans et que vous puissiez en parler concrètement.

- Des connaissances de cloud AWS : stockage objet, calcul, gestion des accès. Le cloud sous la plateforme nous importe peu, les concepts se transposent.

Nous recherchons une personne présentant des caractéristiques personnelles importantes :

- Curiosité et veille : l'écosystème Data & IA bouge très rapidement. Vous vous tenez informé.e, vous testez, et vous avez envie d'aller voir comment les choses fonctionnent

- Pédagogie et communication : vous serez rapidement en contact avec les équipes Data et métier de nos clients. Vous savez formuler une question claire, restituer ce que vous avez fait, et dire quand vous êtes bloqué.e.

- Team player : on cherche quelqu'un de rigoureux et l'envie de le partager

- Anglais professionnel/technique : la documentation, les communautés et une partie de nos projets sont en anglais.

- Français professionnel courant : indispensable pour tous les membres des équipes et évoluer avec nos clients.

Le petit +

- Une certification Databricks