Ingénieur data / traitement de la donnée F/H (H/F) SKILLS AND AFFINITY

Dans ce cadre, nous recherchons un ingénieur data / traitement de la donnée H/F.

La candidature sera soumise à une enquête de sécurité conformément aux exigences légales de la sureté nationale française.

Mission principale :

Concevoir, mettre en œuvre et maintenir des solutions techniques pour l'intégration, la qualité et la gouvernance des données. Garantir la fiabilité et la cohérence des données pour les systèmes décisionnels et opérationnels.

Responsabilités :

Développer et optimiser des pipelines de données pour l'extraction, la transformation et le chargement (ETL/ELT).
Administrer et configurer des solutions MDM pour la gestion des données maîtres.
Mettre en place des architectures Data Lake / Delta Lake pour la gestion des données massives.
Concevoir des flux temps réel et orchestrer des traitements.
Définir et appliquer les règles de qualité et de gouvernance des données.
Collaborer avec les équipes métiers et IT pour aligner les besoins et les solutions.

Compétences techniques :

ETL / Orchestration : Talend, Informatica, Apache NiFi.
Streaming & Messaging : Apache Kafka, Spark Streaming.
Stockage & Architecture : Delta Lake, Data Lake, Hadoop, Spark sur un stockage S3-compatible (ex: MinIO).
Master Data Management (MDM) : Mise en place de référentiels uniques avec des solutions comme Informatica MDM, Semarchy, IBM InfoSphere.
Bases de données : Oracle, PostgreSQL, SQL Server.
Connaissance des concepts Data Quality, Data Governance, modélisation des données.
Catalogage : Utilisation d'outils comme OpenMetadata ou DataHub pour le lignage et la documentation.
Cloud / Infra : Maîtrise de Docker et Kubernetes (K8s).

Missions Principales

Design d'Architecture : Définir les schémas de données et choisir les briques technologiques adaptées.
Standardisation : Créer des frameworks réutilisables pour l'ingestion et la transformation.
Sécurité et Conformité : Garantir la sécurité des données, l'anonymisation et le contrôle des accès.
Veille Technologique : Suivre activement les projets de l'écosystème Apache et de la Linux Foundation AI & Data.
Accompagnement : Servir de référent technique pour les Data Engineers et les Analytics Engineers.

Environnement de travail :

Méthodologie Agile.
Coaching d'une équipe spécialisée sur les projets majeurs de la donnée pour de grands clients
Collaboration avec des équipes Data, BI et métiers.
Projets stratégiques liés à la transformation digitale et à la gouvernance des données.

SKILLS & AFFINITY est un acteur incontournable et innovant sur le marché des entreprises des services du Numérique. Nous accompagnons les DSI de plusieurs entreprises publiques ou privées, dans leurs projets de transformation.