Data Engineer Senior (H/F) INFORMATIS TECHNOLOGY SYSTM

Paris (75)CDI
Il y a 1 heures sur le WebSoyez parmi les premiers à postuler

Description du poste

Dans le cadre du développement d'une plateforme data orientée IoT industriel, notre client recherche un Data Engineer Senior pour concevoir et faire évoluer des pipelines de données à forte volumétrie, en environnement cloud AWS.
Vous interviendrez sur des architectures modernes combinant temps réel, batch et analytics avancé, avec une forte exigence en performance, scalabilité et qualité des données.
Vos missions
Data Engineering & pipelines
- Concevoir et maintenir des pipelines de données end-to-end (batch et temps réel)
- Gérer l'ingestion, la transformation et la mise à disposition des données IoT
- Développer des traitements distribués avec Spark / Flink
- Optimiser les performances et la scalabilité des flux de données
Architecture & stockage
- Concevoir des architectures data scalables (Lakehouse, time-series, données opérationnelles)
- Mettre en place des solutions de stockage adaptées aux usages analytiques
- Participer à la gouvernance et à la structuration des données
API & services data
- Développer des API robustes en Python (FastAPI)
- Exposer les données et services pour les besoins métiers et analytiques
Streaming & orchestration
- Implémenter des architectures temps réel avec AWS Kinesis
- Orchestrer les workflows batch avec Airflow
Qualité & observabilité
- Garantir la qualité, la fiabilité et la traçabilité des données
- Mettre en place des outils de monitoring et d'observabilité (Grafana, etc.)
DevOps & industrialisation
- Déployer et maintenir les infrastructures via Terraform / Terragrunt
- Mettre en œuvre les bonnes pratiques CI/CD (GitLab)
- Adopter une approche build-run-own des services data
Collaboration
- Travailler en étroite collaboration avec les équipes Data, Produit et Backend
- Traduire les besoins métiers en solutions data industrialisées
- Participer à un environnement Agile orienté amélioration continue
Environnement technique
Cloud & infrastructure
- AWS : S3, Lambda, Kinesis, ECS, Fargate, CloudWatch
- Architectures serverless et temps réel
Data Platform
- Databricks
- Delta Lake / Lakehouse
Streaming & traitement distribué
- Apache Spark
- Apache Flink
Données
- SQL (bases relationnelles)
- Données temporelles (time-series)
IoT
- MQTT
- AWS IoT / SiteWise
- Modélisation d'actifs
Monitoring
- Grafana
- InfluxDB
Développement
- Python (FastAPI)
- Scala
DevOps
- Terraform / Terragrunt
- GitLab CI/CD
Orchestration
- Airflow
Compétences requises :
Profil recherché
- Minimum 6 ans d'expérience en Data Engineering
- Expertise confirmée sur AWS et architectures data modernes
- Solide expérience en Spark / traitement distribué
- Maîtrise des pipelines temps réel et batch
- Expérience sur des environnements IoT ou industriels appréciée
- Forte sensibilité aux problématiques de qualité et observabilité des données
Soft skills
- Esprit analytique et orienté solution
- Autonomie et rigueur
- Capacité à travailler dans des environnements complexes
- Bon relationnel et esprit d'équipe

Salaire et avantages

Annuel de 50000.0 Euros à 60000.0 Euros sur 12.0 mois
Référence : 205SMDW

Recommandé pour vous

DATA SCIENTIST CONFIRME Ministère des Armées
Paris (75)CDI Il y a 16 jours
DATA ENGINEER 5A/13 Ministère des Armées
Paris (75)CDI Il y a 14 jours
EXPERT IA TRAITEMENT AUTOMATIQUE DES LANGUES (TAL/NLP) Ministère des Armées
Paris (75)CDI Il y a 22 jours