Ingénieur de Recherche en IA / Imagerie Multi-spectrale et de transfert technologique (H-F) CESI

CESI LINEACT recrute un.e ingénieur.e de recherche pour un contrat de 24 mois avec des compétences en apprentissage profond (Deep Learning) et automatique (Machine Learning), vision par ordinateur et traitement d'images multi-spectrales.

Descriptif des missions

Il interviendra sur le projet REISAR¹ (Système Robotisé Avancé pour l'Inspection des Réseaux d'Assainissement et la Préservation de l'Eau) et dans le cadre de l'appel à projets « Robotic Transfer Challenge » porté par l'ANR et financé par France 2030. La création de ce poste s'inscrit dans la volonté nationale de CESI d'assurer un transfert de l'expertise technologique issue de la recherche vers l'écosystème économique.

L'objectif du projet REISAR est d'envoyer des robots semi-autonomes dans des environnements d'assainissement (égouts) à la place des humains, afin de détecter les anomalies (diverses détériorations) et, en fin de compte, de limiter les pertes en eau et la pollution des cours d'eau.

Prototype du Système Robotisé : Linkedyn, Les Echos, ConstructionCayola, Gazettelabo.fr, H2o.

L'environnement complexe de l'assainissement (peu texturé et sans GPS) nécessite de mettre en place des méthodes très innovantes de compréhension d'environnement. Il sera plus précisément amené à travailler sur le WP3 « Classification de la gestion de la perception multi spectrale » du projet REISAR, jusqu'à la mise en œuvre sur site d'expérimentation.

L'objectif de ce poste d'ingénieur de recherche est de développer et évaluer des modèles d'IA/d'apprentissage profond pour la classification multi-spectrale de différents matériaux présents dans les égouts à l'aide d'une caméra multi-spectrale embarquée sur un robot (système robotisé avancé) pour l'inspection des réseaux d'assainissement. Ce travail s'inscrit dans les travaux futurs du WP3 « Classification de la gestion de la perception multi spectrale » du projet REISAR.

Aujourd'hui, de nombreuses solutions existent dans la littérature pour des domaines applicatifs variés dans des environnements extérieurs: en utilisant d'une caméra hyper-spectrale embarquée sur drone aquatique de surface [1] pour la détection des déchets marins (plastique, bois, végétation, etc.), en utilisant une image aérienne acquise par caméra hyper/multi-spectrale embarquée sur drone aéroporté ou/et satellitaire [2] pour la détection de type d'objet dans des zones urbaines.

Cependant, ces approches sont très sensibles à de légères variations de domaine applicatif dans un environnement intérieur pour l'inspection des réseaux d'assainissement et la préservation de l'eau par robot équipé d'une caméra RGB [3].

Un autre point critique est le manque de jeux de données multi-/hyper-spectrales contextualisés à la problématique de la classification multi-spectrale de différents matériaux dans les égouts qui rend les tâches d'apprentissage du modèle d'IA et de « transfer learning » délicates. Cela nécessite un modèle d'apprentissage avec peu de donnée disponible à disposition.

Dans le cadre de ses activités, le futur collaborateur pour cet objectif de la classification de la gestion de la perception multispectrale aura notamment pour missions de :

1. Réaliser une évaluation comparative des approches récentes et des jeux de données disponibles en identifiant de différents matériaux (métaux, bétons, sables, bois, végétation, etc.) et types de plastiques dans les égouts.
2. Constitution des jeux de données multi-spectrales et la création d'une bibliothèque de référence (bibliothèque spectrale hautement précise et détaillée) en développant une base de données compréhensive des signatures spectrales de différents matériaux (métaux, bétons, sables, bois, végétation, etc.) et types de plastiques présents dans les réseaux d'assainissement et les égouts par l'utilisation d'une caméra multi/hyper spectrale Visible/NIR/SWIR embarquée sur un robot d'inspection.
3. La création d'images de référence de vérité terrain pour l'apprentissage profond.
4. Réaliser une évaluation de méthodes de classification multi/hyper spectrale basées sur des modèles d'apprentissage automatique (par exemple : SAM[4], SVM[1], [5], KNN[6], ANN, etc.) et d'apprentissage profond (CNN [7], Vision Transformer [8], [9], etc.) en utilisant les nouveaux jeux de données multi-spectrales.
5. Proposer et entrainer de nouveaux modèles d'apprentissage basés sur les transformes (Vision Transformer [8], [9], Mixture-of-Experts [3], [10], [11], [12]) pour la classification et l'identification des types de différents matériaux dans des images multi/hyper spectrales.
6. Produire les logiciels et systèmes nécessaires de la caméra.
7. Assurer une veille technologique dans son domaine de compétence.
8. Participer à la rédaction de documentations techniques et de livrables de projet.
9. L'ingénieur travaillera en étroite collaboration avec d'autres membres du projet REISAR et des ingénieurs de recherche pour l'intégration de la solution sur le robot.

Description du laboratoire : CESI LINEACT : Laboratoire de recherche de d'innovation numérique de CESI

Profil recherché :

• Le candidat de préférence devrait être titulaire d'un diplôme d'un doctorat en Informatique, ou de Master2 Recherche ou ingénieur avec une bonne expérience sur des projets similaires avec une coloration de compétences en vision par ordinateur, traitement d'images multi-/hyper-spectrales, apprentissage profond et apprentissage machine.
• Expérience technologique significative avec un volet développement logiciel fort et embarqué.
• Anglais technique

Compétences scientifiques et techniques :

• Développement logiciel, notamment dans les langages Python et C++.
• Compétences en programmation Python et expérience avec les bibliothèques standard de Vision par Ordinateur, Machine Learning et Deep Learning
• Bases en Machine Learning et Deep Learning, Réseaux de Neurones, CNN, Transformers et Mixture-of-Experts
• Compétences dans les frameworks de Machine/Deep Learning (Apprentissage machine et Apprentissage Profond) : Pytorch, Keras, TensorFlow
• Connaissance des méthodes de traitement d'images Multi-/Hyper-spectrales et les applications de Vision par Ordinateur (classification d'image et segmentation sémantique).
• Compétences en informatique pour prendre en main les matériels attendus, par exemple Python avec Google Colab, Jupyter Lab/Notebook, Weights & Biases (wandb), etc.
• Compétences dans les Système d'exploitation : LINUX & WINDOWS
• Compétences dans GPU Nvidia programmation

Compétences comportementales :

• Capacité à fédérer et à travailler en équipe
• Curiosité et ingéniosité
• Bon relationnel
• Appétence pour la technique.
• Aisance à prendre la parole en public

Compétences relationnelles :

• Être autonome, avoir un esprit d'initiative et de curiosité,
• Savoir travailler en équipe et avoir un bon relationnel,
• Être rigoureux

Dr. Ahed ALBOODY (Associate Professor in Computer Science - CESI LINEACT - Research Unit) https://lineact.cesi.fr/en/cv-chercheurs/alboody-ahed/

Associates Professor (Enseignant-Chercheur) at CESI École d'Ingénieurs

Dr. NAIT CHABANE Ahmed (Associate Professor in Computer Science - CESI LINEACT - Research Unit) https://lineact.cesi.fr/cv-chercheurs/nait-chabane-ahmed/

Associates Professor (Enseignant-Chercheur) at CESI École d'Ingénieurs

Dr. RAGOT Nicolas (Associate Professor in Computer Science - CESI LINEACT - Research Unit) https://lineact.cesi.fr/cv-chercheurs/ragot-nicolas/, Associate Professor, (Enseignant-Chercheur) at CESI Ecole d'Ingénieurs campus de Caen

Références

[1] A. Alboody et al., "A New Remote Hyperspectral Imaging System Embedded on an Unmanned Aquatic Drone for the Detection and Identification of Floating Plastic Litter Using Machine Learning," Remote Sensing, vol. 15, no. 14, p. 3455, Jul. 2023, doi: 10.3390/rs15143455.

[2] C. Weber et al., "Imagerie Hyperspectrale Et Zones Urbaines: Résultats Du Projet HYEP," RFPT, vol. 224, no. 1, pp. 75-92, Dec. 2022, doi: 10.52638/rfpt.2022.589.

[3] J. B. Haurum and T. B. Moeslund, "Sewer-ML: A Multi-Label Sewer Defect Classification Dataset and Benchmark," in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA: IEEE, Jun. 2021, pp. 13451-13462. doi: 10.1109/CVPR46437.2021.01325.

[4] S. Chakravarty, B. K. Paikaray, R. Mishra, and S. Dash, "Hyperspectral Image Classification using Spectral Angle Mapper," in 2021 IEEE International Women in Engineering (WIE) Conference on Electrical and Computer Engineering (WIECON-ECE), Dhaka, Bangladesh: IEEE, Dec. 2021, pp. 87-90. doi: 10.1109/WIECON-ECE54711.2021.9829585.

[5] G. Mercier and M. Lennon, "Support vector machines for hyperspectral image classification with spectral-based kernels," in IGARSS 2003. 2003 IEEE International Geoscience and Remote Sensing Symposium. Proceedings (IEEE Cat. No.03CH37477), Toulouse, France: IEEE, 2003, pp. 288-290. doi: 10.1109/IGARSS.2003.1293752.

[6] W. Song, S. Li, X. Kang, and K. Huang, "Hyperspectral image classification based on KNN sparse representation," in 2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Beijing, China: IEEE, Jul. 2016, pp. 2411-2414. doi: 10.1109/IGARSS.2016.7729622.

[7] L. D. Medus, M. Saban, J. V. Francés-Víllora, M. Bataller-Mompeán, and A. Rosado-Muñoz, "Hyperspectral image classification using CNN: Application to industrial food packaging," Food Control, vol. 125, 2021, doi: 10.1016/j.foodcont.2021.107962.

[8] J. Liu, H. Guo, Y. He, and H. Li, "Vision Transformer-Based Ensemble Learning for Hyperspectral Image Classification," Remote Sensing, vol. 15, no. 21, p. 5208, Nov. 2023, doi: 10.3390/rs15215208.

[9] Y. Chen and Q. Yan, "Vision Transformer is Required for Hyperspectral Semantic Segmentation," in 2022 5th International Conference on Pattern Recognition and Artificial Intelligence (PRAI), Chengdu, China: IEEE, Aug. 2022, pp. 36-40. doi: 10.1109/PRAI55851.2022.9904012.

[10] T. Chen et al., "AdaMV-MoE: Adaptive Multi-Task Vision Mixture-of-Experts," in 2023 IEEE/CVF International Conference on Computer Vision (ICCV), Paris, France: IEEE, Oct. 2023, pp. 17300-17311. doi: 10.1109/ICCV51070.2023.01591.

[11] A. Alboody and R. Slama, "EPT-MoE: Toward Efficient Parallel Transformers with Mixture-of-Experts for 3D Hand Gesture Recognition," presented at the The 10th World Congress on Electrical Engineering and Computer Systems and Science, Aug. 2024. doi: 10.11159/mvml24.105.

[12] A. Alboody and R. Slama, "Graph Transformer Mixture-of-Experts (GTMoE) for 3D Hand Gesture Recognition," in Intelligent Systems and Applications, vol. 1067, K. Arai, Ed., in Lecture Notes in Networks and Systems, vol. 1067. , Cham: Springer Nature Switzerland, 2024, pp. 317-336. doi: 10.1007/978-3-031-66431-1_21.

CESI est une école d'ingénieurs qui fait de la promotion sociale par l'excellence un modèle de réussite. Rejoignez un environnement stimulant où l'esprit d'équipe, la diversité des projets et l'autonomie ne font qu'un. Découvrez une école qui a su développer un modèle unique et se donne les moyens au quotidien de relever les grands défis de l'époque. Nos 25 campus, 28 000 étudiants, 8000 entreprises partenaires et 106 000 alumni témoignent de l'impact de CESI au niveau national.

CESI accompagne ses étudiants en utilisant des méthodes innovantes de pédagogie active. L'établissement forme avec rigueur les futurs ingénieurs, techniciens et managers, dans les secteurs suivants : l'Industrie & l'Innovation, le BTP, l'Informatique et le Numérique et le Développement Durable. Parallèlement, CESI concrétise son engagement dans la Recherche à travers des activités menées au sein de son Laboratoire d'Innovation Numérique, CESI LINEACT.

Les partenariats établis avec 130 universités à travers le globe, attestent de l'engagement international de CESI. Ces liens privilégiés offrent aux élèves ingénieurs une mobilité sortante et entrante à l'échelle internationale, façonnée notamment par des stages obligatoires faisant partie intégrante de leur cursus.