Doctorant H/F CESI

25 campus, 8500 diplômés, 106 000 alumni... Bienvenue dans une grande école d'ingénieurs qui a fait de la promotion sociale par l'excellence un modèle de réussite. Rejoignez un environnement stimulant où l'esprit d'équipe, la diversité des projets et l'autonomie ne font qu'un.

Titre : Émergence de vigilances contextuelles en robotique par apprentissage social pour la détection de risques industriels et d'inefficacités énergétiques en milieu professionnel

Domaines scientifiques : Intelligence artificielle, Robotique, Interactions sociales

Mots clés : Robotique sociale, apprentissage interactif, vigilance contextuelle

Encadrement

Directeur de thèse :

Fabrice DUVAL, Enseignant Chercheur

Encadrant (s) :

Hakim GUEDJOU, Enseignant Chercheur

Beatrice BIANCARDI, Enseignante Chercheuse

Travaux de Recherche

Résumé

Cette thèse explore comment un robot peut développer des capacités de vigilance contextuelle via l'apprentissage social en interaction avec des humains. En observant et reproduisant des démonstrations, le robot apprend à détecter des situations critiques dans son environnement. L'objectif est de concevoir un système capable de s'adapter à divers contextes, comme la réduction énergétique ou la sécurité industrielle. L'approche mise sur des interactions intuitives pour permettre aux non-experts de transmettre leurs connaissances au robot. Ce travail s'inscrit à l'intersection de la robotique cognitive, de l'intelligence artificielle et des sciences humaines.

Projet de thèse

Contexte scientifique

Dans un monde où les environnements de travail deviennent de plus en plus complexes et dynamiques, les systèmes robotiques doivent dépasser les capacités de perception basiques pour adopter une compréhension contextuelle plus fine (Balažević et al., 2023; Ni et al., 2023). La notion de vigilance contextuelle fait référence à la capacité d'un agent à détecter de manière proactive des situations à risque ou inefficaces, en tenant compte des relations entre objets, actions humaines et environnement. Cela représente un enjeu crucial aussi bien dans des applications de sécurité industrielle (ex. détection d'anomalies ou de configurations dangereuses) que dans des démarches de sobriété énergétique (ex. gaspillage lié à un chauffage actif dans une pièce aérée).

L'apprentissage social, et plus spécifiquement l'apprentissage par démonstration (Argall et al., 2009; Correia and Alexandre, 2024), apparaît comme une stratégie prometteuse pour doter les robots de telles compétences. Cette approche permet à des utilisateurs non experts de transmettre intuitivement au robot des savoirs contextuels difficiles à modéliser explicitement (Engelbracht et al., 2024; Luo et al., 2024), en lui montrant directement les situations pertinentes. Couplée à des avancées en perception multimodale et en apprentissage adaptatif, cette méthode favorise le développement de robots autonomes capables de généraliser des comportements appris à des contextes variés, tout en restant compréhensibles et acceptables par les humains. La recherche s'inscrit ainsi à la croisée de la robotique cognitive, de l'intelligence artificielle centrée humain et des sciences comportementales.

Sujet de thèse

Cette thèse a pour objectif principal de concevoir un cadre d'apprentissage permettant à un robot de développer une vigilance contextuelle, c'est-à-dire la capacité à détecter de manière autonome et pertinente des situations problématiques dans son environnement. L'originalité de cette démarche repose sur l'apprentissage social : le robot apprend non pas à partir de jeux de données préalablement étiquetés, mais directement auprès des utilisateurs humains, via des démonstrations et des interactions situées (Engelbracht et al., 2024; Luo et al., 2024). Ces situations peuvent recouvrir des domaines variés, allant de la sécurité industrielle à la performance énergétique, en passant par des problématiques de conformité ou de fonctionnement anormal.

Le coeur scientifique de la thèse porte ainsi sur le développement de modèles capables d'interpréter des scènes complexes en mobilisant les signaux contextuels pertinents : non seulement les objets présents, mais aussi leurs relations spatiales et fonctionnelles, les usages associés, et les intentions sous-jacentes des humains (Arashpour, Ngo and Li, 2021; Balažević et al., 2023; Dolatyabi, Regan and Khodayar, 2025). L'apprentissage par démonstration doit permettre au robot d'encoder des représentations flexibles et généralisables, afin qu'il puisse, à terme, repérer de nouvelles occurrences de ces situations sans supervision directe. Un effort particulier sera mené pour concevoir des modalités d'interaction simples et accessibles aux non-experts, afin d'intégrer cette capacité d'apprentissage dans des contextes de travail réels.

Dans un second temps, le robot pourra également apprendre, toujours par démonstration, des gestes correctifs pour réagir aux situations identifiées. Pour cette phase, des modèles existants issus de l'état de l'art en apprentissage de comportements par démonstration et en reconnaissance gestuelle seront mobilisés (Billard et al., 2008; Argall et al., 2009; Correia and Alexandre, 2024), puis adaptés aux contraintes du contexte considéré. Ce second volet permettra de boucler le cycle entre détection, décision et action, en assurant que le robot ne se limite pas à une fonction d'alerte, mais contribue activement à la résolution des anomalies ou dysfonctionnements.

Enfin, une attention sera portée à l'effet de cette collaboration sur les comportements et motivations des utilisateurs eux-mêmes. Enseigner au robot des situations et des gestes peut avoir un effet de retour sur l'humain (Koh, Lee and Lim, 2018): renforcement de l'attention, meilleure appropriation des bonnes pratiques, ou évolution des comportements et des motivations. Ces dynamiques seront explorées en s'appuyant sur des théories issues des sciences cognitives, comme la théorie de l'auto-perception (Bem, 1972) ou de dissonance cognitive (Festinger, 1957), pour comprendre comment l'interaction avec un robot apprenant pourrait devenir un levier de changement d'abord individuel et ensuite organisationnel.

Antériorité du sujet dans le laboratoire

Ce sujet de thèse s'inscrit naturellement dans la continuité des travaux menés par l'équipe encadrante, qui dispose d'une expertise dans les domaines clés mobilisés ici. Les recherches antérieures ont notamment porté sur la génération de données synthétiques pour l'apprentissage visuel en robotique, en particulier dans des environnements industriels complexes, offrant ainsi une base méthodologique solide pour aborder la reconnaissance contextuelle de situations problématiques (Laignel et al., 2024).

Des travaux ont également exploré les mécanismes d'adaptation dans l'interaction humain-agent, en étudiant comment ajuster dynamiquement le comportement d'un agent socialement interactif en fonction des réactions et préférences de l'utilisateur, ce qui est essentiel pour structurer une interaction pédagogique efficace lors des phases d'apprentissage par démonstration (Biancardi, Dermouche and Pelachaud, 2021).

Enfin, une attention particulière a déjà été portée à l'influence des caractéristiques individuelles des utilisateurs sur les dynamiques d'apprentissage en robotique sociale, ce qui alimente ici la réflexion sur l'impact mutuel de l'interaction humain-robot (Guedjou et al., 2024).

L'ensemble de ces travaux constitue une assise scientifique cohérente et complémentaire, qui soutient pleinement l'ambition du projet : faire émerger, par l'apprentissage social, une vigilance contextuelle chez le robot, tout en analysant les effets de cette relation d'apprentissage sur l'humain.

Programme de travail

Le programme de travail, d'une durée de 36 mois, se structure en deux phases principales, chacune articulée autour d'objectifs théoriques, techniques et expérimentaux. La première phase, prioritaire et plus longue (mois 1 à 24), sera consacrée à l'apprentissage de la détection des situations problématiques par démonstration. Elle comprendra une revue de littérature approfondie sur les modèles de perception contextuelle et l'apprentissage par démonstration, l'analyse comparative de modèles à partir de jeux de données publics, ainsi que la définition des scénarios d'expérimentation centrés sur la vigilance contextuelle (performance énergétique et sécurité industrielle). Cette phase verra également la constitution d'un dataset dédié, le développement d'un modèle de perception contextuelle, la…

Votre Recrutement

Ses Modalités : sur dossier et entretien.

Merci d'adresser votre candidature à fduval@cesi.fr, hguedjou@cesi.fr, bbiancardi@cesi.fr avec pour objet de mail :

« [Candidature] Émergence de vigilances contextuelles en robotique par apprentissage social pour la détection de risques industriels et d'inefficacités énergétiques en milieu professionnel »

Votre candidature devra comporter :

• Un Curriculum-Vitae détaillé du candidat. En cas de rupture dans le cursus universitaire, merci de donner une explication ;

• Une lettre de motivation explicitant ses motivations à poursuivre une thèse de doctorat ;

• Les résultats du Master2 et les bulletins de notes correspondant ;

• Toute autre pièce que vous jugerez utile.

Merci de transmettre l'ensemble des documents au sein d'un fichier zip intitulé NOM_prénom.zip.

Vos compétences :

Compétences scientifiques et techniques :

• Connaissances en apprentissage automatique (une expérience en apprentissage par démonstration serait un plus)

• Bonne compréhension des principes de l'apprentissage supervisé, avec une première expérience en programmation de modèles d'apprentissage (Python, PyTorch ou TensorFlow).

• Notions en vision par ordinateur et perception robotique (Compétences de base en traitement d'image, détection d'objets, ou segmentation)

• Intérêt pour l'interaction homme-robot

• Sensibilité aux enjeux liés à la collaboration humain-machine, et capacité à concevoir ou évaluer des interfaces ou comportements interactifs simples.

• Curiosité pour les sciences cognitives ou comportementales appliquées à la robotique

• Goût pour les projets appliqués impliquant le développement, la mise en oeuvre et l'évaluation de systèmes en interaction avec des utilisateurs, et rigueur dans la collecte et l'analyse de données.

Compétences relationnelles :

• Être autonome, avoir un esprit d'initiative et de curiosité,

• Savoir travailler en équipe et avoir un bon relationnel,

• Être rigoureux

Références :

Arashpour, M., Ngo, T. and Li, H. (2021) 'Scene understanding in construction and buildings using image processing methods: A comprehensive review and a case study', Journal of Building Engineering, 33, p. 101672. Available at: https://doi.org/10.1016/j.jobe.2020.101672.

Argall, B.D. et al. (2009) 'A survey of robot learning from demonstration', Robotics and Autonomous Systems, 57(5), pp. 469-483. Available at: https://doi.org/10.1016/j.robot.2008.10.024.

Balažević, I. et al. (2023) 'Towards In-context Scene Understanding'. arXiv. Available at: https://doi.org/10.48550/arXiv.2306.01667.

Bem, D.J. (1972) 'Self-Perception Theory1', in L. Berkowitz (ed.) Advances in Experimental Social Psychology. Academic Press, pp. 1-62. Available at: https://doi.org/10.1016/S0065-2601(08)60024-6.

Biancardi, B., Dermouche, S. and Pelachaud, C. (2021) 'Adaptation Mechanisms in Human-Agent Interaction: Effects on User's Impressions and Engagement', Frontiers in Computer Science, 3. Available at: https://doi.org/10.3389/fcomp.2021.696682.

Billard, A. et al. (2008) 'Robot Programming by Demonstration', in B. Siciliano and O. Khatib (eds) Springer Handbook of Robotics. Berlin, Heidelberg: Springer Berlin Heidelberg, pp. 1371-1394. Available at: https://doi.org/10.1007/978-3-540-30301-5_60.

Correia, A. and Alexandre, L.A. (2024) 'A survey of demonstration learning', Robotics and Autonomous Systems, 182, p. 104812. Available at: https://doi.org/10.1016/j.robot.2024.104812.

Dolatyabi, P., Regan, J. and Khodayar, M. (2025) 'Deep Learning for Traffic Scene Understanding: A Review', IEEE Access, 13, pp. 13187-13237. Available at: https://doi.org/10.1109/ACCESS.2025.3529289.

Engelbracht, T. et al. (2024) 'SpotLight: Robotic Scene Understanding through Interaction and Affordance Detection'. arXiv. Available at: https://doi.org/10.48550/arXiv.2409.11870.

Festinger, L. (1957) A theory of cognitive dissonance. Stanford University Press (A theory of cognitive dissonance), pp. xi, 291.

Guedjou, H. et al. (2024) 'The Influence of Extraversion on a Robot Developmental Learning in a Human Robot Interaction', in 2024 IEEE International Conference on Development and Learning (ICDL). 2024 IEEE International Conference on Development and Learning (ICDL), pp. 1-6. Available at: https://doi.org/10.1109/ICDL61372.2024.10644954.

Koh, A.W.L., Lee, S.C. and Lim, S.W.H. (2018) 'The learning benefits of teaching: A retrieval practice hypothesis', Applied Cognitive Psychology, 32(3), pp. 401-410. Available at: https://doi.org/10.1002/acp.3410.

Laignel, A. et al. (2024) 'Synthetic datasets for 6D Pose Estimation of Industrial Objects: Framework, Benchmark and Guidelines', in 2024 The 11th International Conference on Industrial Engineering and Applications - proceedings of 2024 The 5th International Conference on Industrial Engineering and Industrial Management (IEIM 2024). Nice, France. Available at: https://hal.science/hal-04389164 (Accessed: 11 March 2025).

Luo, H. et al. (2024) 'Learning Visual Affordance Grounding From Demonstration Videos', IEEE Transactions on Neural Networks and Learning Systems, 35(11), pp. 16857-16871. Available at: https://doi.org/10.1109/TNNLS.2023.3298638.

Ni, J. et al. (2023) 'Deep learning-based scene understanding for autonomous robots: a survey', Intelligence & Robotics, 3, pp. 374-401. Available at: https://doi.org/10.20517/ir.2023.22.

CESI est une école d'ingénieurs qui fait de la promotion sociale par l'excellence un modèle de réussite. Rejoignez un environnement stimulant où l'esprit d'équipe, la diversité des projets et l'autonomie ne font qu'un. Découvrez une école qui a su développer un modèle unique et se donne les moyens au quotidien de relever les grands défis de l'époque. Nos 25 campus, 28 000 étudiants, 8000 entreprises partenaires et 106 000 alumni témoignent de l'impact de CESI au niveau national.

CESI accompagne ses étudiants en utilisant des méthodes innovantes de pédagogie active. L'établissement forme avec rigueur les futurs ingénieurs, techniciens et managers, dans les secteurs suivants : l'Industrie & l'Innovation, le BTP, l'Informatique et le Numérique et le Développement Durable. Parallèlement, CESI concrétise son engagement dans la Recherche à travers des activités menées au sein de son Laboratoire d'Innovation Numérique, CESI LINEACT.

Les partenariats établis avec 130 universités à travers le globe, attestent de l'engagement international de CESI. Ces liens privilégiés offrent aux élèves ingénieurs une mobilité sortante et entrante à l'échelle internationale, façonnée notamment par des stages obligatoires faisant partie intégrante de leur cursus.