Structured representation learning and multimodal perception, towards more autonomous sensorimotor systems - Thèses de l'INSA Lyon
Thèse Année : 2024

Structured representation learning and multimodal perception, towards more autonomous sensorimotor systems

Apprentissage de représentations structurées et perception multimodale, vers des systèmes sensorimoteurs plus autonomes

Résumé

In this HDR I present some of my works from the last 10 years. My research spans several areas related to artificial intelligence such as computational neuroscience, developmental robotics, machine learning, multi-agent systems, psychophysical modelling, intelligent tutoring systems, etc. My main research question is how an autonomous agent can make sense of its environment through learning and perception influenced by the enactivist and constructivist approaches that emphase the role of action in the process. To this end, I propose some contributions with an approach that is bio-inspired, through the use of neural networks and some mechanisms coming from neuroscience and cognitive science, focusing mainly on the structuration of representations. I have therefore chosen to focus on three main research axis. First, which representations to learn and how to structure them with self-supervised learning. Second, how structured representations can shape the fusion of various modalities into a unified perception. Third, the interaction between the temporality of learning and representations in active or incremental learning. Moreover, I defend in my research project the interconnection of these three different elements within the framework of the sensorimotor contingencies theory in order to obtain more robust, adaptive and generic agents.
Dans cette HDR, je présente certains de mes travaux des dix dernières années. Mes recherches couvrent plusieurs domaines liés à l'intelligence artificielle, tels que les neurosciences computationnelles, la robotique développementale, l'apprentissage automatique, les systèmes multi-agents, la modélisation psychophysique, les systèmes de tutorat intelligents, etc. Ma principale question de recherche est de savoir comment un agent autonome peut comprendre son environnement grâce à l'apprentissage et à la perception inspiré par les approches énactivistes et constructivistes qui mettent l'accent sur le rôle de l'action dans le processus. À cette fin, je propose quelques contributions avec une approche bio-inspirée, à travers l'utilisation de réseaux neuronaux et de certains mécanismes issus des neurosciences et des sciences cognitives, se concentrant principalement sur la structuration des représentations. J'ai donc choisi de me concentrer sur trois axes de recherche principaux. Premièrement, quelles représentations apprendre et comment les structurer avec un apprentissage auto-supervisé. Deuxièmement, comment les représentations structurées peuvent être le support à la fusion de différentes modalités en une perception unifiée. Troisièmement, l'interaction entre la temporalité de l'apprentissage et des représentations dans l'apprentissage actif ou incrémental. De plus, je défends dans mon projet de recherche l'interconnexion de ces trois éléments différents dans le cadre de la théorie des contingences sensorimotrices afin d'obtenir des agents plus robustes, adaptatifs et génériques.
Fichier principal
Vignette du fichier
hdr.pdf (26.44 Mo) Télécharger le fichier
hdr (1).pdf (26.44 Mo) Télécharger le fichier
hdr (2).pdf (26.44 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04858357 , version 1 (29-12-2024)

Licence

Identifiants

  • HAL Id : tel-04858357 , version 1

Citer

Mathieu Lefort. Structured representation learning and multimodal perception, towards more autonomous sensorimotor systems. Computer Science [cs]. Université lyon 1, 2024. English. ⟨NNT : ⟩. ⟨tel-04858357⟩
0 Consultations
0 Téléchargements

Partager

More