Reconnaissance gestuelle par gant de données pour le contrôle temps réel d'un robot mobile / Marc Dupont ; sous la direction de Pierre-François Marteau

Date :

Type : Livre / Book

Type : Thèse / Thesis

Langue / Language : anglais / English

Catalogue Worldcat

Robots mobiles

Commande en temps réel

Robots militaires

Systèmes homme-machine

Classification Dewey : 629.892

Marteau, Pierre-François (1961-....) (Directeur de thèse / thesis advisor)

Anquetil, Eric (Président du jury de soutenance / praeses)

Moutarde, Fabien (19..-....) (Rapporteur de la thèse / thesis reporter)

Achard, Catherine (1970-.... ; chercheuse en intelligence artificielle) (Rapporteur de la thèse / thesis reporter)

Gosset, Philippe (19..-....) (Membre du jury / opponent)

Université de Bretagne Sud (Organisme de soutenance / degree-grantor)

École doctorale Santé, information-communication et mathématiques, matière (Brest, Finistère) (Ecole doctorale associée à la thèse / doctoral school)

Université Bretagne Loire (Autre partenaire associé à la thèse / thesis associated third party)

Résumé / Abstract : Alors que les systèmes de reconnaissance gestuelle actuels privilégient souvent un usage intérieur, nous nous intéressons à la conception d'un système dont l'utilisation est possible en environnement extérieur et en mobilité. Notre objectif est le contrôle temps-réel d'un robot mobile dont l'usage est destiné aux fantassins débarqués. La contribution principale de cette thèse est le développement d'une chaîne de reconnaissance gestuelle temps réel, qui peut être entraînée en quelques minutes avec: un faible nombre d'exemples ("small data"); des gestes choisis par l'utilisateur; une résilience aux gestes mal réalisés; ainsi qu'une faible empreinte CPU. Ceci est possible grâce à deux innovations clés: d'une part, une technique pour calculer des distances entre séries temporelles en flux, basée sur DTW; d'autre part, une rétro-analyse efficace du flux d'apprentissage afin de déterminer les hyperparamètres du modèle sans intervention de l'utilisateur. D'autre part, nous avons construit notre propre gant de données et nous l'utilisons pour confirmer expérimentalement que la solution de reconnaissance gestuelle permet le contrôle temps réel d'un robot en mobilité. Enfin, nous montrons la flexibilité de notre technique en ce sens qu'elle permet de contrôler non seulement des robots, mais aussi des systèmes de natures différentes.

Résumé / Abstract : Although gesture recognition has been studied for several decades, much research stays in the realm of indoors laboratory experiments. In this thesis, we address the problem of designing a truly usable, real- world gesture recognition system, focusing mainly on the real-time control of an outdoors robot for use by military soldiers. The main contribution of this thesis is the development of a real-time gesture recognition pipeline, which can be taught in a few minutes with: very sparse input ("small data"); freely user-invented gestures; resilience to user mistakes during training; and low computation requirements. This is achieved thanks to two key innovations: first, a stream-enabled, DTW-inspired technique to compute distances between time series; and second, an efficient stream history analysis procedure to automatically determine model hyperparameters without user intervention. Additionally, a custom, hardened data glove was built and used to demonstrate successful gesture recognition and real-time robot control. We finally show this work's flexibility by furthermore using it beyond robot control to drive other kinds of controllable systems.