Deep learning, inertial measurements units, and odometry : some modern prototyping techniques for navigation based on multi-sensor fusion / Martin Brossard ; sous la direction de Silvère Bonnabel

Date :

Type : Livre / Book

Type : Thèse / Thesis

Langue / Language : anglais / English

Kalman, Filtrage de

SLAM (langage de programmation)

Apprentissage profond

Fusion multicapteurs

Réseaux neuronaux (informatique)

Odométrie

Centrales inertielles

Classification Dewey : 629.89

Bonnabel, Silvère (1981-...) (Directeur de thèse / thesis advisor)

Filliat, David (1974-....) (Président du jury de soutenance / praeses)

Barfoot, Tim (Rapporteur de la thèse / thesis reporter)

Kulić Peng, Dana (19-....) (Rapporteur de la thèse / thesis reporter)

Barrau, Axel (1988-....) (Membre du jury / opponent)

Chitour, Yacine (19..-....) (Membre du jury / opponent)

Université Paris sciences et lettres (2020-....) (Organisme de soutenance / degree-grantor)

Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique (Paris) (Ecole doctorale associée à la thèse / doctoral school)

Centre de robotique (Paris) (Laboratoire associé à la thèse / thesis associated laboratory)

École nationale supérieure des mines (Paris) (Autre partenaire associé à la thèse / thesis associated third party)

Résumé / Abstract : Cette thèse aborde les méthodes d'estimation d'état pour les véhicules équipés de divers capteurs tels que des caméras et des centrales inertielles. Le filtre de Kalman est un outil largement utilisé pour estimer l'état d'un système dynamique, qui soulève des questions théoriques pour les systèmes non linéaires présents dans la navigation, et qui repose sur des modèles physiques et des paramètres qui doivent être optimisés efficacement par l'utilisateur. La thèse contribue au filtrage de Kalman pour la navigation, où les contributions se divisent en deux contributions majeures. La première contribution consiste à s'appuyer sur le récent filtre de Kalman étendu invariant pour résoudre les problèmes difficiles que sont l'inconsistance du filtre de Kalman étendu pour le problème de la localisation et de la cartographie simultanées, de la navigation avec des capteurs visuels, et la question plus générale du filtrage de Kalman sur les variétés. La deuxième contribution consiste à utiliser des outils récents du domaine de l'intelligence artificielle, à savoir l'apprentissage profond, pour améliorer les filtres de Kalman, notamment pour relier les mesures des capteurs à l'état du système, et pour régler le filtre efficacement, c'est-à-dire utiliser des techniques d'apprentissage automatique pour trouver une stratégie de réglage dynamique des paramètres du filtre de Kalman qui correspond aux données et qui est également capable de fournir de nouvelles informations au filtre. La thèse introduit ainsi différents algorithmes de filtrage et réseaux de neurones profonds dont l'implémentation est rendue open-source.

Résumé / Abstract : This thesis deals with state estimation for vehicles that are equipped with various sensors such as cameras and inertial measurement units. The Kalman filter is a widely used tool that estimates the state of a dynamical system, which raises theoritical questions for the nonlinear systems present in navigation, and that relies on physical models and parameters that need to be efficient tuned by the user. This thesis contributes to Kalman filtering for navigation, where the contributions focus on two different manners. The first manner consists in building on the recent invariant extended Kalman filter to address challenging issues, namely the inconsistency of extended Kalman filter for the problem of simultaneous localization and mapping, navigation with vision sensors, and the more general question of Kalman filtering on manifolds. The second manner consists in using recent tools from the field of artificial intelligence, namely deep learining, to improve Kalman filters, notably to relate sensors’ measurements to the state, and to tune the filter efficiently, that is, using machine learning techniques to find a dynamical tuning strategy of the Kalman filter parameters that best matches the data and that is also able to provide new information to the filter. The thesis thus introduces differents filtering algorithms and deep neural networks whose implementation are made open-source.