Embedded visual perception system applied to safe navigation of vehicles / Arthur de Miranda Neto ; sous la direction de Douglas Eduardo Zampieri et Isabelle Fantoni-Coichot

Résumé / Abstract : Les études développées dans ce projet doctoral ont concerné deux problématiques actuelles dans le domaine des systèmes robotiques pour la mobilité terrestre: premièrement, le problème associé à la navigation autonome et (semi)-autonome des véhicules terrestres dans un environnement inconnu ou partiellement connu. Cela constitue un enjeu qui prend de l'importance sur plusieurs fronts, notamment dans le domaine militaire. Récemment, l'agence DARPA1 aux États-Unis a soutenu plusieurs challenges sur cette problématique robotique; deuxièmement, le développement de systèmes d'assistance à la conduite basés sur la vision par ordinateur. Les acteurs de l'industrie automobile s'intéressent de plus en plus au développement de tels systèmes afin de rendre leurs produits plus sûrs et plus confortables à toutes conditions climatiques ou de terrain. De plus, grâce à l'électronique embarquée et à l’utilisation des systèmes visuels, une interaction avec l'environnement est possible, rendant les routes et les villes plus sûres pour les conducteurs et les piétons. 1) Defense Advanced Research Projects Agency (DARPA): est une agence du département de la Défense des États- Unis chargée de la recherche et développement des nouvelles technologies destinées à un usage militaire. 2) L'objectif principal de ce projet doctoral a été le développement de méthodologies qui permettent à des systèmes mobiles robotisés de naviguer de manière autonome dans un environnement inconnu ou partiellement connu, basées sur la perception visuelle fournie par un système de vision monoculaire embarqué. Un véhicule robotisé qui doit effectuer des tâches précises dans un environnement inconnu, doit avoir la faculté de percevoir son environnement proche et avoir un degré minimum d'interaction avec celui-ci. Nous avons proposé un système de vision embarquée préliminaire, où le temps de traitement de l'information (point critique dans des systèmes de vision utilisés en temps-réel) est optimisé par une méthode d'identification et de rejet d'informations redondantes. Suite à ces résultats, on a proposé une étude innovante par rapport à l´état de l´art en ce qui concerne la gestion énergétique du système de vision embarqué, également pour le calcul du temps de collision à partir d'images monoculaires. Ainsi, nous proposons le développement des travaux en étudiant une méthodologie robuste et efficace (utile en temps-réel) pour la détection de la route et l'extraction de primitives d'intérêts appliquée à la navigation autonome des véhicules terrestres. Nous présentons des résultats dans un environnement réel, dynamique et inconnu. Afin d'évaluer la performance de l'algorithme proposé, nous avons utilisé un banc d’essai urbain et réel. Pour la détection de la route et afin d'éviter les obstacles, les résultats sont présents en utilisant un véhicule réel afin d'évaluer la performance de l'algorithme dans un déplacement autonome.

Résumé / Abstract : This thesis addresses the problem of obstacle avoidance for semi- and autonomous terrestrial platforms in dynamic and unknown environments. Based on monocular vision, it proposes a set of tools that continuously monitors the way forward, proving appropriate road informations in real time. A horizon finding algorithm was developed to sky removal. This algorithm generates the region of interest from a dynamic threshold search method, allowing to dynamically investigate only a small portion of the image ahead of the vehicle, in order to road and obstacle detection. A free-navigable area is therefore represented from a multimodal 2D drivability road image. This multimodal result enables that a level of safety can be selected according to the environment and operational context. In order to reduce processing time, this thesis also proposes an automatic image discarding criteria. Taking into account the temporal coherence between consecutive frames, a new Dynamic Power Management methodology is proposed and applied to a robotic visual machine perception, which included a new environment observer method to optimize energy consumption used by a visual machine. This proposal was tested in different types of image texture (road surfaces), which includes free-area detection, reactive navigation and time-to-collision estimation. A remarkable characteristic of these methodologies is its independence of the image acquiring system and of the robot itself. This real-time perception system has been evaluated from different test-banks and also from real data obtained by two intelligent platforms. In semi-autonomous tasks, tests were conducted at speeds above 100 Km/h. Autonomous displacements were also carried out successfully. The algorithms presented here showed an interesting robustness.