Vision industrielle et réseaux de neurones profonds : application au dévracage de pièces plastiques industrielles / Julien Langlois ; sous la direction de Christian Viard-Gaudin et de Nicolas Normand

Date :

Type : Livre / Book

Type : Thèse / Thesis

Langue / Language : français / French

Apprentissage automatique

Robots industriels

Réseaux neuronaux (informatique)

Classification Dewey : 006.3

Viard-Gaudin, Christian (Directeur de thèse / thesis advisor)

Normand, Nicolas (Directeur de thèse / thesis advisor)

Eglin, Véronique (19..-....) (Président du jury de soutenance / praeses)

Mouchère, Harold (1981- ....) (Membre du jury / opponent)

Tabbone, Antoine (19-...) (Membre du jury / opponent)

Demonceaux, Cédric (1978-....) (Membre du jury / opponent)

Lepetit, Vincent (1972-....) (Membre du jury / opponent)

Tanguy, Morgane (1990-....) (Membre du jury / opponent)

Université de Nantes (1962-2021) (Organisme de soutenance / degree-grantor)

École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) (Ecole doctorale associée à la thèse / doctoral school)

Université Bretagne Loire (Autre partenaire associé à la thèse / thesis associated third party)

Laboratoire des Sciences du Numérique de Nantes (Laboratoire associé à la thèse / thesis associated laboratory)

Résumé / Abstract : Ces travaux de thèse présentent une méthode d’estimation de pose de pièces industrielles en vue de leur dévracage à partir d’un système mono-caméra 2D en utilisant une approche par apprentissage avec des réseaux profonds. Dans un premier temps, des réseaux de neurones assurent la segmentation d’un nombre prédéterminé de pièces dans la scène. En appliquant le masque binaire d’une pièce à l’image originale, un second réseau infère la profondeur locale de cet objet. En parallèle des coordonnées de la pièce dans l’image, cette profondeur est employée dans deux réseaux estimant à la fois l’orientation de l’objet sous la forme d’un quaternion et sa translation sur l’axe Z. Enfin, un module de recalage travaillant sur la rétro-projection de la profondeur et le modèle 3D de l’objet, permet d’affiner la pose prédite par les réseaux. Afin de pallier le manque de données réelles annotées dans un contexte industriel, un processus de création de données synthétiques est proposé. En effectuant des rendus aux multiples luminosités, la versatilité du jeu de données permet d’anticiper les différentes conditions hostiles d’exploitation du réseau dans un environnement de production.

Résumé / Abstract : This work presents a pose estimation method from a RGB image of industrial parts placed in a bin. In a first time, neural networks are used to segment a certain number of parts in the scene. After applying an object mask to the original image, a second network is inferring the local depth of the part. Both the local pixel coordinates of the part and the local depth are used in two networks estimating the orientation of the object as a quaternion and its translation on the Z axis. Finally, a registration module working on the back-projected local depth and the 3D model of the part is refining the pose inferred from the previous networks. To deal with the lack of annotated real images in an industrial context, an data generation process is proposed. By using various light parameters, the dataset versatility allows to anticipate multiple challenging exploitation scenarios within an industrial environment.