Graph representation and mining applied in comic images retrieval / Thanh Nam Le ; sous la direction de Jean-Christophe Burie et de Jean-Marc Ogier

Date :

Type : Livre / Book

Type : Thèse / Thesis

Langue / Language : anglais / English

Catalogue Worldcat

Représentations de graphes

Explorations de graphes

Recherche d'images par le contenu

Bandes dessinées

Burie, Jean-Christophe (Directeur de thèse / thesis advisor)

Ogier, Jean-Marc (Directeur de thèse / thesis advisor)

Adam, Sébastien (19..-.... ; chercheur en informatique) (Président du jury de soutenance / praeses)

Llados i Canet, Josep (Rapporteur de la thèse / thesis reporter)

Vincent, Nicole (1956-...) (Rapporteur de la thèse / thesis reporter)

Luqman, Muhammad Muzzamil (1982-....) (Membre du jury / opponent)

Université de La Rochelle (Organisme de soutenance / degree-grantor)

École doctorale Euclide (La Rochelle ; 2018-....) (Ecole doctorale associée à la thèse / doctoral school)

Laboratoire Informatique, Image, Interaction (La Rochelle) (Laboratoire associé à la thèse / thesis associated laboratory)

Résumé / Abstract : Nous abordons d’abord le problème de la représentation sous forme d’un graphe de l’image et de ses applications en reconnaissance des formes, en mettant l’accent sur les applications de recherche d’images basées sur le contenu (CBIR). Les images utilisées dans cette thèse sont des images de bandes dessinées, qui possèdent des spécificités qui sont des freins pour les méthodes de recherche d’information par le contenu utilisées dans la littérature. Le contenu des bandes dessinées, tel que les objets et les personnages, est complexe. La représentation des personnages, par exemple, peut, d’une case à l’autre, varier énormément en taille et avec différents effets de perspective, selon la situation que l’auteur souhaite retranscrire. Nous proposons ainsi une représentation qui permet d’obtenir des graphes stables et qui conserve des informations structurelles de haut niveau pour les objets d’intérêt dans les images de bandes dessinées. Ensuite, nous étendons le problème d’indexation et d’appariement aux structures de graphes représentant les images d’une bande dessinée et nous l’appliquons au problème de la recherche d’information. Un album de bandes dessinées est ainsi transformé en une base de graphes, chaque graphe correspondant à la description d’une seule case. La stratégie utilisée pour retrouver un objet ou un personnage donné, consiste donc à rechercher des motifs fréquents (ou des sous-structures fréquentes) dans cette base de graphes. Cette étape nécessite de surmonter le problème de non-répétabilité provoqué par les erreurs introduites dans la structure du graphe pendant la phase de construction dues notamment à la variabilité des dessins. Il apparait donc un écart sémantique entre le graphe et le contenu de l’image de bande dessinée.

Résumé / Abstract : In information retrieval tasks from image databases where content representation is based on graphs, the evaluation of similarity is based both on the appearance of spatial entities and on their mutual relationships. In this thesis we present a novel scheme of Attributed Relational Adjacency Graphs representation and mining, which has been applied in content-based retrieval of comic images. The images used in this thesis are comics images, which have their inherent difficulties in applying content-based retrieval, such as their abstractness, partial occlusion, scale change and shape deformation due to viewpoint changes. We propose a graph representation that yields stable graphs and allow to retain high-level and structural information of objects of interest in comic images. Next, we extend the indexing and matching problem to graph structures representing the comic image, and apply it to the problem of retrieval. The graphs in the graph database representing the whole comic volume are then mined for frequent patterns (or frequent substructures). This step is to overcome the non-repeatability problem caused by the unavoidable errors introduced into the graph structure during the graph construction stage, which ultimately create a semantic gap between the graph and the content of the comic image. Finally, we demonstrate the effectiveness of the system with a database of annotated comic images. Experiments of performance measures is addressed to evaluate the performance of this CBIR system.