Convolutional neural networks for change analysis in earth observation images with noisy labels and domain shifts / Rodrigo Caye Daudt ; sous la direction de Yann Gousseau

Date :

Type : Livre / Book

Type : Thèse / Thesis

Langue / Language : anglais / English

Imagerie satellitaire

Réseaux neuronaux (informatique)

Gousseau, Yann (1971-....) (Directeur de thèse / thesis advisor)

Tupin, Florence (19..-) (Président du jury de soutenance / praeses)

Fraundorfer, Friedrich (19..-....) (Rapporteur de la thèse / thesis reporter)

Demir, Begüm (19..-....) (Rapporteur de la thèse / thesis reporter)

Le Saux, Bertrand Honoré Henri (1976-....) (Membre du jury / opponent)

Charpiat, Guillaume (Membre du jury / opponent)

Vakalopoulou, Maria (19..-....) (Membre du jury / opponent)

Institut polytechnique de Paris (Organisme de soutenance / degree-grantor)

École doctorale de l'Institut polytechnique de Paris (Ecole doctorale associée à la thèse / doctoral school)

Télécom Paris (Palaiseau) (Autre partenaire associé à la thèse / thesis associated third party)

Laboratoire Traitement et communication de l'information (Paris ; 2003-....) (Laboratoire associé à la thèse / thesis associated laboratory)

Résumé / Abstract : L'analyse de l'imagerie satellitaire et aérienne d'observation de la Terre nous permet d'obtenir des informations précises sur de vastes zones. Une analyse multitemporelle de telles images est nécessaire pour comprendre l'évolution de ces zones. Dans cette thèse, les réseaux de neurones convolutifs sont utilisés pour détecter et comprendre les changements en utilisant des images de télédétection provenant de diverses sources de manière supervisée et faiblement supervisée. Des architectures siamoises sont utilisées pour comparer des paires d'images recalées et identifier les pixels correspondant à des changements. La méthode proposée est ensuite étendue à une architecture de réseau multitâche qui est utilisée pour détecter les changements et effectuer une cartographie automatique simultanément, ce qui permet une compréhension sémantique des changements détectés. Ensuite, un filtrage de classification et un nouvel algorithme de diffusion anisotrope guidée sont utilisés pour réduire l'effet du bruit d'annotation, un défaut récurrent pour les ensembles de données à grande échelle générés automatiquement. Un apprentissage faiblement supervisé est également réalisé pour effectuer une détection de changement au niveau des pixels en utilisant uniquement une supervision au niveau de l'image grâce à l'utilisation de cartes d'activation de classe et d'une nouvelle couche d'attention spatiale. Enfin, une méthode d'adaptation de domaine fondée sur un entraînement adverse est proposée. Cette méthode permet de projeter des images de différents domaines dans un espace latent commun où une tâche donnée peut être effectuée. Cette méthode est testée non seulement pour l'adaptation de domaine pour la détection de changement, mais aussi pour la classification d'images et la segmentation sémantique, ce qui prouve sa polyvalence.

Résumé / Abstract : The analysis of satellite and aerial Earth observation images allows us to obtain precise information over large areas. A multitemporal analysis of such images is necessary to understand the evolution of such areas. In this thesis, convolutional neural networks are used to detect and understand changes using remote sensing images from various sources in supervised and weakly supervised settings. Siamese architectures are used to compare coregistered image pairs and to identify changed pixels. The proposed method is then extended into a multitask network architecture that is used to detect changes and perform land cover mapping simultaneously, which permits a semantic understanding of the detected changes. Then, classification filtering and a novel guided anisotropic diffusion algorithm are used to reduce the effect of biased label noise, which is a concern for automatically generated large-scale datasets. Weakly supervised learning is also achieved to perform pixel-level change detection using only image-level supervision through the usage of class activation maps and a novel spatial attention layer. Finally, a domain adaptation method based on adversarial training is proposed, which succeeds in projecting images from different domains into a common latent space where a given task can be performed. This method is tested not only for domain adaptation for change detection, but also for image classification and semantic segmentation, which proves its versatility.