Date : 2021
Type : Livre / Book
Type : Thèse / ThesisLangue / Language : français / French
Apprentissage supervisé (intelligence artificielle)
Reconnaissance d'objets (informatique)
Systèmes de questions et réponses
Accès en ligne / online access
Accès en ligne / online access
Accès en ligne / online access
Résumé / Abstract : L'apprentissage incrémental propose un nouveau paradigme d'apprentissage pour les réseaux de neurones artificiels. Il vise à développer des systèmes capables d'enrichir leurs connaissances et leurs compétences après la phase d'entraînement initiale. Ce schéma d'entraînement est particulièrement intéressant pour des applications liées à un domaine de connaissances évolutif ou très étendu. Pour qu'une solution soit adaptée à l'apprentissage incrémental, le modèle doit remplir deux conditions : être capable d'apprendre la nouveauté et retenir ce qui a été précédemment appris, i.e. prévenir l'oubli catastrophique des acquis. Ce deuxième point est une problématique majeure des réseaux de neurones artificiels. L'ajout de nouvelles connaissances en incrémental vient écraser les précédentes. Au cours de cette thèse, nous proposons de traiter l'apprentissage continu du point de vue du domaine de l'apprentissage des représentations. En supposant l'existence de données non-annotées accessibles par le modèle pendant l'apprentissage, nous proposons des approches incrémentales semi-supervisées. Nous montrons qu'exploiter des données annexes permet de régulariser le modèle pendant le processus incrémental. Via la semi-supervision, les modèles proposés exploitent les représentations améliorées pour faciliter l'apprentissage de la nouveauté, mais aussi pour stabiliser les poids face à l'oubli catastrophique.
Résumé / Abstract : Incremental learning introduces a new learning paradigm for artificial neural networks. It aims at developing systems capable of enriching their knowledge and skills after the initial training phase. This learning scheme is particularly interesting for applications related to an evolving or very large knowledge domain. For a solution to be suitable for incremental learning, the model must fulfill two conditions: it must be able to learn novelty and retain what has been previously learned, i.e. prevent catastrophic forgetting. This second point is the major issue inherent to artificial neural networks. The addition of new knowledge in an incremental way overwrites the one currently stored un the model. In this thesis, we propose to tackle continuous learning from the point of view of the representation learning field. Assuming the existence of unlabeled data accessible by the model during training, we propose semi-supervised incremental approaches. We show that exploiting ancillary data allows to regularize the model during the incremental process. Via semi-supervision, the proposed models exploit the improved representations to facilitate learning the novelty, but also to stabilize the weights against catastrophic forgetting.