New statistical methods for data mining, contributions to anomaly detection and unimodality testing / Alban Siffer ; sous la direction de Pierre-Alain Fouque et de Alexandre Termier

Date :

Type : Livre / Book

Type : Thèse / Thesis

Langue / Language : anglais / English

Exploration de données

Détection des anomalies (informatique)

Fouque, Pierre-Alain (1974-....) (Directeur de thèse / thesis advisor)

Termier, Alexandre (Directeur de thèse / thesis advisor)

Université de Rennes 1 (Organisme de soutenance / degree-grantor)

École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) (Ecole doctorale associée à la thèse / doctoral school)

Université Bretagne Loire (Autre partenaire associé à la thèse / thesis associated third party)

Institut de recherche en informatique et systèmes aléatoires (Rennes) (Laboratoire associé à la thèse / thesis associated laboratory)

Résumé / Abstract : Cette thèse propose de nouveaux algorithmes statistiques dans deux domaines différents de la fouille de données: la détection d'anomalies et le test d'unimodalité.Premièrement, une nouvelle méthode non-supervisée permettant de détecter des anomalies dans des flux de données est développée. Celle-ci se base sur le calcul de seuils probabilistes, eux-mêmes utilisés pour discriminer les observations anormales.La force de cette méthode est sa capacité à s'exécuter automatiquement sans connaissance préalable ni hypothèse sur le flux de données d'intérêt.De même, l'aspect générique de l'algorithme lui permet d'opérer dans des domaines d'application variés. En particulier, nous développons un cas d'usage en cyber-sécurité.Cette thèse développe également un nouveau test d'unimodalité qui permet de déterminer si une distribution de données comporte un ou plusieurs modes. Ce test est nouveau par deux aspects: sa capacité à traiter des distributions multivariées mais également sa faible complexité, lui permettant alors d'être appliqué en temps réel sur des flux de données.Cette composante plus fondamentale a principalement des applications dans d'autres domaines du data mining tels que le clustering. Un nouvel algorithme cherchant incrémentalement le paramétrage de k-means est notamment détaillé à la fin de ce manuscrit.

Résumé / Abstract : This thesis proposes new statistical algorithms in two different data mining areas: anomaly detection and unimodality testing. First, a new unsupervised method for detecting outliers in streaming data is developed. It is based on the computation of probabilistic thresholds, which are themselves used to discriminate against abnormal observations. The strength of this method is its ability to run automatically without prior knowledge or hypothesis about the input data. Similarly, the generic aspect of the algorithm makes it able to operate in various fields. In particular, we develop a cyber-security use case. This thesis also proposes a new unimodality test which determines whether a data distribution has one or several modes. This test is new in two respects: its ability to handle multivariate distributions but also its low complexity, allowing it to be applied on streaming data. This more fundamental component has applications mainly in other areas of data mining such as clustering. A new algorithm incrementally searching for the k-means parameter setting is notably detailed at the end of this manuscript.