Lejeune, Clément (2021) Multivariate Functional Data‎: Geometric Features Extraction and Sparse Learning of Dynamics. École doctorale Mathématiques, Informatique et Télécommunications (Toulouse).

Preview

Text Download (10MB) | Preview

Abstract

A multivariate time series is a time-indexed sequence of multidimensional samples. Such a kind of data appears in many fields since they are the observation of dynamic systems (eg mechanics, biology), which often involve multiple time-dependent variables. The constituting variables of a multivariate time series are often related to each other. This multidimensionality renders the analysis of the phenomenon underlying the data more complex than with univariate time series. In this thesis, a dataset comprises multiple multivariate time series. We interest in the detection of abnormal phenomena, which is commonly referred as emph{outlier} or emph{anomaly} detection. Furthermore, we aim to discover the model of the dynamics underlying a given phenomenon. Such a model can provide indepth knowledge on an abnormal phenomenon. To address these two points, we have made two contributions, wherein both of them we represent a time series as a function over time. Our first contribution cite{lejeuneEDBT,lejeuneKOS} deals with the detection of outliers in a functional data perspective. We observed that, due to atypical relationships between the variables of a multivariate time series, the outlyingness can result in its curve shape. To highlight the shape outlyingness, we proposed to aggregate the variables in several geometric manners and used the output functional representation as input of existing outlier detection algorithms. We have empirically showed that our approach outperforms state-of-the-art. Our second contribution cite{lejeune2021} tackles the data-driven discovery of a deterministic model underlying the dynamics between the variables of a multivariate time series. We focus on the case where this unknown model is a system of ordinary differential equations whose solution is the function representing an observed time series. To discover such a model in closed form, we proposed a penalized multi-task learning algorithm where each task aims at learning a single equation. Since the equations are coupled to each other, our regularizer enforces both sparsity within tasks and similarity between tasks. Contrary to state-of-the-art multi-task regularizers, which are convex, ours is non-convex and thus enables to learn the model with unbiasedness. We have empirically showed, on datasets simulated from known systems of differential equations, that learning in a multi-task way with nonconvex sparsity outperforms state-of-the-art approaches.

Une série temporelle multivariée est une séquence, indexée par le temps, d'échantillons multivariés. Ces données apparaissent dans de nombreux domaines, puisqu'elles représentent l'observation d'un système dynamique (exemples: mécanique, biologique, etc) comportant plusieurs variables dépendant du temps. Les variables d'une série temporelle multivariée sont souvent corrélées le long du temps. Cette multidimensionnalité rend l'analyse du phénomène sous-jacent aux données plus complexe que dans le cas unidimensionnel. Dans cette thèse, un jeu de données est constitué d'un ensemble de séries temporelles multivariées. Nous nous intéressons à la détection de phénomènes anormaux, aussi appelé détection d'anomalies. Nous cherchons de plus à identifier un modèle de la dynamique sous-jacente au phénomène étudié. Ce type de modèle peut notamment servir de référence et ainsi fournir des connaissances approfondies sur un phénomène anormal. Pour adresser ces deux points, nous avons proposé deux contributions, où dans chacune nous représentons une série temporelle par une fonction (vectorielle) du temps. Notre première contribution concerne la détection d'anomalies dans le cadre de l'analyse de données fonctionnelles. Nous avons observé qu'en raison des relations atypiques entre les variables d'une série temporelle multivariée, l'anormalité peut se traduire dans des caractéristiques de forme de la fonction observée. Pour caractériser une anormalité de forme, nous avons proposé plusieurs moyens géométriques d’agréger ces variables. Nous utilisons la représentation (fonctionnelles) renvoyée par ces agrégats comme donnée d'entrée d'algorithmes de détection d'anomalie existant. Nous avons montré empiriquement que notre approche s'avère meilleure que des méthodes de l'état de l'art. Notre seconde contribution aborde l'apprentissage de modèle déterministe qui sous-tends la dynamique temporelle entre les variables d'une série temporelle multivariée. Plus particulièrement, nous nous intéressons au cas où ce modèle est un système d'équations différentielles ordinaires dont la solution serait la (vraie) fonction représentant la série temporelle observée. Pour identifier la forme analytique d'un tel modèle, nous avons proposé un algorithme d'apprentissage multi-tâches pénalisé, où chaque tâche vise à apprendre une équation du système. Du fait du couplage des équations au sein du système, nous avons proposé une pénalité qui encourage parcimonie et similarité entre les tâches. Contrairement aux pénalité multi-tâches de l'état de l'art, qui sont convexes, la nôtre est non-convexe et permet ainsi d'estimer le modèle sans biais. A partir de jeux de données simulées par des systèmes d'équations différentielles ordinaires, nous avons montré que l'apprentissage multi-tâches sous contraintes de parcimonie non-convexe surpasse des approches de l'état de l'art.