Abstract : This
study focuses on affective computing in both fields of modeling and
detecting emotions. Our contributions concern three points. First, we
present a generic solution of emotional data exchange between
heterogeneous multi-modal applications. This proposal is based on a new
algebraic representation of emotions and is composed of three distinct
layers : the psychological layer, the formal computational layer and the
language layer. The first layer represents the psychological theory
adopted in our approach which is the Plutchik's theory. The second layer
is based on a formal multidimensional model. It matches the
psychological approach of the previous layer. The final layer uses XML
to generate the final emotional data to be transferred through the
network. In this study we demonstrate the effectiveness of our model to
represent an in infinity of emotions and to model not only the basic
emotions (e.g., anger, sadness, fear) but also complex emotions like
simulated and masked emotions. Moreover, our proposal provides powerful
mathematical tools for the analysis and the processing of these emotions
and it enables the exchange of the emotional states regardless of the
modalities and sensors used in the detection step. The second
contribution consists on a new monomodal method of recognizing emotional
states from physiological signals. The proposed method uses signal
processing techniques to analyze physiological signals. It consists of
two main steps : the training step and the detection step. In the First
step, our algorithm extracts the features of emotion from the data to
generate an emotion training data base. Then in the second step, we
apply the k-nearest-neighbor classifier to assign the predefined classes
to instances in the test set. The final result is defined as an eight
components vector representing the felt emotion in multidimensional
space. The third contribution is focused on multimodal approach for the
emotion recognition that integrates information coming from different
cues and modalities. It is based on our proposed formal multidimensional
model. Experimental results show how the proposed approach increases
the recognition rates in comparison with the unimodal approach. Finally,
we integrated our study on an automatic tool for prevention and early
detection of depression using physiological sensors. It consists of two
main steps : the capture of physiological features and analysis of
emotional information. The first step permits to detect emotions felt
throughout the day. The second step consists on analyzing these
emotional information to prevent depression.
Résumé : Notre
travail s'inscrit dans le domaine de l'affective computing et plus
précisément la modélisation, détection et annotation des émotions.
L'objectif est d'étudier, d'identifier et de modéliser les émotions afin
d'assurer l’échange entre applications multimodales. Notre contribution
s'axe donc sur trois points. En premier lieu, nous présentons une
nouvelle vision de la modélisation des états émotionnels basée sur un
modèle générique pour la représentation et l'échange des émotions entre
applications multimodales. Il s'agit d'un modèle de représentation
hiérarchique composé de trois couches distinctes : la couche
psychologique, la couche de calcul formel et la couche langage. Ce
modèle permet la représentation d'une infinité d'émotions et la
modélisation aussi bien des émotions de base comme la colère, la
tristesse et la peur que les émotions complexes comme les émotions
simulées et masquées. Le second point de notre contribution est axé sur
une approche monomodale de reconnaissance des émotions fondée sur
l'analyse des signaux physiologiques. L'algorithme de reconnaissance des
émotions s'appuie à la fois sur l'application des techniques de
traitement du signal, sur une classification par plus proche voisins et
également sur notre modèle multidimensionnel de représentation des
émotions. Notre troisième contribution porte sur une approche
multimodale de reconnaissance des émotions. Cette approche de traitement
des données conduit à une génération d'information de meilleure qualité
et plus fiable que celle obtenue à partir d'une seule modalité. Les
résultats expérimentaux montrent une amélioration significative des taux
de reconnaissance des huit émotions par rapport aux résultats obtenus
avec l'approche monomodale. Enfin nous avons intégré notre travail dans
une application de détection de la dépression des personnes âgées dans
un habitat intelligent. Nous avons utilisé les signaux physiologiques
recueillis à partir de différents capteurs installés dans l'habitat pour
estimer l'état affectif de la personne concernée.
