présenté et soutenu par mickaël menard le 09 juillet...
TRANSCRIPT
Présenté et soutenu par Mickaël MENARD
Le 09 Juillet 2014 Au sein de l'Institut des Sciences et Techniques de l'Ingénieur d'Angers (ISTIA)
Encadrant : Paul RICHARD
MENARD Mickaël - Soutenance de stage - 09 Juillet 2014 2
Plan ◦ Rappels sur la plateforme
◦ Intégration d’une nouvelle modalité
◦ Mise en place des expériences
◦ Analyses des données subjectives et physiologiques
◦ Discussion
◦ Perspectives
Capteurs Signaux
physiologiques
Modèles
mathématiques
Vecteurs
émotionnels Fusion
Etat
émotionnel
3
Plateforme multimodale temps réel ◦ Capteur électro-encéphalogramme (EEG)
◦ Capteur de fréquence cardiaque
◦ Webcam
MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Développée en 2010 dans le cadre de la thèse de Mr. Hamza HAMDI.
4 MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Emotions
Tristesse Joie Colère Peur Surprise Dégoût
5
Les 6 émotions « de base » communes à tout être humain définies par P. Ekman en 1972.
MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Intégration d’une nouvelle modalité physiologique : capteur de conductivité dermique
6
Intégration
matérielle
Intégration
mathématique
Intégration
logicielle
MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Utilisation de stimuli dynamiques standardisés
7 MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Capteurs utilisés: ◦ Conductivité dermique (T.E.A.)
◦ Fréquence cardiaque (Nonin)
Environnement contrôlé ◦ Salle d’expérimentation close
Sujets recrutés
8 MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
1 - Explication de l’expérience et consentement du sujet
2 - Installation du sujet
3 – Vérification du branchement et du bon fonctionnement des capteurs
4 - Projection des 12 vidéos avec une vidéo neutre entre chaque catégorie
Notation subjective des émotions ressenties après chaque vidéo
5 – Fin de l’expérience, vérification de l’état émotionnel du sujet
6 - Sortie de l’environnement
9
Durée totale de l’expérimentation = 30 min
MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Matrice de confusion pour l’ensemble des sujets
10 MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Graphiques représentant les données de conductivité dermique en fonction du temps
11
Sujet 23 Sujet 26
MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Décomposition de chacune de nos fonctions (1 vidéo, 1 sujet) en série de Fourier
𝑋𝑖 = 𝑋𝑖,𝑗𝜑𝑗
+∞
𝑗=1
Construction du tableau des coefficients de Fourier pour
chaque vecteur 𝑌1 𝑋1,1𝑌2 𝑋2,1
⋯𝑋1,𝑘𝑋2,𝑘
⋮ ⋱ ⋮𝑌𝑛 𝑋𝑛,1 ⋯ 𝑋𝑛,𝑘
Avec 𝑌𝑖 le label correspondant à l’émotion induite et 𝑋𝑖 les 𝑘 coefficients de Fourier associés à la fonction
12 MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Classification par les Machines à Support de Vecteurs (SVM) ◦ Tracent des hyperplans séparateurs entre les
échantillons
◦ Sélectionnent ceux qui maximisent les marges entre les classes
Implémentées dans le logiciel Weka
13 MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Taux de classification (%)
𝑘 Conductivité dermique Fréquence Cardiaque
237 78.8462 89.5833
225 78.8462 89.5833
220 85.5769 89.5833
210 85.5769 89.5833
200 85.5769 89.5833
190 85.5769 89.5833
180 78.8462 84.7222
170 70.1923 72.9167
160 71.1538 76.3889
150 61.5385 69.4444
140 52.8846 65.9722
130 52.8846 65.9722
120 46.1538 57.6389
110 32.6923 53.4722
100 27.8846 47.2222
14 MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Correctly Classified Instances 129 89,5833%
Incorrectly Classified Instances 15 10,4167%
Kappa statistic 0,8772
Mean absolute error 0,0312
Root mean squared error 0,1535
Relative absolute error 12,7709%
Root relative squared error 43,8940%
Total Number of Instances 144
15
Classifié comme :
Colère Dégout Peur Joie Surprise Tristesse Neutre
Colère 22 0 0 0 0 0 0
Dégout 5 13 0 0 0 0 0
Peur 10 0 12 0 0 0 0
Joie 0 0 0 27 0 0 0
Surprise 0 0 0 0 19 0 0
Tristesse 0 0 0 0 0 25 0
Neutre 0 0 0 0 0 0 11
Rapport fourni par Weka pour les données de conductivité dermique et 𝑘 = 200
MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Provenance des sujets
Phénomène de « désirabilité sociale »
Variabilité des modèles
16 MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
Intégration logicielle ◦ Module externe
◦ Création d’un « modèle » SVM
Validation de la plateforme
Publication(s)
17
Modèle
Dummy
Modèle
Empiric
Modèle RL
Modèle
RNL
SVM
MENARD Mickaël - Soutenance de stage - 09 Juillet 2014
18
[1] M. Ménard, «Rapport Intermédiaire de Master SDS - Évaluation des émotions à travers les mouvements et les bio-signaux,» Laboratoire LARIS, 2014.
[2] H. Hamdi, «Plate-forme multimodale pour la reconnaissance d’émotions via l’analyse de signaux physiologiques : Application à la simulation d’entretiens d’embauche,» Université d’Angers, France, 2012.
[3] M.-Z. Poh, N. C. Swenson et R. W. Picard, «A Wearable Sensor for Unobtrusive, Long-Term Assessment of Electrodermal Activity,» IEEE, 2010.
[4] E. . H. Meijer, F. Y. Smulders, J. E. Johnston et H. L. Merckelbach, «Combining skin conductance and forced choice in the detection of concealed information,» Department of Experimental Psychology, Faculty of Psychology, Maastricht University, Maastricht, The Netherlands, 2006.
[5] E. E. Bartolini, «Eliciting Emotion with Film: Development of a Stimulus Set,» Wesleyan University, 2011.
[6] T. Eerola, «A review of music and emotion studies: approaches, emotions models and stimuli,» University of Jyvaskyla, Jyvaskyla, Finland, 2012.
[7] S. Carvalho, J. Leite, S. Galdo-Álvarez et O. Gonçalves, «The Emotional Movie Database (EMDB): a self-report and psychophysiological study.,» Neuropsychophysiology Lab Cipsi, School of Psychology, University of Minho, Campus de Gualtar, Braga, Portugal., 2012.
[8] J. D. Bednarski, «Eliciting Seven Discrete Positive Emotions Using Film Stimuli,» Vanderbilt University, March 29, 2012 .
[9] A. Schaefer, F. Nils, X. Sanchez et P. Philippot, «A multi-criteria assessment of emotional films,» University of Louvain, Louvain-La-Neuve, Belgium., 2004.
[10] S. Visa, B. Ramsay, A. Ralescu et E. van der Knaap, «Confusion Matrix-based Feature Selection,» College of Wooster, Wooster, OH, 2010.
[11] G. Baudoin et J.-F. Bercher, «Transformée de Fourier Discrète,» École Supérieure d’Ingénieurs en Électrotechnique et Électronique, 2001.
[12] C.-W. Hsu, C.-C. Chang et C.-J. Lin, «A Practical Guide to Support Vector Classi,» National Taiwan University, Taipei 106, Taiwan, 2010.
[13] The University of Waikato, «Machine Learning Group,» [En ligne]. Available: http://www.cs.waikato.ac.nz/ml/index.html. [Accès le 3 Juin 2014].
[14] Platt, John C.;Microsoft Research, «Fast Training of Support Vector Machines using Sequential Minimal Optimization,» Redmond, WA 98052, USA, 2000.
MENARD Mickaël - Soutenance de stage - 09 Juillet 2014