心拍による情動スペクトルの推定 -...
TRANSCRIPT
-
心拍による情動スペクトルの推定
名古屋市立大学
大学院医学研究科 医学・医療教育学分野
教授 早野 順一郎
-
心臓の拍動間隔には1拍ごとの変動がみられるが、その
起源は脳にあり、自律神経を通じて心臓に伝達されている。
映画の様々なシーンにおける観客の心拍の変動パターン
を解析した結果，情動のスペクトルを心拍から推定できるこ
とが分かった。
研究の概要
-
心拍変動とは?
心臓の拍動間隔の生理的な変動
心拍変動 ＝ 生理的不整脈 ＝ 生理的洞性不整脈
3
-
心拍変動を可視化するVisualization
心電図のN-N間隔を測ってグラフにする
N-N間隔 = 連続する洞調律のR-R間隔
変動の大きさや特徴を定量化する．
4
-
5
心拍変動のvisualization
-
HRV
Physiological fluctuations in inter-beat interval of cardiac sinus rhythm
6
HRV can be visualized by the time series of R-R intervals.
心拍変動のvisualization
-
0 20 40 60 80 100 120
R-R
in
terv
al
ms
400
600
800
1000
1200
Time, sec
0 20 40 60 80 100 120
400
600
800
1000
1200
0 20 40 60 80 100 120
400
600
800
1000
1200
Time, sec
0 20 40 60 80 100 120
R-R
in
terv
al
ms
400
600
800
1000
1200
Healthy at rest Healthy duringmental stress
Healthy during exercise
Congestive heart failureat rest
様々な状態の心拍変動
心拍変動の特徴
7
-
情動の二次元スペクトルCircumplex model of affect
Posner J, Russell M, and Peterson B. Dev Psychopathol 17, 715-34, 2005 より
AROUSAL
VALENCE
Activation
Deactivation
Pleasant
Unpleasant
HAPPY
RELAXED
ANGRY
SAD
alert
excited
elated
happy
content
serene
relaxed
calm
tense
nervous
stressed
upset
sad
depressed
fatigued
bored
-
方法
1. 健常成人を対象に，様々な情動を惹起することが期待される映画を見てもらい、その間の心電図を連続記録。
2. 映画を見ている間に、以下の情動を自覚した時に、対応するボタンを押してもらう。
①喜び，②心配，③驚き，④悲しみ，⑤嫌悪，⑥怒り
3. 心電図より1拍ごとのR-R間隔時系列をもとめ，その変動のcomplex demodulationによって，低周波数(LF，0.04-0.15 Hz)成分振幅および高周波数(HF，0.15-0.45 Hz)成分振幅の時系列を連続関数として計算
4. 各ボタンが押された前後5分間のR-R間隔，LF振幅およびHF振幅の時系列を自動抽出し，情動の種類ごとにsignal averagingを行って心拍およびその変動成分の変化パターンの特徴を抽出
5. パターンの機会学習によって，情動の2次元スペクトル上の座標を推定するシステムを構築
-
Circumplex model of affect
AROUSAL
VALENCE
Activation
Deactivation
Pleasant
Unpleasant
HAPPY
RELAXED
ANGRY
SAD
alert
excited
elated
happy
content
serene
relaxed
calm
tense
nervous
stressed
upset
sad
depressed
fatigued
bored
①喜び
②心配
⑥怒り
⑤嫌悪
④悲しみ ③驚き
方法
1. 映画鑑賞中の情動を、その種類に応じて、2
次元スペクトル上の適切と考える位置に配置し，そのvalenceとarousalの座標を決める。
2. 各情動が生起したいときのR-R間隔、LF振幅，HF振幅のsignal averagedデータのパ
ターンから、情動スペクトル座標を推定するモデルを構築。
-
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
喜び N=7 心配 N=16 驚き N=9
悲しみ N=10 嫌悪 N=3 怒り N=2
Event 喜び 心配 驚き 悲しみ 嫌悪 怒り
N 7 16 9 10 3 2ALLSignal Average RRI
-
喜び 心配 驚き
悲しみ 嫌悪 怒り
Event 喜び 心配 驚き 悲しみ 嫌悪 怒り
N 7 16 9 10 3 2ALL
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
Signal Averaged LF amplitude
-
喜び 心配 驚き
悲しみ 嫌悪 怒り
Event 喜び 心配 驚き 悲しみ 嫌悪 怒り
N 7 16 9 10 3 2ALL
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
Signal Averaged HFamplitude
-
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
喜びN=7
心配N=16
Signal Averaging
RRI
0
20
40
60
80
-300-240-180-120-60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
LF HF
-
驚きN=9
悲しみN=10
Signal Averaging
RRI LF HF
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
-
嫌悪N=3
怒りN=2
Signal Averaging
RRI LF HF
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
600
700
800
900
-300-240-180-120 -60 0 60 120 180 240 300
RR
I(m
s)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
20
40
60
80
-300-240-180-120 -60 0 60 120 180 240 300
LF_a
mp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
0
10
20
30
40
-300-240-180-120 -60 0 60 120 180 240 300
HF_
amp
(ms)
Time(sec)
-
Circumplex model of affect
AROUSAL
VALENCE
Activation
Deactivation
Pleasant
Unpleasant
HAPPY
RELAXED
ANGRY
SAD
alert
excited
elated
happy
content
serene
relaxed
calm
tense
nervous
stressed
upset
sad
depressed
fatigued
bored
①喜び
②心配
⑥怒り
⑤嫌悪
④悲しみ ③驚き
結果
心拍による情動スペクトルの推定モデルとして、
1. Arousal軸の座標を、R-R間隔とHF振幅のレベルから推定するモデル
2. Valence軸の座標を、R-R間隔およびその変
動指標のパターンから推定するモデル
を作成した。
-
情動と心拍変動との関連は従来から研究されているが、
それらは心拍変動の自律神経指標と、ストレスやリラクセイ
ションとの関連に関するものであり、情動の種類の識別を
試みたものはない。本法は、従来の心拍変動指標ではなく
心拍やその変動成分の変動様式から情動の種類を推定す
るものである。
従来の研究との比較
-
1. 心拍の時間的変動パターンから情動を判定する。
2. 心拍変動パターンから情動の種類を推定する。
3. 情動反応の経時的な変化を追跡する。
新技術の特徴
-
1. 音楽、ドラマ、映画などに対する情動反応の客観的評価
2. 商品やサービスの開発におけるモニタの情動反応の客観的な把握
3. 情動障害の客観的診断
想定される研究成果の用途
-
お問い合わせ先
名古屋市立大学
社会連携センター（事務局学術課内）
ＴＥＬ 052 － 853 － 8041
ＦＡＸ 052 － 841 － 0261
e-mail ncu_renkei＠sec.nagoya-cu.ac.jp