生体情報を用いた感情の推定・制御手法と応用

芝浦工業大学 工学部 情報工学科

教授 菅谷みどり

2019年 6月13日

2019/6/13 JST新技術説明会 1

感情推定技術のニーズ

• 人がどのように感じたか？多様化の時代– 人がどのような感想（印象）を持ったのか？詳細に知るニーズ

• 率直な気持ちを知りたい– 製品テスト

– CM評価

• 人のリアルタイムの反応が知りたい– ドライバーの状態推定

– ロボットの印象評価

2019/6/13 JST新技術説明会 2

製品テスト- 精密測定，成分分析，定量分析ではなく，人の印象に

かかわるテストが求められる

CM評価- 20項目を超える印象を選択- 新鮮な，ムードがない，説得力のある etc.. （因子分

析）.

ドライバーモニタリングシステム(DMS)-カメラによる動作・表情分析[1]- 発話・会話から人工知能による解析[2]

視線計測- ロボットの方をみる視線による計測

[1]オムロン株式会社 2016年6月6日 ニュースリリース ドライバー運転集中度モニタリング技術[2]トヨタ自動車 人工知能搭載車「Concept-愛」

印象は主観が強く差を統計で正規化することが難しく，大量の情報が必要リアルタイムの反応で問題改善のために主観ではなく観察情報が持ちいられる

従来技術とその問題点

• 人の情報処理の仕組み[3]からみる感情推定手法

• 文化や習慣などの差の影響が大きい• 個人ごとに多様な表現• 認知部分の経験に依存した部分の影響が大きく解析が困難

2019/6/13 JST新技術説明会 3

表情解析

行動分析

自然言語処理外部からの人の行動観察の情報分析

新技術の利点

• 人の情報処理の仕組み[3]からみる感情推定手法

• 表情では被験者の傾向によって誤差が変動する– 生体情報ではどちらの被験者も誤差は20〜25前後で安定

• 認知の差よる影響を受けづらい. 恣意的な表現が反映しない．

• センサの利用によるリアルタイム推定が可能

2019/6/13 JST新技術説明会 4

生体信号情報分析

エラー率(%) 表情解析 生体情報

被験者A 13 25

被験者B 100 22

OKAOTMvision[4]による表情からの感情解析

結果を正規化して比較

down

up

比較実験[3]

[3] Yuhei Ikeda, Ryota Horie, Midori Sugaya, Estimate Emotion with Biological Information for Robot Interaction, 21st International Conference on Knowledge-Based and Intelligent Information & Engineering Systems (KES-2017), Marseille, France, 6-8, Sep, Procedia Computer Science, Vol.112, pp.1589-1600, Year 2017.[4]画像センシング技術 製品情報. http://www.omron.co.jp/ecb/products/mobile/

Russellの円環モデル[5]

新技術の概要生体情報による感情評価手法

5

心拍・脈拍センサによる計測

脳波センサによる計測

現在の感情エリア

[5] James A. Russell, “A Circumplex Model of Affect”, Journal of Personality and Social Psychology, Vol.39, No.6, pp.1161-1178. 1980.[6] Francesco Moscato et al, “Continuous Monitoring of Cardiac Rhythms in Left Ventricular Assist Device Patients, Wiley Periodicals”, Inc. and International Center for Artificial Organs and Transplantation, 2014[7] Yuhei Ikeda, Ryota Horie, Midori Sugaya, Estimate Emotion with Biological Information for Robot Interaction, 21st International Conference on Knowledge-Based and Intelligent Information & Engineering Systems (KES-2017), Marseille, France, 6-8, Sep, Procedia Computer Science, Vol.112, pp.1589-1600, Year 2017.

本モデルを基礎とした感情分類 「生体感情評価手法」[7]

快

覚醒度（高）

不快

覚醒度（低）

「驚き」

MindWave Mobile

喜怒

哀 楽

感情の解析および分類方法の比較検証[8]

2019/6/13 JST新技術説明会 6

解析手法A において，主観との相関係数の値が約３０％高い結果となる

「感情の識別」の能力が高い人の主観評価の信憑性は高い

生体情報の分析はより詳細な感情の推測が可能- 時間による感情の変化- EQの能力に関係なく感情の推測が可能

主観評価と解析結果が一致しても有意な感情分析ではない可能性がある

ただし、感情の識別能力が高い人学生では全体の 20%

[8] Midori Sugaya, Takuya Hiramatsu, Reiji Yoshida, Feng Chen, Preliminary Stage Reaction Analysis of Audience with Bio-Emotion Estimation Method. The 1st IEEE International Workshop on Emotion and Affective Computing Interfaces and Systems (EACIS2018)), July 23-27. pp.601-605

手法1 手法2 手法3 手法4

感情のリアルタイム計測

2019/6/13 JST新技術説明会 7

0

0.2

0.4

0.6

0.8

1

0

20

40

60

80

100

不快

指標

覚醒

指標

経過時間

協力者:0001 条件(1) 指標グラフ

ミスのタイミング(縦棒) 集中度 リラックス度 不快度

開始直後に不快指標が大きく下降→不快感（高覚醒＋不快 イライラ感情

(第2象限の感情））

図 周りに誰もいない条件の計測結果 指標グラフ

計算課題時のミス発生時の感情分析

ミスの前後で低覚醒に傾きが反転（低覚醒 + 不快 疲れ，飽き感情 (第3象限の

感情) ）

走行経路上のリアルタイム感情反応分析

2019/6/13 JST新技術説明会 8

交差点

晴海交差点

新豊洲交差点

豊洲交差点

芝浦工大実験走行経路図

・訓化による影響→環状経路４周（1周10分）

・感情を想起させそうな地点→2か所の橋→4か所の交差点

春海橋

晴海大橋

脳波計

Arduino

脈拍計

実験器具を装着した姿 腕に巻き付けることのできるArduino

馴化と漫然状態

2019/6/13 JST新技術説明会 9

0

20

40

60

80

100

120

14:2

0:1

514:2

0:4

814:2

1:2

214:2

1:5

714:2

2:3

114:2

3:0

414:2

3:3

914:2

4:1

314:2

4:4

714:2

5:2

114:2

5:5

714:2

6:3

214:2

7:0

614:2

7:4

214:2

8:1

114:2

8:4

614:2

9:2

314:2

9:5

814:3

0:3

214:3

1:0

714:3

1:4

214:3

2:1

714:3

2:5

314:3

3:2

714:3

4:0

114:3

4:3

214:3

5:0

214:3

5:2

414:3

5:5

014:3

6:3

014:3

7:1

614:3

7:5

014:3

8:2

414:3

8:5

814:3

9:3

214:4

0:0

614:4

0:4

014:4

1:1

514:4

1:5

014:4

2:2

414:4

3:0

114:4

3:2

614:4

3:5

414:4

4:2

814:4

5:0

114:4

5:3

714:4

6:1

214:4

6:4

514:4

7:1

914:4

7:4

914:4

8:1

714:4

8:5

214:4

9:2

714:5

0:1

114:5

0:4

514:5

1:1

214:5

1:4

714:5

2:2

214:5

2:5

714:5

3:3

214:5

4:0

614:5

4:4

114:5

5:1

514:5

5:4

914:5

6:2

214:5

6:5

414:5

7:2

614:5

7:5

814:5

8:4

314:5

9:1

514:5

9:4

715:0

0:1

2

１周目 ３周目２周目 ４周目

退屈（漫然状態）

120

100

80

60

40

20

0

1周目 2周目 3周目 4周目

退屈（漫然状態）の想起回数 17回 28回 40回 21回

0

10

20

30

40

50

感情値

訓化と漫然の関係

120

100

80

60

40

20

0

感情値

0

20

40

60

80

100

120

14:2

0:1

514:2

0:4

814:2

1:2

214:2

1:5

714:2

2:3

114:2

3:0

414:2

3:3

914:2

4:1

314:2

4:4

714:2

5:2

114:2

5:5

714:2

6:3

214:2

7:0

614:2

7:4

214:2

8:1

114:2

8:4

614:2

9:2

314:2

9:5

814:3

0:3

214:3

1:0

714:3

1:4

214:3

2:1

714:3

2:5

314:3

3:2

714:3

4:0

114:3

4:3

214:3

5:0

214:3

5:2

414:3

5:5

014:3

6:3

014:3

7:1

614:3

7:5

014:3

8:2

414:3

8:5

814:3

9:3

214:4

0:0

614:4

0:4

014:4

1:1

514:4

1:5

014:4

2:2

414:4

3:0

114:4

3:2

614:4

3:5

414:4

4:2

814:4

5:0

114:4

5:3

714:4

6:1

214:4

6:4

514:4

7:1

914:4

7:4

914:4

8:1

714:4

8:5

214:4

9:2

714:5

0:1

114:5

0:4

514:5

1:1

214:5

1:4

714:5

2:2

214:5

2:5

714:5

3:3

214:5

4:0

614:5

4:4

114:5

5:1

514:5

5:4

914:5

6:2

214:5

6:5

414:5

7:2

614:5

7:5

814:5

8:4

314:5

9:1

514:5

9:4

715:0

0:1

2

１周目 ３周目２周目 ４周目

喜び（第一象限）

120

100

80

60

40

20

0

強い第１象限感情を連続して観測

2019/6/13 JST新技術説明会 10

馴化と漫然状態（第一象限）

緊張状態の感情

高覚醒, 不快(第二象限）の感情

2019/6/13 JST新技術説明会 11

0

10

20

30

40

50

60

70

80

90

100

14:1

4:0

814:1

4:4

414:1

5:2

814:1

6:1

614:1

7:0

514:1

7:3

914:1

8:1

614:1

9:0

414:1

9:5

314:2

0:4

014:2

1:2

614:2

2:1

414:2

3:0

014:2

3:4

814:2

4:3

414:2

5:2

114:2

6:1

114:2

6:5

714:2

7:4

614:2

8:2

814:2

9:1

814:3

0:0

614:3

0:5

314:3

1:4

214:3

2:3

014:3

3:1

814:3

4:0

514:3

4:4

914:3

5:2

114:3

6:0

014:3

6:5

414:3

7:5

014:3

8:3

714:3

9:2

314:4

0:1

014:4

0:5

814:4

1:4

614:4

2:3

314:4

3:1

814:4

3:5

414:4

4:4

014:4

5:2

814:4

6:1

514:4

7:0

214:4

7:4

614:4

8:2

614:4

9:1

414:5

0:1

114:5

0:5

414:5

1:3

914:5

2:2

614:5

3:1

414:5

4:0

214:5

4:4

914:5

5:3

614:5

6:2

214:5

7:0

614:5

7:4

914:5

8:4

714:5

9:3

115:0

0:0

915:0

0:3

615:0

1:1

515:0

1:5

915:0

2:4

3

車線変更禁止区間で前方にトラックが割り込む

運転開始直後に頻繁に中程度の緊張を観測

同じ区間で緊張が観測された

100

90

80

60

40

20

0

70

50

30

10

感情値事前の車線変更

人とロボットの共生社会

人に好印象を与えるロボットが必要

• 人と人のパーソナルスペース[1]

• 人とロボットのパーソナルスペース

2019/6/13 JST新技術説明会 12

密接距離(~0.45m)家族・恋人

個体距離(0.45~1.20m)友達

公衆距離(3.60m~)講演

社会距離(1.20~3.60m)上司

定義されていない

周りを囲む見えない境界親密さによって変化[9]

侵害不快[10]

パーソナルスペース(PS)人とロボットの心地よい距離

[9] Edward T．Hall: “The Hidden Dimension”, Doubleday Publishing, 57-71p, 1966[10]八重澤敏男, 吉田富二雄: ”他者接近に対する生理・認知反応 –生理指標・心理評定の多次元解析– . 心理学研究. 52,166-172p, 1981

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

16:0

0:1

616:0

0:1

716:0

0:1

816:0

0:1

916:0

0:2

016:0

0:2

116:0

0:2

216:0

0:2

316:0

0:2

416:0

0:2

516:0

0:2

616:0

0:2

716:0

0:2

916:0

0:3

016:0

0:3

116:0

0:3

216:0

0:3

316:0

0:3

416:0

0:3

516:0

0:3

616:0

0:3

716:0

0:3

816:0

0:3

916:0

0:4

016:0

0:4

116:0

0:4

316:0

0:4

416:0

0:4

516:0

0:4

616:0

0:4

716:0

0:4

816:0

0:4

916:0

0:5

016:0

0:5

116:0

0:5

216:0

0:5

316:0

0:5

416:0

0:5

516:0

0:5

716:0

0:5

816:0

0:5

916:0

1:0

016:0

1:0

116:0

1:0

216:0

1:0

316:0

1:0

416:0

1:0

516:0

1:0

616:0

1:0

716:0

1:0

816:0

1:1

016:0

1:1

116:0

1:1

216:0

1:1

3

生体感情の大きさ

時間[s]

楽しい 興奮 驚き 緊張 不愉快 退屈 落ち着き 眠気

ロボット移動に伴う生体感情の分析例

• 生体感情の推移例（実験協力者A）– 速度0.2[m/sec]（遅い）

2019/6/13JST新技術説明会

13

前進開始（00.26）

停止（00.43）

後退開始（00.52）

動作終了（01.08）

主観PS

驚き上昇

動作①0.1[m/sec]

動作②0.2[m/sec]

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

16:0

0:1

616:0

0:1

716:0

0:1

816:0

0:1

916:0

0:2

016:0

0:2

116:0

0:2

216:0

0:2

316:0

0:2

416:0

0:2

516:0

0:2

616:0

0:2

716:0

0:2

916:0

0:3

016:0

0:3

116:0

0:3

216:0

0:3

316:0

0:3

416:0

0:3

516:0

0:3

616:0

0:3

716:0

0:3

816:0

0:3

916:0

0:4

016:0

0:4

116:0

0:4

316:0

0:4

416:0

0:4

516:0

0:4

616:0

0:4

716:0

0:4

816:0

0:4

916:0

0:5

016:0

0:5

116:0

0:5

216:0

0:5

316:0

0:5

416:0

0:5

516:0

0:5

716:0

0:5

816:0

0:5

916:0

1:0

016:0

1:0

116:0

1:0

216:0

1:0

316:0

1:0

416:0

1:0

516:0

1:0

616:0

1:0

716:0

1:0

816:0

1:1

016:0

1:1

116:0

1:1

216:0

1:1

3

生体感情の大きさ

時間[s]楽しい 興奮 驚き 緊張 不愉快 退屈 落ち着き 眠気

ロボット移動に伴う生体感情の分析例

• 生体感情の推移例（実験協力者A）– 速度0.2[m/sec]（遅い）

2019/6/13JST新技術説明会

14

前進開始（00.26）

停止（00.43）

後退開始（00.52）

動作終了（01.08）

主観PS

緊張/不愉快最大

動作①0.1[m/sec]

動作②0.2[m/sec]

[11]鈴木 翔大, 他, 共用型ロボットにおける生体計測による感情推定を用いた 動的自律位置調整による印象改善手法, 情報処理学会，情報処理学会,ヒューマンコンピュータインタラクション研究会第182回研究会, 3月2019年.

通常観測が難しいリアルタイムの印象評価を把握することが可能 パーソナルスペースの自動調整[11]

工業製品への応用声がけロボットの研究開発[12]

• 実験• 気持ちにより，異なる声がけフレーズ

• 複数動作パターンで比較

2019/6/13 15

不快の場合(pNN50 < 0.23)

快の場合(pNN50 >= 0.23)

開始時 よろしくお願いします 今日も頑張りましょう

歩行途中少し休みますか

嬉しそうですね私も嬉しいです

焦らなくても大丈夫ですよ もう少しですよ

終了時 この調子で少しずつやっていきましょう また明日よろしくお願いします

ロボットの動作パターン動作

声かけ(生体情報に基づく) フォローアップ

．移動のみ × ×

．移動+声かけ ○ ×

．移動+フォローアップ × ○

．移動+声かけ+フォローアップ ○ ○

表 快不快に応じた声がけ

表 比較動作パターン

表快

不快

値(p

NN50)

[12] Teppei Ito, Reiji Yoshida, Yoshito Tobe, Midori Sugaya, Supportive Voice-Casting Robots using Bio-Estimated Emotion for Rehabilitation, Intelligent Environments 2019, to be appeared.

実験結果

2019/6/13 JST新技術説明会 16

Ⅲ(移動+フォローアップ)とⅣ(移動+フォローアップ+声かけ)との間で，生体情報：有意傾向 (p < 0.10)(図9)，主観評価：有意(p < 0.01)[11]

Ⅰ(移動)とⅡ(移動+声かけ)との間には有意傾向が見られない 生体情報にあわせた支援的な声かけが有効であることが示唆された[12]

図2 ⅢとⅣのt検定結果(主観)

0

10

20

30

40

50

60

70

pNN50の

平均

変化率

(%)

パターンⅢ パターンⅣ*

* : p < 0.10

図1 ⅢとⅣのt検定結果(生体情報)

声かけの有無

快不

快値

の平

均変

化率

(%)

覚醒度の考慮[13]

• 感情の判定（快/不快＋覚醒度）– 不快の分類の必要性 怒り(第二象限）に励ましは逆効果では？

• 怒りor退屈

• 緊張or悲しみ

2019/6/13 JST新技術説明会 17

[13] Koudai Matsumoto, Midori Sugaya et al, Emotion Aware Voice-Casting Robot for Rehabilitation Evaluated with Bio-signal Index, Human Computer Interaction International 2019 (HCII 2019), LNCS, to be appeared.

計測結果からも，第2象限（高覚醒度，不快：イライラ．怒り）感情時の声がけは不快となることが示唆された

2019/6/13 JST新技術説明会 19

100-100

100 興奮緊張

苛立ち

悲しみ

退屈

だらけ

-100

脳波指標

(

)*100

脈拍指標

(

)*100

弛緩

眠気

0

副交感神経と相関がある[15]

交感神経と相関がある[15] β波と相関がある[16]

α波と相関がある[16]

[14]川上洋平, 他, 生体情報を用いた感情分類および色彩を用いた感情の安定化手法の提案, 情報処理学会, HCI研究会, 3月18日, 東京, 2019年.[15]張禎.“色彩環境の変化が身体運動能力に及ぼす影響”.人間発達学研究.2014,第5号,p.23‒29[16]三島孔明.“色彩と脳波特性に関する基礎的研究”.造園雑誌.1990,54巻5号,p.108-113

色彩を用いた感情の安定化[14]

観測された感情原点方向へ感情を移動させる

感情の安定した状態

図5 脳波指標に関する主成分分析の結果

• 疲労度が高い実験協力者を対象(5人)

• 第1主成分軸- 8色すべてに正の相関

• 第2主成分軸- 心理四原色 (赤,緑,黄,青)

→ 正の相関

- 中間色 (橙,黄緑,緑青,紫)

→ 負の相関

2019/6/13 JST新技術説明会 20

脳波指標の主成分分析

-1.000

-0.800

-0.600

-0.400

-0.200

0.000

0.200

0.400

0.600

0.800

1.000

-1.000 -0.500 0.000 0.500 1.000

第2主

成分

軸第1主成分軸

疲労度の高い実験協力者に関して,心理４原色は覚醒,中間色は眠気の影響が示唆された

実用化に向けた課題

• 現在，脳波，心拍により感情推定を行い，工学的に様々な形で利用可能な形とした．ただし，反応潜時の違いの考慮や，アプリケーションに応じた幅広い世代を対象とした実証実験，計測が必要である．

• 非接触計測器での精度評価はニーズはあるものの，十分にセンサの比較が吟味できていない．心拍指標のみを利用した覚醒度評価は検討中．

– アプリケーションの特性にあった計測の例

• e.g 食品評価– 反応潜時の違いの考慮

– 評価指標の検討，パフォーマンステストなどとの組み合わせ

– 多チャンネル脳波計測器の利用

2019/6/13 JST新技術説明会 21

企業への期待

• 人の感情反応/感性評価が必要な分野での評価に興味がある企業との共同研究

• 人のリアルタイムな感情反応を反映した製品の共同開発

• 非接触または軽量なウエアラブル機器にて覚醒度を計測する機器の共同開発

2019/6/13 JST新技術説明会 22

本技術に関する知的財産

2019/6/13 JST新技術説明会 23

発明の名称：感情推定システム，および感情推定装置出願番号 ：2019-091325出願人 ：学校法人 芝浦工業大学発明者 ：菅谷 みどり、池田 悠平、川上 洋平

お問い合わせ先

• 芝浦工業大学

–研究推進室 研究企画課

–産学官連携コーディネータ

–青木 昭彦• TEL 03-5859-7180

• e-mail aoki.akihiko@ow.shibaura-it.ac.jp

2019/6/13 JST新技術説明会 24