エージェントを用いた環境知能システムのデザイン

北海道大学 大学院情報科学研究科ヒューマンコンピュータインタラクション研究室

小野哲雄

2

北大のキャンパスは広い！

本日の講演予定

5

今日の講演予定 背景と概要：

ヒューマンエージェントインタラクションとは？ ロボット研究の背景と現状、将来像

私が関わってきたロボット研究： コミュニケーションロボットの実装とフィールド実験 ソフトウェアロボット（エージェント）の実現 アンドロイドロボットの実現と評価 肩のりロボットによる遠隔地コミュニケーションの支

援 環境知能システムのデザイン：

複数ロボットの共同注視を用いた注意誘導システム 社会的関係性に基づく文脈適応的インタフェース

6

ロボットの将来像 近い将来、ヒューマノイドロボットが人間に交じって、

街中を歩く姿が普通に見られるようになる？！ 人間社会に参加するロボットにはどのような機能が必

要となる？ 社会参加型ロボットの動作機構やソフトウェアシステ

ムを考えてみよう！

ヒューマンエージェントインタラクション（ HAI ）とは、人間とエージェント（ロボット）間のインタラクション設計に関する新しい研究分野

人間とエージェントが上手くつきあっていくにはどうすればよいか？

人間がエージェントに飽きないようにするにはどうすればよいか？

人間がエージェントをどのように感じるか？ 人間（社会）にエージェントが受け入れられるため

には，どうすればよいか？ 人間と協調作業するエージェントは実現可能か？ エージェントが人間に合わせるべきか，逆に人間が

エージェントに合わせるべきか？ エージェントを介した人間同士の豊かなコミュニ

ケーションはどのように実現できるか？ 家電をエージェント化すると何が起こるか？　

9

ロボット研究の概要

10

機械工学・制御理論に基づくロボット

「工場型ロボット」 自動車の組み立てライン、工作機械など 制御理論：

数学的に記述可能 環境は変わらない 決められた動作のみ行う 人間とのコミュニケーションは不要

11

近年のロボット研究 「社会参加型ロボット」

• 環境は動的に変化する• 自分で判断することが必要（自律性）• 臨機応変の動作が必要• 数学的に記述できない（フレーム問題）• 人間とのコミュニケーション必要

12

現在行われているロボット研究

認知発達ロボティクス： Infanoid (NICT) 感情を表現できるロボット： Kismet (MIT) 会話に参加できる社会ロボット： Robita ( 早稲

田大 ) コミュニケーション指向ロボット： Robovie

(ATR)

私が関わってきたロボット研究

ロボットに研究を紹介してもらおう！

認知システムキーワード： HRI 、身体

性、同期現象、 entrainment 、計算知能、コミュニケーション

社会システムキーワード： 模

倣、 Meme 、伝播、マルチエージェント、

実験

インタラクティブシステム

キーワード： HAI 、 ITACO 、インタ

フェース、エージェント、アンビエント、ベイジアン

ネット

アンドロイドサイエンス

キーワード： アンドロイド、遠隔存在感メディア、脳科学、認知科学、ロ

ボット工学

15

これまでの研究の紹介

私が関わってきたロボット研究：1. コミュニケーションロボットの実装とフィー

ルド実験2. ソフトウェアロボット（エージェント）の実

現3. アンドロイドロボットの実現と評価4. 肩のりロボットによる遠隔地コミュニケー

ションの支援

16

もう少しわかりやすく言うと．．．

私が関わってきたロボット研究：1. 『鉄腕アトム』を作りたい！2. 『ピョン吉』（ど根性ガエル）を作りた

い！3. 人にそっくりの『アンドロイド』を作り

たい！4. 『チャッピー』（宇宙少年ソラン）を作

りたい！

17

実際に研究で用いたロボット

18

『鉄腕アトム』を作りたい！

コミュニケーションロボットの

実装とフィールド実験

19

コミュニケーションロボットの動作機構

コミュニケーション指向ロボット

Robovie R3

21

コミュニケーションロボットのソフトウェアとセンサシステム

コミュニケーションロボットの応用：

認知システムの研究

認知システムの研究（１） 共創対話のモデル

目的：コミュニケーションにおける情報伝達のメカニズムを解明

提案：同調的な身体動作（模倣）によりボトムアップに構築される情報伝達のモデルを提案

考察：ロボットが人間社会に参加する際の「身体性」の重要さ

認知システムの研究（２） 共創対話のモデル　　　　同調的な身体動作を基礎として、ボトムアップに

構築される情報伝達（共創）のモデル 共有視点　　 正確な情報の伝達・・・ (1) 構築された関係　　 共有視点の獲得・・・ (2) 同調的な身体動作　　 関係の構築・・・ (3)

認知システムの研究（３）

ロボット身体動作なし　　　　　人：身体動作なし、情報：伝わらない

ロボット身体動作あり　　　　　人：身体動作あり、情報：伝わる

道案内実験： ロボットから人への情報伝達

認知システムの研究（４）

MCS を用いたリアルタイムの同調的な身体動作（模倣）

発話の円滑化 発話が円滑ではない

道案内実験： 人からロボットへの情報伝達

認知システムの研究（５）：脳活動計測

方法：光トポグラフィ 近赤外光を照射・計測 大脳皮質の神経活動（頭部３０mm ） 血中の酸化・還元ヘモグロビン測定（８０

０ nm ）

28

まとめ（１）：『鉄腕アトム』を作りたい！

人間社会に参加するロボットに必要な機能

自然言語による対話能力 身体に根差したコミュニケーション

能力（「身体性」）

29

『ピョン吉』を作りたい！

ソフトウェアロボット（エージェント）の実現

エージェントを用いた環境知能システム

ITACO システム（１）

エージェントを用いた環境知能システム

ITACO システム（２）

エージェントの研究（１）

ITACOプロジェクト 目的：人と人工物の間に新しい関係を構築⇒人の日常生活を支

援 要点：ユーザの選好、趣味、価値観を理解しているエージェントが環

境内にあるさまざまなメディアに移動（ migration ）することにより、ユーザに対して、文脈に応じた適切な支援を行う　

　　　 [ ビデオ ]

エージェントの研究（２） エージェントのソフトウェア構造の概要（ 3 層構造）

Agent Personality (AP): ユーザに関連した知識、学習機構、発話認識機構など上位の処理システム

Agent Core (AC): ユーザ情報とその場所の情報を統合し、エージェントの行動などを生成するシステム

Agent Shell (AS): 物理デバイスの制御、センサからの情報取得

エージェントの研究（３） インタラクション実験

目的：人と人工物の間に新しい関係を構築⇒被験者の行動にどのような変化が表れるだろうか？

35

まとめ（２）：『ピョン吉』を作りたい！

人間社会に参加するロボットに必要な機能

擬人化されやすい外観 ユーザと「関係性」を構築する能力

36

『アンドロイド』を作りたい！

アンドロイドロボットの実現と評価

（ with 阪大、 ATR ）

37

アンドロイドロボット（５）

アンドロイドサイエンスの研究（６） トータルチューリングテストにおいて、“不気味の谷”をいかに超えるか？

39

アンドロイド・サイエンス（１） 人間と酷似したアンドロイドを用いて人

間との関係構築における基本問題を研究する

　　　⇒　トータルチューリングテスト

40

まとめ（３）：『アンドロイド』を作りたい！

人間社会に参加するロボットに必要な機能

人間とそっくりの外観？ 人間と同様の「存在感」？

41

『チャッピー』を作りたい！

肩のりロボットによる遠隔地コミュニケーションの

支援(with 慶應、 ATR)

42

研究の背景 テレビ電話やビデオチャットの普及 　 遠

隔地の相手との映像情報を使った対話が可能

しかし、実際に対面しているときのような相手の存在感を感じない

向かい合わせのカメラ映像だけでは、相手の状況を把握することが困難

円滑なコミュニケーションを行ううえで、遠隔環境と対面環境とでは大きな格差がある 対面対話

　　　 vs.　　遠隔対話

43

肩のりロボットのコンセプト 遠隔コミュニケーションのための肩のりロ

ボット（アバタ）を提案 操作者の存在感を提示 肩に装着し、視線の共有 表情を変える（擬人化）

44

肩のりロボットのシステム構成

45

まとめ（４）：『チャッピー』を作りたい！

人間社会に参加するロボットに必要な機能

「共有感」・「臨場感」（視線、指差し、雰囲気などの共有）

第三者への「存在感」の提示

エージェントを用いた環境知能システムのデザイン

47

環境知能とは？：神の視点、虫の視点

環境を情報技術によって知能化すること 環境は制御の対象 ハードウェアやデバイスの開発中心 例：ユビキタスコンピューティング、 Ubicomp

知能を支える環境を作ること 主体と環境の一体化 相互作用の中で知能を考える 「認知的インタラクションデザイン学」の立

場

　　　　　　“関係”　“社会性”

48

現在進めている研究の概要 “めっちゃ感じの悪い”ロボット　　“関係

性” “ 空気を読む”ロボット　　“社会性”

　　知能を支える環境を作る＝環境知能システム

複数ロボットの共同注視を用いた注意誘導システムの研究

50

“めっちゃ感じの悪い”ロボット（１）

51

“めっちゃ感じの悪い”ロボット（２）

52

背景と先行研究 環境知能システムをデザインする際の「視線」の重要性

科学的重要性：共同注視、心の理論（ Premack 1978, Baron-Cohen 1985 ）

工学的重要性：視線誘導（注意誘導）に注目 先行研究（ Hoque 2011 ）：

アイコンタクトの後に視線誘導　　　誘導率の向上

53

複数台のロボットによる共同注視

オブジェクトを共同注視する　　認識の共有（注視対象への引き込み）

人を共同注視する　　関係の構築（場・コンテクストへの引き込み）

54

実験１：引き込み効果 場への引き込み効果：

1. ロボット 2体が人工言語で会話

2. 被験者を共同注視 or 共同注視なし

3. テーブルのオブジェクトを共同注視

4. ロボット 2体は会話を継続

共同注視あり条件：オブジェクトを正確に推測

人工言語の解釈の試み

1.2m2m

2m2m

没入感向上

55

実験１：場への引き込み効果

56

実験２：同期・非同期の効果 注視対象への引き込み：

ロボット 2体が｛ 同期 | 非同期 ｝でオブジェクトを共同注視

被験者は 2体の見ているオブジェクトを推測

結果： 同期した共同注視は正答率

が高い 非同期の方がわかりやすい

と回答？

57

実験２：引き込み効果

58

まとめ 実験結果：

被験者を共同注視することで没入感 2体が同期して共同注意　　　注視対象を正確に推測

被験者は非同期の方がわかりやすいと感じた 環境知能システムのデザインへの貢献：

「場」への引き込み 視線の誘導

コミュニケーションの「膜」“ Membrane of Communication” as a Creative Interface based on

Social Relationship

Background Previous studies: Personal space (Hall

1970), Social Space (Sommer 1970) Definition:

Personal space is the region surrounding a person which they regard as psychologically theirs

Social space is physical or virtual space where people gather and interact

Others: Autopoiesis (Maturana & Varela 1973, Luhmann 1987, Luigi Luisi 2006) P-system (Gheorghe 1998) 60

Intimate Space (<0.5m)

Personal Space (0.5m – 1.5m)

Social Space (1.5m – 3.0m)

Motivation Robot systems which can recognize social

relationship Interface systems which can support creative

communication between human-human

“Membrane of Communication” as a Creative Interface based on Social Relationship

Inspired by Social Space and Membrane 61

Related Works Weightless walls and the future office

(Takeuchi 2010) Creates artificial visualized boundary lines

projected by LCD in an open-plan office Cancels noises outside the divided space

62

Outline of Our Proposed System

Our proposed system can recognize social spaces autonomously

without sensors embedded in an environment

support human-robot and human-human communications by augmenting the informational function of the space

63

System (1): Unit of the System

64

Head set

Unit = headset + smartphone

Voice

Distance (RSSI value)Body’s orientation（ Direction sensor ）

System (2): Activity of Communication

65

Voice inputs

Detect voiced sections

Calculate quantity of user A’s voice

UserA-UserBActivity of

communication

UserA-UserBActivity of

communication

Calculate quantity of user B’s voice

Length of overlap period ⇒ activity of communication

System (3): Exchange information, i.e., activity of

communication, distance, body’s orientation, among units using ad-hoc communication

66

System (4): Spreading Activation Model

Recognition of social space using spreading activation model

67

68

System (5): Video

Personal Space ⇒ Spreading Activation Model ⇒ Forming Social Space ⇒ Personal Space

69

Application (1): Robotic System

Realization of robot’s context-adaptive behaviors

W/o system ⇒ Not recognize the social space, invades the space

With system ⇒ recognize the social space, avoids this space

Application (2): Robotic System Realize that robot can feel the mood

W/o system ⇒ Not detect the activity of communication, interrupt them

With system ⇒ detect the activity, talk to them when it is low

70

71

Application (3): Human-Human Communication

Only in the same social space, they can share the information and activate their conversation using it

Outside the space, a person cannot share it

Discussion & Conclusions (1): Augmented Sociality and Our Research

What is Augmented Sociality?: “Sociality” is important for the symbiosis

between humans and artificial systems Interactive systems have to recognize the

social relations and manage/control it

Contributions of Our Research: Robots can recognize the social space based

on the social relation Robots can join the communication space

feeling the mood Humans can activate their communication

guarding their privacy in the augmented social space

72

Discussion & Conclusions (2) Limitations:

Robots have not moved in our daily life yet Smart phone has some limitations: Low abilities of

recognition and data communications Is it possible to use a metaphor of “biological

membrane”?

Future Works: Developing other useful functions for our daily

work Investigating a new proto-type board for mobile

device I don’t know . . . , but I am very interested in

Luhmann’s works 73

74

今日の講演のまとめ 背景と概要：

ヒューマンエージェントインタラクションとは？ ロボット研究の背景と現状、将来像

私が関わってきたロボット研究： コミュニケーションロボットの実装とフィールド実験 ソフトウェアロボット（エージェント）の実現 アンドロイドロボットの実現と評価 肩のりロボットによる遠隔地コミュニケーションの支

援 環境知能システムのデザイン：

複数ロボットの共同注視を用いた注意誘導システム 社会的関係性に基づく文脈適応的インタフェース

おわり

75