2010/2/28

1

仮想空間と身体（その１）仮想空間と身体（その１）

ー仮想空間の誕生ーー仮想空間の誕生ー

1

仮想空間の誕生仮想空間の誕生

東京大学東京大学 大学院情報理工学系研究科大学院情報理工学系研究科

廣瀬通孝廣瀬通孝

2

バーチャルリアリティバーチャルリアリティ

3

仮想空間の誕生仮想空間の誕生

計算機技術：計算機技術：

ENIACENIAC誕生誕生 （（19461946））

4

情報技術の急速な進化情報技術の急速な進化

ムーアの法則：ムーアの法則： 計算機素子の能力は計算機素子の能力は1818ヶ月でヶ月で22倍になる。倍になる。ギルダーの法則：ギルダーの法則： 通信回線の速度は通信回線の速度は99ヶ月でヶ月で22倍になる倍になる

このような急速な高機能化とその裏返しとしてのダウンサイジンこのような急速な高機能化とその裏返しとしてのダウンサイジングが計算機という機械の特徴である。グが計算機という機械の特徴である。

5

グが計算機という機械の特徴である。グが計算機という機械の特徴である。

19801980 19901990 20002000 20102010

ＫＫ → → ＭＭ → → ＧＧ → → ＴＴ

(1,000) (1,000,000) (1,000,000,000) (1,000,000,000,000)(1,000) (1,000,000) (1,000,000,000) (1,000,000,000,000)

「バーチャルリアリティ」とは、コンピュータの作り出した空「バーチャルリアリティ」とは、コンピュータの作り出した空間の中に入り込み、そこでいろいろな体験をしようという技術間の中に入り込み、そこでいろいろな体験をしようという技術のこと。その名前が社会に登場したのはのこと。その名前が社会に登場したのは19891989年のことであるが、年のことであるが、ルーツは宇宙航空技術である。ルーツは宇宙航空技術である。

米空軍米空軍 VCASSVCASS（（19821982））

6米航空宇宙局米航空宇宙局（（NASA) NASA)

VIEWVIEW （（19871987））

VPLVPL （（19891989））

2010/2/28

2

Sketch PadSketch Pad

•• Ivan Sutherland, 1965Ivan Sutherland, 1965

•• 直接操作による計算機とのインタラクション直接操作による計算機とのインタラクション

7

Ultimate DisplayUltimate Display（究極のディスプレイ）（究極のディスプレイ）

•• Ivan Sutherland, 1968Ivan Sutherland, 1968

•• 小型小型CRTCRTによるによるSeeThroughSeeThrough型型HMDHMD

•• エンコーダで頭部の位置・姿勢を検出エンコーダで頭部の位置・姿勢を検出

8

SensoramaSensorama

•• Morton Heilig, 1963 Morton Heilig, 1963

•• an “Experience an “Experience Theatre”Theatre”

視覚 聴覚だけでな視覚 聴覚だけでな

9

•• 視覚・聴覚だけでな視覚・聴覚だけでなく風や匂いを表現すく風や匂いを表現することのできる映画ることのできる映画

VCASSVCASS

•• Tom Furness, 1982 (USAF)Tom Furness, 1982 (USAF)

•• コックピットにおける新しい情報提示手法コックピットにおける新しい情報提示手法

•• CRTCRTを利用したを利用したHMDHMD

10

Virtual WorkstationVirtual Workstation

•• Scott Fisher, 1985 (NASA)Scott Fisher, 1985 (NASA)

•• ユーザインタフェースに仮想空間を利用する試みユーザインタフェースに仮想空間を利用する試み

11

RB2 (Reality Built for Two)RB2 (Reality Built for Two)

•• VPL, 1989VPL, 1989

•• VRVRという言葉が生まれるという言葉が生まれる

•• 商用の商用のVRVRシステムシステム

12

2010/2/28

3

• 第二世代VR技術の洗練

– HMD・メガネ付き立体 → 裸眼立体視

– 触覚ディスプレイ → マルチモーダル，知覚特性応用

– CGベースVR空間 → 実世界ベースVR空間

– 閉鎖空間 → 広域，屋外，解放空間

13

第一世代VR技術

第二世代VR技術 1314

かつては大学の研究室でしか見ることのできなかった先端的なデバイスが家庭でも驚くほど安価に手に入るようになってきた。

Ｗｉｉ

セカンドライフとは、サンフランシスコに本社を置く、リンデンラボ（Linden Lab）社が運営するメタバースと呼ばれるある種のネットワークゲームの世界のこと。

セカンドライフ

セカンドライフ内では通貨(リンデンドル）が使用でき、

それは実際の通貨とも換金できる。セカンドライフ内ではもちろん、物品や土地の購入、サービスの享受など、さまざまな経済活動が行なわれている。

15

100万 - 2006年10月19日

200万 - 2006年12月18日

300万 - 2007年1月28日

400万 - 2007年2月25日

500万 - 2007年3月28日

現在、1000万を越えるアカウント数が存在している。(アカウント数イコールユーザー数ではないが)

600万 - 2007年5月2日

700万 - 2007年6月6日

800万 - 2007年7月12日

900万 - 2007年8月22日

1000万 - 2007年10月12日

•2006.10 ロイターが支局を開設。

•2007.1 IBMがSecond Life内で自社イベント（Lotusphere2007)を開催。

•2007.2 クリスチャン・ディオールがSecond Life内で新作を発表。

＜ Adam Reuter 記者

16

•2007.2 スウェーデン政府がバーチャル大使館を設立。

•2007.8 電通島｢バーチャル東京」オープン

•2007.10 日本テレビがSecond Life内で公開収録した番組(デジタルの根性）

をスタート。

150インチプラズマ

大画面プロジェクタ

17

150インチプラズマ手持ちプロジェクタ

You Tube on 4K Display

18

2010/2/28

4

仮想空間とのインタフェース

19

VR技術にはいくつかの特徴がある

Interaction：

（約束事のないインタラクション）

Data Glove

20

Presence：

（VR世界への没入）

HMD : Head Mounted DisplayHMD : Head Mounted Display

Haptic Display

Multi-Sensory Interface：（視覚以外の感覚によるインタフェース）

没入的臨場感没入的臨場感 (Presence)(Presence)：：映像世界の中に入り込む映像世界の中に入り込む

21

HMD : Head Mounted DisplayHMD : Head Mounted Display

IPT: Immersive Projection TechnologyIPT: Immersive Projection Technology

身体的インタラクション：身体的インタラクション：インタラクションにおける約束事の排除インタラクションにおける約束事の排除

22

データグローブデータグローブ

モーションキャプチャモーションキャプチャ

これまで視覚や聴覚に限定されていたコンピュータと人間との情報通信路を

それ以外の感覚にも拡大すること、五感の感じた情報をコンピュータが取得、

処理、表示するなど、コンピュータの新しい発展を目指した五感情報通信技

術が注目され始めた。

五感情報通信技術

23ウェアラブル嗅覚ディスプレイウェアラブルタイプの 触覚ディスプレイ “Haptic Gear”

CABIN :CABIN : CComputeromputer AAugmentedugmented BBooth forooth forIImagemage NNavigationavigation

24

2010/2/28

5

CABIN CABIN の側面図の側面図

25 26都市空間のウォークスルー都市空間のウォークスルー

27

CABIN は約270度の視

野角を持つ

大きな視野角は3次元

認識のために不可欠

多感覚インタフェース：多感覚インタフェース：人間の感覚スペクトル全部人間の感覚スペクトル全部を活用を活用

28

触覚ディスプレイ触覚ディスプレイ

建築空間における音響建築空間における音響シミュレータシミュレータ

五感情報通信技術

29

五感情報通信技術

五感とは

五感とはわれわれが世界を感じるための感覚すべてを指す。

われわれは、日常、いわゆる「五感」を駆使して生活している。

にもかかわらず、これまでの情報通信技術のチャネルは視覚や聴覚

に限定されてきた。

感覚の種

30

○特殊感覚

視覚、聴覚、味覚、嗅覚、前庭感覚

○表面感覚

触圧覚、温覚、冷覚、痛覚

○深部感覚

運動覚、位置覚、深部圧覚、深部痛覚

○内臓感覚

有機感覚（空腹感、吐き気）、内臓痛

2010/2/28

6

31ルービックキューブルービックキューブ

歴史的に見て、これまでの情報通信技術のチャネルは視覚や聴覚に限定されてきた。

32

視覚 聴覚 触覚 味覚 嗅覚

1800 三原色説 蝸牛の研究 点字システム サッカリン 臭素の発見1800 1851 1829 1879 1826視覚野の発見 電話の発明 運動野の発見 アスパラギン酸 プリズム説1855 1876 1870 1806 1896

1900 オフセット印刷 ラジオ実験放送 うまみの発見1903 1906 1908目の光学理論 真空管型ラジオ 味の４面体1903 1915 1916

1920 電送写真 ラジオ放送開始1924 1920TVの発明 ト キ

33

TVの発明 トーキー1925 1927

1930 電子複写法 自動電話交換 PTC味盲 性フェロモン1938 1938 1931 1931

1940 TV放送開始 臨界帯域 日本点字図書館 必須アミノ酸 ガスクロマト1941 1940 1940 1949 1941熱式複写機 LPレコード1946 1948

1950 コンタクトレンズ トランジスタラジオ 体性感覚の体部位局在 立体化学説1954 1955 1950 1952カラーTV カクテルパーティ効果 振動説1954 1953 1956

視覚 聴覚 触覚 味覚 嗅覚

1960 テレビ電話 自動車電話 across-fiber 説 同左1964 1964 1963 1963家庭用VTR 人工内耳 Sensorama1969 1964 1963

PARCOR1969

1970 カラー複写機 音声合成システム GROPE1970 1975 1976

1980 Computer Vision CD Haptic Display second messenger ガス識別システム1982 1982 1989 1988 1982Artificial Reality DAT Sensor Glove ニューラルネットに1982 1987 1989 よる臭いｾﾝｻ

34

1982 1987 1989 よる臭いｾﾝｻ1988

Virtual Reality1989

1990 CAVE MD SurfaceDisplay 味覚シグナリング蛋白1992 1992 1991 1999CABIN ViaVoice 臭い受容体遺伝子の1996 1996 クローニング 1991

2000 人工網膜 聴性脳幹インプラント インターネット接続2000 2000 可能な臭い発生装置

2000

ウェアラブルタイプの 触覚ディスプレイ “Haptic Gear”

触覚ディスプレイ

ウェアラブルタイプの 触覚ディスプレイ “Haptic Gear”

触覚ディスプレイ

35

香り発生部

制御部

嗅覚ディスプレイ

36

香りディスプレイ

香りのＴＶ／ＷＥＢ

オンラインショッピング

香り情報の伝達

2010/2/28

7

直噴型ウェアラブル嗅覚ディスプレイ

•匂い提示部

–ピエゾ式インクジェットノズル

37

•呼吸検知+匂い提示部

「バーチャルリアリティ」技術の本質は本来見え

ないもの、体験できないものを見えるように、体

験できるようにすることである。VRは可視化の

技術である。

立花隆：

百聞は一見にしかず。

解剖学解剖学

広がるVR技術

38

百見は一体験にしかず。

DNADNA解析解析数値流体力学数値流体力学

39

Thermotaxisyonakani 39

超臨場感通信

40

コンピュータ化 高臨場感

ハイビジョン

高精細度化

高品位化

超臨場感メディア

「超」臨場感メディアとは「高」臨場感メディアの次に来るメディアであって、高精細度映像や、バーチャルリアリティ（ＶＲ）などを超えて存在するメディアである。

スーパーハイビジョン

ＨＤVR

五感技術

41

テレビ

映画

マルチメディアVR

電子化

タ化

インタラクティブ化

高臨場感

身体性

立体テレビ

立体化

実体

映像化

実体型ディスプレイ

MR

立体写真

五感技術

電子化

動画化

コンピュータ化

インタラクティブ化

写真

動画化

モバイル

ウェアラブル

超 → Super

より高度のもの（連続的進化）

わゆる高臨場感の延長

「超」には2つの意味がある

42

いわゆる高臨場感の延長

→ Meta

別のもの（不連続進化）

2010/2/28

8

仮想空間を広帯域ネットワークを介して仮想空間を広帯域ネットワークを介して

共有するための技術開発。共有するための技術開発。

19971997－－20022002：総務省：総務省

臨場感通信臨場感通信

43CABIN/TokyoCOSMOS/Gifu

Gigabit Network

155Mbps

19971997－－20022002：総務省：総務省

MVL:Multimedia Virtual LaboratoryMVL:Multimedia Virtual Laboratory

日蝕体験とは太陽が欠けるところを見ることだけではない

44

ビデオアバタ・スタジオビデオアバタ・スタジオ

45

視体積交差法による３D像の創出

46

解像度2cm

３Ｄ幾何モデルの合

３Ｄビデオアバタ

47

幾何 デルの合成

多視点映像のキャプチャ

テクスチャの付加

実体型ディスプレイ による

リアルワールドビデオアバタ

実空間中に３次元映像を提示するディスプレイ。平面ディスプレイと回転機構、視野角を制限するフィルタやレンズアレイを用いて、ディスプレイ周囲の光線空間を再現することで視点依存の３次元物体の表示を実現する。

48

2010/2/28

9

多視点画像による３Dアバタ

49

•• 鏡１６Ｈｚ，土台１Ｈｚ鏡１６Ｈｚ，土台１Ｈｚ

•• 鏡１６Ｈｚ，土台４Ｈｚ鏡１６Ｈｚ，土台４Ｈｚ

水平方向水平方向鉛直方向鉛直方向

００°°

００°° ３０３０°°

３０３０°°

６０６０°° ９０９０°° １２０１２０°° １５０１５０°° １８０１８０°°

水平方向水平方向鉛直方向鉛直方向

００°°

００°° ３０３０°° ６０６０°° ９０９０°° １２０１２０°° １５０１５０°° １８０１８０°°

実体型ディスプレイ実体型ディスプレイ

50

55

３０３０°°

鏡８Ｈｚ鏡８Ｈｚ 台１Ｈｚ台１Ｈｚ 鏡６Ｈｚ鏡６Ｈｚ 台１３Ｈｚ台１３Ｈｚ 鏡１Ｈｚ鏡１Ｈｚ 台１５Ｈｚ台１５Ｈｚ

Minority Report, 2002Minority Report, 2002

51

超臨場コミュニケーション技術はどういう使命を持つのか？

短期的意味づけ

エコ･環境問題

通信技術による物理的移動の代替

52

少子高齢化問題

ジェロントロジーの一部として

高齢者のモビリティ確保

高齢者の社会参画

長期的意味づけ

空間の技術文明から時間まで含めた技術文明へ

これまでの通信技術：物理的移動の代替

これからの通信技術：物理的移動でできないことの実現

53

たとえば、タイムマシンの実現

時間と空間の合体した生活空間の実現

時差の克服

たとえば、世代間のスキル伝達

ミーム支援技術としての超臨場感技術

仮想空間と可視化

54

2010/2/28

10

「バーチャルリアリティ」技術の本質は本

来見えないもの、体験できないものを見え

るように、体験できるようにすることであ

る。VRは可視化の技術である。

立花隆：

百聞は一見にしかず。

解剖学解剖学VRVRは可視化技術であるは可視化技術である

55

百聞は 見にしかず。

百見は一体験にしかず。

DNADNA解析解析数値流体力学数値流体力学

実際に体験できない世界を、知覚可能な世界の枠組みに組み入れてくれる実際に体験できない世界を、知覚可能な世界の枠組みに組み入れてくれるという意味において、バーチャルリアリティ技術は単なるシミュレーショという意味において、バーチャルリアリティ技術は単なるシミュレーションの域を超えている。ンの域を超えている。

56特殊相対性理論の世界

57

この情報爆発時代に可視化技術の役割は大きい

複合現実（MR)技術で体験する東京水没マップ

水没後の東京都庁出典：TAMAKI’s Little Treasure<http://www.ne.jp/asahi/nob/co/tamaki/>

58

現在，私たちが解決しなければならない重要な社会問題として，地球温暖化に代表される環境問題が挙げられる．環境問題は私たちの生活と密接に関係しているにも関わらず，私たちは日頃そのような問題を身近に感じることはほとんどない．それは，例えば海面が数メートル上昇するということを，情報としては知り得ても感覚として理解することが難しいからである．バーチャルリアリティ（VR)技術，ミックストリアリティ（MR)技術を

利用すると，データとしての情報を実世界において可視化することが可能となる．言わば，「体感メディア」を作りだせるわけである．例えば，モバイルPCやGPS等を使用することで，その場所が海面上昇時にどのような姿になるかを体感することができるだろう．このゼミでは，海面上昇と「東京」という都市を切り口に，VR技

術，MR技術で体験する東京水没マップについて取り組む．

マヤ文明展・マヤ文明展・VRVRシアターシアター

IPTIPTなどによって実現された高精細度のなどによって実現された高精細度のVRVR技術は、博物館展示などのような本技術は、博物館展示などのような本

格的アプリケーション（格的アプリケーション（Serious Application) Serious Application) を可能にした。を可能にした。

仮想空間において歴史的建造物、遺跡からの出土品、当時の人々の営みなどを仮想空間において歴史的建造物、遺跡からの出土品、当時の人々の営みなどを

シミュレーションすることができる。シミュレーションすることができる。

59

VRVRで再現されたマヤ・コパン遺跡（で再現されたマヤ・コパン遺跡（2626号神殿）号神殿）

60

2010/2/28

11

VRVRで再現されたマヤ・コパン遺跡の数々で再現されたマヤ・コパン遺跡の数々 （祭壇（祭壇QQ））

61

VRVRで再現されたマヤ・コパン遺跡の数々で再現されたマヤ・コパン遺跡の数々 （石碑（石碑AA））

62

VRVRで再現されたマヤ・コパン遺跡の数々で再現されたマヤ・コパン遺跡の数々 （ロサリラ神殿）（ロサリラ神殿）

63

当時のままに復元されたコパン遺跡当時のままに復元されたコパン遺跡

64

65

実物展示の問題

• 共時性に関わる問題

• 空間的文脈の欠如• 展示の背後にある視点やコンセプトが文字でしか伝えられない

• 展示スペースの制約• 関係あるものを全て展示すると際限がなくなる

• 遺跡と遺物の分離本来は 体であるはずの遺物と遺跡が分離されている

6666

• 本来は一体であるはずの遺物と遺跡が分離されている

• 通時性に関わる問題

• 原型とは何か• 全ての時代の姿を保存・展示することはできない

• 時間的文脈の欠如• 複雑な系統樹は年表では表現できない

• 保存と展示のジレンマ• モノは展示すれば痛む。特に動的側面に真価がある展示物の価値

を保存状態を保ったまま伝えることは難しい

2010/2/28

12

デジタル展示ケースプロトタイプ土偶の比較展示による通時性の伝達

• 立体視ディスプレイを4面組み合わせることで，全方位から高精細CGオブジェクトがケース内にあるかのように見えるシステムを構築

• 土偶をコンテンツとして（協力：東博），時代や地域による土偶の形の移り変わりを比較しながら自由に展示物を眺め回すことができる仕組みで通時性を伝える 展示ケース筐体

67 67通時性：時代変化・地域変化による土偶の形体の変化比較

実物同様の展示物の見回し・把持

デジタルジオラマプロトタイプ史料映像の実物展示への重畳

展示物• 体験データベースに蓄積され

た史料映像を展示物と重ね合わせるための撮影位置推定技術を確立

• 映像を重畳用に補正・加工する動画像処理技術

• 双眼鏡型デバイスで鑑賞

史料映像

双眼鏡型デバイス

6868

デバイス

可視化技術の意義 （エンハンスト・ヒューマンインタフェース）

爆発的に増大する情報をどう処理するか。われわれはたくさんの情報によって生活を豊かにするという戦略を採用した。

各メディアの情報受信点において、1年間に情報消費者が選択可能な形で提供される情報の総量は年11.7％の割合で増加しつつある(Ｈ１４情報流通センサス調査より）

69

サス調査より）

2000年 2005年 2010年 2015年

38,741 65,184 113,347 197,095 (ペタバイト)

しかしながら、いくら情報の処理が高速化・大容量化してもそれが人間に伝わらなければ何の意味もない。

70

仮想空間と身体（その２）仮想空間と身体（その２）

ーリアルとバーチャルーーリアルとバーチャルー

71

リアルとバ チャルリアルとバ チャル

東京大学東京大学 大学院情報理工学系研究科大学院情報理工学系研究科

廣瀬通孝廣瀬通孝

ミクスト・リアリティミクスト・リアリティ（複合現実感）（複合現実感）

72

2010/2/28

13

RealityReality

Augmented RealityAugmented Reality

VRVR技術が進化した一つの形態が複合現実感技術が進化した一つの形態が複合現実感 （（MR: Mixed MR: Mixed RealityReality）技術である。現実と仮想現実はもはやばらばらの概念）技術である。現実と仮想現実はもはやばらばらの概念ではない。ではない。

Virtual RealityVirtual Reality

73

Augmented RealityAugmented Reality Augmented VirtualityAugmented Virtuality

MR MR の本質的なところは、広大なの本質的なところは、広大なReal World Real World に対応したに対応したVR VR であるとであるという点いう点

Mixed RealityMixed Reality = = Augmented RealityAugmented Reality ++

Augmented VirtualityAugmented Virtuality

Augmented RealityAugmented Reality は現実空間を仮想空間で修飾するたは現実空間を仮想空間で修飾するた

74

Augmented RealityAugmented Reality は現実空間を仮想空間で修飾するたは現実空間を仮想空間で修飾するた

めの技術である。めの技術である。

Augmented VirtualityAugmented Virtuality は仮想空間を現実空間からの情報は仮想空間を現実空間からの情報

で修飾するための技術である。で修飾するための技術である。

Augmented Reality

75

Real Virtual

Augmented Virtuality (AV) Technology

76

Augmented Reality (AR) Technology

Real Virtual

Augmented Reality : Superimpose “virtual” onto “real”.

Courtesy of Boeing Computer co.

77See-through HMD is used for this purpose. 78

2010/2/28

14

79

モバイルとウェアラブル

80

81 82

携帯電話の加入状況携帯電話の加入状況 出所：総務省出所：総務省

83

ウェアラブルコンピュータウェアラブルコンピュータ

情報デバイスは情報デバイスは急速に小型化し、携帯化という新し急速に小型化し、携帯化という新し

い進化の方向を見出した。コンピュータはパーソナい進化の方向を見出した。コンピュータはパーソナ

ルを越えてインティメート化する。ルを越えてインティメート化する。

ee--テキスタイルテキスタイル

84

福井県・東京大学福井県・東京大学

2010/2/28

15

ウェアラブルコンピュータウェアラブルコンピュータの本質的部分の本質的部分

・恒常性・恒常性 常に“常に“ ON ”ON ”のコンピュータのコンピュータAlways “ON”Always “ON”日常的な仮想空間へのアクセス日常的な仮想空間へのアクセス

・増幅性・増幅性 本来の作業を「支援する」だけ本来の作業を「支援する」だけ

85

Hands FreeHands Free

・介在性・介在性 情報世界の中でユーザをカプセ情報世界の中でユーザをカプセル化する：ル化する：衣類の本来持っている役割衣類の本来持っている役割

技術の進化には技術の進化には33つの段階があるといわれている。つの段階があるといわれている。

Institutional TechnologyInstitutional Technology

→ Personal Technology→ Personal Technology

→ → Intimate TechnologyIntimate Technology

86

Intimate Intimate とは、「心の奥底の、一身上の、個人的な」というとは、「心の奥底の、一身上の、個人的な」という

意味であり、眼鏡や入れ歯などは意味であり、眼鏡や入れ歯などは Intimate Intimate な道具である。な道具である。

Intimate Intimate な機械の特徴は以下のようなものである。な機械の特徴は以下のようなものである。

・貸し借りを前提としないから、個人差による標準化について・貸し借りを前提としないから、個人差による標準化について

は議論しなくてよい。たとえばインタフェースは好きなものは議論しなくてよい。たとえばインタフェースは好きなもの

を使えば良い。を使えば良い。

・個人差に適合するためのプロセスが必要である。たとえば眼・個人差に適合するためのプロセスが必要である。たとえば眼

87

個人差に適合するためのプロセスが必要である。たとえば眼個人差に適合するためのプロセスが必要である。たとえば眼

鏡の処方のような。鏡の処方のような。

・暗号技術などはもしかしたらナンセンス。・暗号技術などはもしかしたらナンセンス。

・履歴情報が非常に重要となる。だから、ハードウェアはとも・履歴情報が非常に重要となる。だから、ハードウェアはとも

かく、ソフトウェアが重要。かく、ソフトウェアが重要。

ＣＲＴ＋ＣＲＴ＋KeyBoard KeyBoard という計算機インタフェースのステという計算機インタフェースのステレオタイプは、小型化の極限では意味を失う。レオタイプは、小型化の極限では意味を失う。

新時代のインタフェースは、現在の意識的なインタ新時代のインタフェースは、現在の意識的なインタフェースから、より無意識的な認知的インタフェースフェースから、より無意識的な認知的インタフェース(PUI,UUI)(PUI,UUI)へと進化していくだろう。へと進化していくだろう。

88

GPSGPS （位置センサ）（位置センサ）

生体センサ生体センサ

RFIDRFID

ウェアラブルコンピュータは単なる装着型の域を超えつつある。ウェアラブルコンピュータは単なる装着型の域を超えつつある。

さまざまなデバイスがテキスタイルに編みさまざまなデバイスがテキスタイルに編みこまれはじめているこまれはじめている

89

ミューチップミューチップ

90

0.4mm0.4mm四方四方 0.06mm0.06mm厚厚

2010/2/28

16

領域型展示

91

「領域型展示」とは、建築物の量を削減し、自然への環「領域型展示」とは、建築物の量を削減し、自然への環

境負荷を 小限に押さえるために、屋外をそのままの状境負荷を 小限に押さえるために、屋外をそのままの状

態で展示体験空間として活用しようという新しい展示手態で展示体験空間として活用しようという新しい展示手

法である。法である。

この発想を実現するためにもっとも有効な手段のひとつこの発想を実現するためにもっとも有効な手段のひとつ

20052005年愛知万博年愛知万博

92

が情報機器である。たとえばウェアラブルコンピュータが情報機器である。たとえばウェアラブルコンピュータ

を用いることによって、自然環境のなかで情報環境にアを用いることによって、自然環境のなかで情報環境にア

クセスすることが可能である。クセスすることが可能である。

20002000年青山年青山TEPIATEPIA

20012001年愛知青少年公園年愛知青少年公園

9320022002年愛知青少年公園年愛知青少年公園

94

ユビキタス・ゲーミングユビキタス・ゲーミング

「ユビキタス･ゲーミング」は、今ま「ユビキタス･ゲーミング」は、今までのテレビゲームのようにディスプでのテレビゲームのようにディスプレイに映し出される映像世界のゲーレイに映し出される映像世界のゲームでなく、展示会場を歩き回りながムでなく、展示会場を歩き回りながら楽しむゲームである。ら楽しむゲームである。

地磁気センサ

加速度センサ

ユビキタス・ゲーミング用端末ユビキタス・ゲーミング用端末

この端末はさまざまな感覚のモードで人とインタフェースする。

95

ドットマトリックスLED

96

2010/2/28

17

Realtime GPS

100

0 cm

モバイル化するときに必要なのが広い計測レンジを持つポジモバイル化するときに必要なのが広い計測レンジを持つポジショニング技術である。ショニング技術である。

97

Active RFID Tag

Measurement Range1 10 100 1000 10000 m

1

10

100

Video Camera

Infra-Red SensorPolhemus Sensor

赤外線発信機による測位システム

展示室天井に設置された約４００個の赤外線発信機展示室天井に設置された約４００個の赤外線発信機

98

Wearable Computer Tag Reader

RFID Tag 13491349個の個のRFIDRFID（各々（各々0.20.2秒ごとに秒ごとにIDIDを発を発信信))をを1.2m1.2mの格子状に配置し、位置検出の格子状に配置し、位置検出

RFIDRFIDタグによる測位システムタグによる測位システム

99

メディア重工業と

100

重

デジタルパブリックアート

バーチャル・スタジアムバーチャル・スタジアム

ワールドカップ・サッカーを契機にワールドカップ・サッカーを契機に

開始された研究。高精細度・大画面開始された研究。高精細度・大画面

映像によって、実際に試合の行なわ映像によって、実際に試合の行なわ

れていないスタジアムで高い臨場感れていないスタジアムで高い臨場感

で試合の観戦を行なえる。で試合の観戦を行なえる。

101

Soccer FileldSoccer Fileld

Image of Main LensImage of Main LensMain LensMain Lens

102Left CameraLeft Camera Center CameraCenter Camera Right CameraRight Camera

Relay LensRelay Lens Relay LensRelay Lens Relay LensRelay Lens

2010/2/28

18

お台場パナソニックセンターお台場パナソニックセンター

103渋谷ＱＦＲＯＮＴ渋谷ＱＦＲＯＮＴ

パブリックアートとは：パブリックアートとは：

一般には公共空間におかれた彫刻や抽象オブジェ一般には公共空間におかれた彫刻や抽象オブジェのような芸術作品をいう。のような芸術作品をいう。 屋外に置かれること屋外に置かれることや、不特定多数の人々に見られるなど、ミュージや、不特定多数の人々に見られるなど、ミュージアムのような制御された空間の中での展示を前提アムのような制御された空間の中での展示を前提としないため、アートとして頑健である。としないため、アートとして頑健である。

ルイーズ・ブルジョアルイーズ・ブルジョア 「ママン」「ママン」デジタル・パブリックアートデジタル・パブリックアート

デジタルパブリックアートとは：デジタルパブリックアートとは：

本研究では、パブリックアートの領域に高度なメ本研究では、パブリックアートの領域に高度なメ

104104104

デジタルパブリックアートを構成する３つの要件デジタルパブリックアートを構成する３つの要件

空間性空間性 実体性実体性 自己参加自己参加

本研究では、パブリックア トの領域に高度なメ本研究では、パブリックア トの領域に高度なメディア技術を持ち込み、より豊かな表現の可能性ディア技術を持ち込み、より豊かな表現の可能性をもとめるとともに、新しいメディアアートのジをもとめるとともに、新しいメディアアートのジャンルを確立することを目的とするャンルを確立することを目的とする。。

Digital Public Art inHaneda Airport

Air HarborPlease watch your step.

105105

2009 Oct. 9 – Nov.3Haneda Airport Terminal-1, -2

2010/02/28 Digital Public Art Project in Haneda Airport

106

2010/02/28 Digital Public Art Project in Haneda Airport 106

出発の星座羽田空港の天井に浮かぶ一面の星空飛行機とともに、星も飛び立ちます

107

展示場所：第1ターミナル 2F 南ウィング ロビー天井

天井に瞬くLEDは、羽田空港がオープンした日の星座の様子を再現しています。空港ビルが建設される前に見えていた星空をロビーの天井によみがえらせようという試みです。DPAプロジェクトが取り組む「粒子型ディスプレイ技術」を活かすことで、まばらに設置したLEDでも網膜の残像現象によって、私たちの目の中に飛行機のシルエットを描き出すことができます。天井には、実際に羽田空港から飛行機が出発するごとに、飛行機のシルエットが横切っていきます。飛行

機の進む方向は、それぞれの行き先を示します。 107

木陰のスクリーン 〜鳥の離発着

108

108

展示場所：第1ターミナル 2Fロビー

ソファーに腰掛けてふと上を見上げると、回転するプロペラに映し出された映像が目に入ります。スクリーンには、空港に離発着する飛行機を「鳥」のアニメーションで表示。タイムテーブルと連動し、メンテナンス中には毛づくろいを、燃油補給にはエサを食べ、離陸時刻になると鳥も飛び立つ……、「鳥のしぐさ」で飛行機の状態が分かる、飛行機が身近に感じられる作品です。ソファー近くの端末をタッチして自分がこれから乗る便を登録してみましょう。すると、自分の顔が「鳥」に

コラージュされ、スクリーンの中へ飛び立っていきます。空港の飛行機とソファーに居合わせた人たちが、木陰の下で一体となるインスタレーション作品です。

2010/2/28

19

自針と分針 時針は自針、分針は分身？自分の時間にご注意ください

109

展示場所：第１ターミナル B1F

人がいる間だけ「針」が現れる時計です。時計の近くに人が立つとカメラが人をとらえ、その人の映像が時針、分針、秒針となって表示されます。 この作品には、カメラの方向を向いている人だけを検出する技術、検出された人のシルエットを正確に切り抜く技術、時計の針として表示するコンピュータグラフィックスの技術が使われています。特に画像の切り抜きには、グラフカット法と呼ばれる 新の画像処理技術が使われています。普段よりも時間を気にする空港という場所で、自分がいないと動かない時計を目の当たりにして、「自分の時

間」や「自分と時計」の関係をあらためて意識できる作品です。 109

PASMOの星座Constellation of PASMO

110

2010/02/28 110

羽田空港駅ホーム中央イベント会場

鑑賞者が、自分で持っているPASMOを装置にかざすことで、PASMOの過去20件の履歴をグラフィック化し、手元にあるモニタに絵が描かれます。人の移動履歴がモニタ上にマッピングされる様子は、星座を描いているようです。モニタの背後にある筐体は一見単なる箱ですが、そこにはLEDが埋め込まれており手元のモニタに表示されたPASMOの星座と同じ図形がほんのりと箱の中で光ります。また、この箱は「空気の港」展のサインボードも兼ねており、裏面にはT1、T2の展示のマップが描かれています。

19

Augmented Virtuality

111

Real Virtual

Augmented Virtuality (AV) Technology

112

Augmented Reality (AR) Technology

Real Virtual

実写系ＶＲ

113

２Ｄの写真群から３ＤＶＲ世界を構成する

114114

2010/2/28

20

イメージベースト・レンダリングによる3次元世界の創出

撮影された画像 1

撮影された画像 2 補間画像

P

115

撮影された画像 3

P1

P2

P3P

補間操作によって、有限の画像データから無限の画像を作り出すことができる。

Photo-Pop-UP（１）

116

実写ベースのＶＲ

117

複合現実感の技術が教えるところは、リアルとバー複合現実感の技術が教えるところは、リアルとバー

チャルが対立概念ではないということである。チャルが対立概念ではないということである。

これまで急速に発展してきた計算機技術が、社会にこれまで急速に発展してきた計算機技術が、社会に

本格的に装着されようとしているのが現在である。本格的に装着されようとしているのが現在である。

118

言葉をかえれば、われわれは、どこまでを構築的手言葉をかえれば、われわれは、どこまでを構築的手

法で、どこからを情報的手法で解決するかを選択で法で、どこからを情報的手法で解決するかを選択で

きるようになったということである。きるようになったということである。

バーチャルならではの体験がある

119

手前の遮蔽物を除去する

120

2010/2/28

21

現在から過去へ

121

領域型バーチャルタイムマシン

• 現地におけるバーチャルタイムマシンの実現

– 過去の画像や映像を用いて過去の空間を臨場感高く再現し，その場で体験するシステム

• リアルタイムフィードバック

による撮影位置の推定

122

による撮影位置の推定

• 過去の映像と現地における

風景の自然な接続

原理の説明

123

接続結果１

• 有楽町駅国際フォーラム口

124

接続結果２

• 有楽町駅前・・・旧すし屋横丁

125

接続結果３

• 銀座４丁目交差点

126

2010/2/28

22

時間軸の可視化とライフログ

127

Life Log (DARPA)

My Life Bits(Microsoft)ライフ・ログ

128

ちなみにTV会議品質で1日16時間記録、それを70年にわたって行なっても記

憶量は10TByteである。

129

電子メールで行ったやり取りは、意図的に消さない限り、いつまでも残る。

いつでもさかのぼれる「過去」

コンピュータは記録の道具である

130

Emotion Location Vision AudioAmbience

ウェアラブルコンピュータを用いれば見たり聞いたりしたことをそのまま

とっておける。記憶と記録の境界があいまいになる。ちなみにTV会議品質で

1日16時間記録、それを70年にわたって行なっても記憶量は10TByteである。

心理的状態や興味等

体験者の内的情報

体験者の位置や姿勢を示す情報

体験者が視覚的に受容する情報

体験者が聴覚的

に受容する情報体験者が環境から

受容する情報

131

位置情報と写真の連携

両方に含まれる時間情報を利用して

132

GPSで位置を取得PDAで記録保存ビデオ･カメラで画像取得

両方に含まれる時間情報を利用して地図上の位置と画像を並べて表示

2010/2/28

23

映像 (1 / sec)

音声

加速度

カメラ

マイクロホン

加速度センサ

ライフログカメラのプロトタイプ

Life Log

133

133

高度

心拍数

•・姿勢

•・動き

•・音声

•・対面 基本状態

生データ

カラーバーによって示されたイベントの推定結果垂直軸：日付 水平軸：時刻

134

134

カラーバーの太さは推定の確信度を表す。

分類不可能

ライフログの応用分野ライフログの応用分野

店舗での消費者の行動が客観的店舗での消費者の行動が客観的に記録できるに記録できる

健康管理健康管理((生活習慣病）生活習慣病）

マーケティング調査マーケティング調査

体験情報から装着者の行動習慣を分析し，体験情報から装着者の行動習慣を分析し，健康管理に活用する健康管理に活用する

ものづくりものづくり

135

店舗情報と購買行動の関係を調査するために使用された店舗情報と購買行動の関係を調査するために使用されたウェアラブルコンピュータ（上）とインタビューの様子（下）ウェアラブルコンピュータ（上）とインタビューの様子（下）

製造工程の管理製造工程の管理•• 作業ノウハウの蓄積と伝達作業ノウハウの蓄積と伝達

0時 24時

01/01

長期間にわたる体験記録

136

自宅１

通学路駒場研究室

本郷研究室駒場グラウンド

外部研究室

霞ヶ関自宅２その他12/31

9月30日～1月11日(約3ヶ月間)

平均 2時間56分55秒

大 15時間53分42秒(12月11日)

小 16秒(1月6日)

発話の記録

137

駅ナビのようにあらかじめ調べたシナリオに基づいて行動する機会が増えてきた。

現在体験できる「未来」

138

2010/2/28

24

食関連行動の研究

•時間的空間的に食行動の周辺にある行動

•食事相手

•食事風景

•食事場所

空間

食

食関連食関連

食

食関連

139

•食事場所

•食事のための買い物、準備など

•食事の画像だけでは思い出せない．

•食行動＋食関連行動のログを見ることで，

•その時の食事状況を明確に思い起こすことが

•できる！

時間

食関連行動ログデバイスの検討

•記録手法→手動・自動

–手動・・・記録精度：高，記録負担感：高

–自動・・・記録精度：低，記録負担感：低

手動記録の例自動記録の例

140

ライフログカメラ

iPod nano 5G

iPhone

Place Log

現在・過去の行為は未来に影響を及ぼす

破綻

141受注 受注受注受注 受注受注 受注

過去時間の進行

「過去」と「未来」の現在化

歴史の消滅？

「過去」が完全に追体験可能であれば、それは「現在」である。

「未来」が完全に追体験可能であれば、それは「現在」である。

142

現在

未来

ば、それは「現在」である。

人間と機械

143

20世紀は機械の時代であった

19031903年年 ライト兄弟ライト兄弟機機

19081908年年 TT型フォード型フォード

19411941年年--19451945年年 第第22次世界大戦次世界大戦

19461946年年 ENIACENIAC

19641964年年 東海道新幹線東海道新幹線

144

19691969年年 アポロアポロ1111号号月面着陸月面着陸

19801980年年 マイコン元年マイコン元年

19901990年年 GPSGPSカーナビカーナビ

2010/2/28

25

20世紀のライフスタイル

20世紀のライフスタイルは工業化社会(高度経済成長に合わせたもの

都市のオフィス(労働のスペース)と郊外住宅（安らぎの場）の2極化

交通機関(特に自動車）の発達が前提

コルビジェ

145

Weissenhof Siedlung, Stuttgart

コルビジェ Stein邸, Garches

20世紀とは、機械の存在を前提として人々の生活が組み立てられていった時代であった。

三種の神器

（1955 ごろ）

146

テレビ、冷蔵庫、洗濯機

新三種の神器

（1967 第２次耐久消費財ブーム）

自動車、カラーテレビ、クーラー

ヒトと機械は違う

・ ヒトには個人差がある。 → 平均値という概念が通用しない

・ ヒトは変化する。 → 疲労、習熟

状態や文脈がある

・ ヒトは意味によって生きている → 動機付け、 記憶

（一方、情報技術は意味を除外したところから始まる）

147

人 機械

から始まる）

機械をヒトに近づけること

機械のヒト化

この違った存在をどうやって融合させればよいか?

代替型の機械

機械をヒトに近づけること

機械のヒト化

代替型の機械

148

人 機械

自動化の技術

（機械のほうでいろいろやってくれるとうれしい）

サイバネティクス

｢制御」「調節」という概念の登場

149

人工知能、ヒューマノイド

生活に浸透するロボット

ロボットの活躍現場は工場から日常空間へと拡大しつつある。人間と感性を共有する機会はますます増加しつつある。

自動化の進展

150家事支援ロボット

2010/2/28

26

ヒトを機械に近づけること

ヒトの機械化

拡張型の機械

人間の内側の機械も進化する

151

機械人

インタフェースの技術

（人間の側に機械を取り込んでしまおう）

道具としての機械

152

人工臓器 サイボーグ

拡張型の機械は内なる機械である

技術の進化には3つの段階があるといわれている。

拡張型の機械ウェアラブルコンピュータ

153

Institutional Technology

→ Personal Technology

→ Intimate Technology

Intimate とは、「心の奥底の、一身上の、個人的な」

という意味であり、眼鏡や入れ歯などは Intimate な

道具である。

機械によって拡張される身体

拡張される感覚器 バ チャルリアリティ 可視化

拡張型知能機械

154

・ 拡張される感覚器 → バーチャルリアリティ、可視化

・ 拡張される身体 → テレイグジスタンス

・ 拡張される記憶 → ライフログ

再び、ヒトと機械という異質な存在をどう融合するか

違和感はどうすれば軽くなるのか

155

ウォシュレット

ウォークマン

7セグメントLED

あるいは 後まで消えないのか156

2010/2/28

27

157