日本バーチャルリアリティ学会第 10回大会論文集 (2005年 9月)

反力提示を利用したHaptic Teachingへの視覚情報の付加と

Visual Captureの影響

Adding a visual information to Haptic Teaching and the effect of visual capture

嵯峨 智 1)，梶本 裕之 1)， 1)

Satoshi SAGA, Hiroyuki KAJIMOTO and Susumu TACHI

1) 東京大学大学院 情報理工学系研究科（〒 113-8656 東京都文京区本郷 7-3-1, satoshi saga@ipc.i.u-tokyo.ac.jp）

Abstract : We have propposed the teaching system named ’Haptic Teaching’ which emphasize

on the“Proactivity” of an operater. This time we propose the system named ’Haptic Video’ which

is added visual information to the Haptic Teaching system. In Haptic Video, the operator can

feel haptic information as the consequence of the proactive manipulation and visual information of

the expert’s at the same time. Because This system uses the visual and haptic information, the

phenomenon called Visual Capture effects to this system. Besides the introduction of Haptic Video,

we investigate the effect of difference between visual and haptic information in the Haptic Video.

Key Words: Haptic Display, Haptic Teaching, Virtual Fixture, Visual Capture

1. 背景学校教育をはじめとして知識伝達のための手段は数多く

あるが，技能を伝達するためのシステムはさほど多くない．

さらに，技能を技能そのものを通じて伝達する手段は現在

のところない．古来，技能伝達の手法は徒弟制度などを通じ

て，時間をかけて初心者が熟練者の技能を見たり聞いたり

しながら自分の中に技能のモデルを作りあげていた．しか

し，熟練者が見，聞いた情報や，感じた力をそのまま初心者

が感じることはできなかった．時代を経てビデオシステム

が開発されると，熟練者の技能を撮影することにより動作

を記録することは可能になった．この中には，熟練者の視点

から撮影したものなどもあり，熟練者が見た情報をそのま

ま初心者に伝えることはできるようになった．さらに時代

を経て VR技術の発達とともに力覚提示装置が作られると，

これを利用した教示システムというものがいくつか作られ

るようになった．CGなどのシミュレーション技術により，

実際の作業環境をモデル化し，これを力覚提示装置を介し

て操作することで訓練に使うシステムや，熟練者の動きそ

のものを記録し，これを力覚提示装置を用いて再生するこ

とで熟練者の動きを初心者に伝えようというものである．

しかしながら，Gibsonら [1]は，能動的な触覚が受動的

なそれとは量的にも質的にも異なると主張する．すなわち，

認知の過程は能動的であり，遠心性コピーが重要な役割を果

たすということである．これをもって彼らは触覚を Active

Touchと呼んだ．技能伝達においてもこのことはあてはま

図 1: Haptic Video Prototype(Photo)

ると我々は考える．すなわち，操作者が主体性を発揮する

ことに認知において本質的な意味が含まれる．映像におけ

るビデオのような一方向の情報伝達だけでは情報を再現し

きれないのである．そこで我々は，触覚の主体性も含めた

技能の記録および再生ができる Haptic Video(図 1)を実現

する．

2. 主体性を活用した記録，再生知識伝達のための手段は数多くあるが，それに比べると

技能を伝達するためのシステムはそれほど多くない．さら

に，技能を技能そのものを通じて伝達する手段は現在のと

ころない．我々は技能を技能そのものを実行することを通

じて伝達する手段を実現し，記録と再生のシステムとして

試作したのでこれを報告する．従来，技能を映像や音声な

どを通じて伝達する手段としてビデオ教育の素材が数多く

165

作られている．しかしながら，熟練者のとらえる映像や音

声をみることはできても，技能そのものを追体験できない．

また，技能伝達のための力覚教示に関する先行研究として，

書道システムなどがあるが，これは力覚を追体験しているの

ではなく，熟練者の動きを再現することにとどまっている．

この原因は，力覚が「Active Touch」とよばれるように，

主体性が重要な感覚であるにもかかわらず．技能を伝達す

る方法が受動的な手段しか考えられてこなかったことによ

る．そこで我々は力覚の主体性が技能伝達にとって重要で

あるという仮説に基づき，教師情報となる操作者が操作し

たように初心者が主体的に操作することによって技能情報

を伝達する手段を考案した．

ポイントは 2つある．はじめに，主体性を発揮させるた

めに，事前に記録された熟練者の操作により発揮される内

力を方向を逆にして初心者に提示する．同時に，熟練者の

操作する位置情報を再現するために軌跡に垂直な方向に弾

性をもった壁のような Virtual Fixtures を提示する．2 つ

目に，主体的な移動情報に従って映像情報の速度を動的に

変更し，これを再生する．この 2 つのポイントにより，初

心者は，熟練者が操作した力をキャンセルするように操作

することになり，結果的に必要な力を主体的に発揮する．同

時にその操作に従った映像情報を初心者が得ることができ

る，すなわち熟練者の技能を技能そのものを主体的に実行

することを通じて初心者が感じることができるのである．

2.1 力覚の主体性

力覚の主体性については [5]にて詳述しているので，ここ

では簡単に紹介するにとどめる．

我々は Gibsonら [1]の “Active Touch”の考え方に基づ

いて，技能学習においても訓練者の主体性が重要であると

いう仮定をおき，訓練者による主体的な訓練が可能で，作業

における正しい力の使い方を修得できる教示手法を Haptic

Teachingとして提案した．このようなシステムを実現する

ため次にあげる訓練者操作時の 2つの手法を組み合わせる

手法を提案している．

● 熟練者操作時 　

熟練者操作時の動作と内力 Fe を，力覚提示装置と力センサにより記録する．力覚提示装置は位置計測装置

としてのみ用いる．

● 訓練者操作時 　

次の二つの方式を組み合わせて用いる．

1. 熟練者の内力を逆方向に提示 (Fopp) 　事前に記録された熟練者の内力を，方向を反転

して提示する (図 2)．

Fopp = −Fe (1)

2. Virtual Fixtures(Fvf)[3] を用いた軌跡提示 　熟練者の軌跡情報xeを与える (図 3)．

Fvf = −k(x− xe)3 (2)

図 2: 逆方向の内力

��������������������������

Fvf

図 3: Virtual Fixture

���������

��� �����������

����� �� � �"!�#%$&�(' ) !*�,+.- / 021436587 9 5*:,;=<

図 4: タイムライン操作と手先の操作

Fdisp = Fopp + Fvf (3)

以上の手法により，1. 訓練者は発生する力を打ち消しな

がら操作を行うことにより，結果として熟練者と同じ内力

を主体的に発生させながら操作を再現することになる．ま

た，2. 軌跡からはずれた場合には Virtual Fixturesにより

軌跡に戻ろうとする力が加わり，軌跡に関する情報も同時

に訓練者には与えられる．これにより，訓練者に主体性を

もたせつつ，軌跡情報と同時に熟練者の力情報を提示する

ことが可能になる．

2.2 主体性を妨げない視覚情報

上記の Haptic Teachingによる手法では，熟練者の技能

の部分情報として，力覚情報のみを記録，再生している．し

かしながら，人間の認知処理の大部分が視覚であるといわ

れるように，技能情報として視覚情報の果たす役割を見落

としてはならない．そのため我々は Haptic Teaching手法

に視覚情報を付与することとした．この際留意すべき点と

して，Haptic Teaching の主体性を妨げないことが挙げら

れる．

視覚情報を付与する際，通常のビデオのように一定速度

のタイムラインを再生してしまうと，主体的動作としての

手先の運動との差異が生じる．そこで我々はこの差異を生

じさせないため，タイムラインの移動自体を手先の運動に

よる操作と結びつけることとした．例えるなら，操作者の

作業自体が動画のタイムラインのジョグダイヤルとなって

いるということになる (図 4)．

このようなシステムのプロトタイプとして我々は図 5,1の

ような Haptic Video[4]を作成した．

266

� ��� �����

� �

�����

� ���������� ���������

!"!$#

% & ' (

) *"+�,�- ./-10324*"+

5 687:9�;�<

= >�?�@�A�BC D�E�A�B�D

F G HIKJ�LNMPORQ�Q

S8T

図 5: Haptic Video Prototype

図 6: Haptic Video (Full Visual Information)

3. Visual Capture前述のプロトタイプシステムでは，タイムライン操作に

よる動画が操作者の手の下に表示される．本システムでは，

力情報，軌跡情報から得られる作業結果が画像として表示

されることになる．しかし，操作者の手が直上にあるため，

熟練者の手そのものを画像として確認することが難しい．熟

練者の手の形状や姿勢を画像として確認するためには図 6の

ように，熟練者の手元の視覚情報が操作者の手により隠さ

れないシステムが必要になる．

ここで，このようなシステムにおけるVisual Capture[2]

について考える．Visual Captureとは，複数の感覚入力情

報間に齟齬が発生するときに視覚情報に誘引される現象をい

う．端的な例としては，ある物体の大きさを認識するとき，

レンズを用いた視覚像情報と触覚情報を同時に与えられる

状態においては，触覚情報があるにも関わらず，歪められた

視覚像情報に基づいて実際の大きさを誤ることなどが確認

されている．同様に図 6で紹介した Haptic Videoシステム

においては，視覚情報と力覚情報が同時に入力され，なお

かつその情報間に齟齬が発生する可能性があるため，Visual

Captureについて考慮する必要がある．

先行研究におけるVisual Captureと我々の系で起こりう

る状況には違いがある．それは，先行研究における Visual

Capture が視覚，触覚情報に基づく対象の認識までで留ま

るのに対し，我々の系では認識後の主体的動作という出力

がある点である．

ここで，我々の系における，視覚，触覚情報間の齟齬が

もたらす主体的動作への影響を調べることとする．本実験

は逆に Haptic Videoにおける Visual Captureの効果を同

定することで，Visual Captureを積極的に利用した教示手

段となりうる可能性もある．すなわち，操作者の速度に応

� � �

� �������

� � ��� ����������� �������

� �! "$#�

%'&

図 7: 実験システム

� ��������� ����������������

図 8: 実験課題

じて画像を変化させることでVisual Captureの効果を利用

して主体的動作の速度を変化させるなどである．これによ

り，操作者の速度情報の補正手段として利用することがで

きる．

4. 実験Visual Captureによる視覚，触覚情報間の齟齬がもたら

す主体的動作への影響を調べることを目的とし，下記実験

を実施した．

被験者は図 7に示すシステムを用いて，ある軌跡に沿って

両手を主体的に動かす．今回の実験では図 8のように円形状

を描いた．この円形状は触覚的に与えられる．このときに

被験者に与えられる情報は触覚 (体性感覚)としての手の軌

跡情報と，視覚情報としての手の軌跡情報である．このと

きの視覚情報として，今回はカメラと LCDを用いて触覚情

報からのとあるずれ情報として図 8中に示すような Visual

Differenceを与える．このときの情報の齟齬により，主体的

動作がどの程度視覚に誘引されるかを調べた．

実験として，下記の 3種を実施した．被験者はメトロノー

ムのリズムに従い，20rpm程度の速度で周期的に左右の手

を同じように円運動させる．このときVisual Difference(以

下 V. Diff.)を変化させ，どの程度まで Visual Captureが

起こりうるかを測定した．

1. V. Diff. 一定 (Const.)

V. Diff.を一定とし，周期的に円運動させる．速度ず

れはない．位置ずれは初期状態から変化なし．位置ず

れはそれぞれ，5°,10°,15°,20°,25°で実施した．

2. V. Diff. ランプ状変化 (Ramp)

367

0.6 0.8 1 1.2 1.4 1.6 1.8 2 2.2 2.4 2.6

x 104

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

Time[ms]

Diff

ere

nce

[ra

d]

Captured Diff (Const.)Visual DiffL & R DiffL & R Diff(1st deg. fitting)

図 9: V.Diff.一定での結果

V. Diff.をランプ状に変化させ，周期的に円運動させ

る．速度ずれ，位置ずれは増大してゆく．速度変化は

秒速-0.8°，-1.6°，-2.4°，-3.2°，-4.0°で実施した．

3. V. Diff. 主体的動作による変化 (Variable)

V. Diff.を被験者の主体的動作による位置に応じて変

化させ，周期的に円運動させる．この際，一周したと

きに位置ずれが発生しないようにずれを sin関数状に

する．そのため速度，加速度がずれる．それぞれ振幅

変化を 5°,10°,15°,20°,25°で実施した．

以上の実験を被験者 3名に対し行った．それぞれの結果

の典型的な傾向を以下に示す．それぞれの実験における V.

Diff.を×点線で示し，V. Diff.を与えない手と与えた手との

位置誤差を○実線で示した．円運動による周期変動が大きい

ため，実験 1，2に関しては 1次，2次の近似曲線もプロット

した．図 9ではV. Diff.が 10°の結果を示しているが，実験

1では各角度とも直流成分に関してはV. Diff.に従った結果

を示した．図 10では V. Diff.が −0.8[°/s]の結果を示している．実験 2では速度が小さい場合にはV. Diff.に対する追

従性を示した．速度がある許容値 vthreshold 以上になると，

図 10に示すように，位置ずれがある許容値 ∆xthreshold ま

では追従傾向を示し，∆xthreshold 以上になると触覚情報に

依存した動作となる．図 11では，V. Diff.の振幅が 15°の

結果を示している．振幅がある許容値 Athreshold までは V.

Diff.に対する速度変化も含めた追従を示し，この値以上に

なると触覚情報に依存した動作となる．このとき，それぞれ

vthreshold, ∆xthreshold, Athreshold は被験者ごとに異なる．

5. 結論Haptic Teachingの拡張として，技能の視覚，力覚的記録

および再生が可能なHaptic Videoを提案した．また，Haptic

Teaching での主体性を損なうことのない映像表現として，

映像のタイムラインを操作者の手の動きに応じた動作をす

る手法について述べた．

また，Haptic VideoにおけるVisual Captureの影響につ

いて検討し，実験を行った．以下，実験結果に基づき，主体的

動作におけるVisual Captureの影響についてまとめる．被験

者ごとに絶対的な位置ずれに対するある許容値∆xthreshold

0.6 0.8 1 1.2 1.4 1.6 1.8 2 2.2 2.4 2.6

x 104

−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

Time[ms]

Diff

ere

nce

[ra

d]

Captured Diff (Ramp)Visual DiffL & R DiffL & R Diff(2nd deg. fitting)

図 10: V.Diff.Ramp変化での結果

0.6 0.8 1 1.2 1.4 1.6 1.8 2 2.2 2.4 2.6

x 104

−0.6

−0.5

−0.4

−0.3

−0.2

−0.1

0

0.1

0.2

0.3

Time[ms]

Diff

ere

nce

[ra

d]

Captured Diff (Variable)Visual DiffL & R Diff

図 11: V.Diff主体的変化での結果

があり，許容値以内であれば認識の破綻をきたすことなく

視覚に依存した主体的動作を行う．また，許容値以上にな

ると触覚情報を優先するようになる．さらに速度，振幅に

関しても同様に許容値があり，それを越えると触覚情報を

優先するようになる．

今後はVisual Captureの影響に関し，より多くの被験者

の定量的なデータを集積し，Haptic Videoにおける利用方

法について検討したい．

参考文献

[1] J. J. Gibson. Observations on active touch. Psychol.

Rev, Vol. 69, pp. 477–491, 1962.

[2] J. C. Hay, H. L. Pick, and K. Ikeda. Visual capture

produced by prism spectacles. Psychonomic Science,

Vol. 2, pp. 215–216, 1965.

[3] L. Rosenberg. Virtual fixtures: Perceptual tools for

telerobotic manipulation. In Proc. of IEEE Virtual

Reality Int’l. Symposium, pp. 76–82, 1993.

[4] Satoshi Saga, Kevin Vlack, Hiroyuki Kajimoto, and

Susumu Tachi. Hapticvideo. In Conference Abstracts

and Applications of SIGGRAPH2005, DVD-ROM,

2005.

[5] 嵯峨智, 川上直樹, . 反力提示を利用した hap-

tic teaching の学習効果. In Proceedings of the 2005

JSME Conference on Robotics and Mechatronics,

Kobe, Japan, pp. 1P2–N–038, 2005.

468

1. 背景2. 主体性を活用した記録，再生2.1 力覚の主体性2.2 主体性を妨げない視覚情報

3. Visual Capture4. 実験5. 結論