2011年度 卒 業 論 文

Kinectを用いたポインティングにおける操作性向上に関するの研究

指導教員：渡辺 大地 講師

メディア学部 ゲームサイエンス学籍番号　M0108014

阿部 一仁

2011年度 卒 業 論 文 概 要論文題目

Kinectを用いたポインティングにおける操作性向上に関するの研究

メディア学部 氏 指導学籍番号 : M0108014 名 阿部 一仁 教員 渡辺 大地 講師

キーワード Kinect、ユーザインターフェース、操作性、選択、ジェスチャー、体感型デバイス

近年、ゲーム機の発達により様々な操作デバイスが提案されてきた。その中で、新しいゲームの操作形態として体感型のインターフェイスを用いた操作が注目されている。体感型のインターフェイスとは、プレイヤーが動くことで入力を行う方法である。本研究では、身体を動かす操作方法に着目し、体感型のインターフェイスであるKinectを用いて研究を行った。

Kinectはセンサーの映像を使って人の骨格情報を認識し動きを取得する。しかし、映像を用いた操作方法は、従来のゲーム機についている、コントローラのボタンを押す離すというON/OFFの操作がない。そこで、既存手法ではカーソルを項目に当てた時間の長さにしきい値を設け、ON/OFFを認識し決定を行っている。しかし、決定の操作に時間を用いているためしきい値の設定が問題となっている。しきい値を長く取った場合、決定をするまでカーソルを項目に合わせ続けなければならず、待つ時間が長く感じる。しきい値を短く取った場合、項目の選択中にユーザーが悩みカーソルの動きを止めると、ユーザーが決定するつもりのない項目を確定してしまうという問題があり、既存の手法では、しきい値を選択内容によって変更しなければならなかった。そこで、本研究ではポインティングの操作に、ジェスチャーをトリガーにして決定操作

を行う操作方法を提案した。ジェスチャーを使った操作を、決定の操作に割り当てることで、ユーザーが決定のタイミングを操作できる。そして、決定する瞬間をユーザーが指示できる事により、選択から決定を行う時間も早くなる。本研究では、既存の操作手法と本手法を比較し検証をおこなった。検証は、既存手法を

先に行ったグループ 11人と、本手法を先におこなったグループ 10人の計 21人を対象に、実験参加者に 2種類の操作方法と 3種類の項目を選択するプログラムを試してもらい経過した時間の計測を行った。その結果、本手法の有用性を検証した。

目 次

第 1章 はじめに 1

1.1 研究背景と目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

第 2章 提案手法と実装 6

2.1 提案手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.1.1 カーソルの認識方法 . . . . . . . . . . . . . . . . . . . . . . 7

2.1.2 ジェスチャーの認識方法 . . . . . . . . . . . . . . . . . . . . 8

2.2 従来の決定方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3 計測方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

第 3章 検証 14

3.1 実験内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.2 検証結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

第 4章 まとめ 18

謝辞 20

参考文献 21

付録A章 24

I

図 目 次

1.1 Kinectが認識できる骨格情報 . . . . . . . . . . . . . . . . . . . . . 2

1.2 ポインティングを用いた操作 . . . . . . . . . . . . . . . . . . . . . 3

2.1 Kinect本体を中心に構成する 3次元情報の基準となる座標系 . . . . 7

2.2 叩く前の動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.3 叩く途中の動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.4 叩く後の動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.5 指定された項目を確定する操作システム . . . . . . . . . . . . . . . 12

2.6 指示に添って項目を確定する操作システム . . . . . . . . . . . . . . 13

2.7 大小大きさの違う項目を確定する実験システム . . . . . . . . . . . . 13

II

表 目 次

3.1 実行環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.2 1回目の計測結果、各テストにかかった時間 . . . . . . . . . . . . . 15

3.3 2回目の計測結果、各テストにかかった時間 . . . . . . . . . . . . . 15

3.4 1回目の計測結果、従来の手法と本手法の有意確率 . . . . . . . . . 16

3.5 2回目の計測結果、従来の手法と本手法の有意確率 . . . . . . . . . 16

A.1 1回目の既存手法を行い、テストにかかった時間 . . . . . . . . . . . 24

A.2 1回目の本手法を行い、テストにかかった時間 . . . . . . . . . . . . 25

III

第 1 章

はじめに

1.1 研究背景と目的ゲームの主要なハードウェアとして、2011年現在任天堂が開発したWii、ソニー・

コンピュータエンタテインメントが開発したPlayStation3、マイクロソフトが開発

したXbox360がある。そして、この主要ハードはそれぞれ、Wiiの専用コントロー

ラであるWiiリモコン [1]や、PlayStation3の付属機器であるPlayStation Move[2]、

Xbox360の付属機器であるKinect[3]など、身体を動かすことで操作を行うデバイ

スを出している。そして、身体の動きを使った操作は新しい直観的な操作として

注目されており、SUNGKelvinらが分析した最近ゲーム機の技術の評論”Recent

Videogame Console Technologies”[4]では、ゲームデバイスは今後さらに直観的に

理解できる制御を推進する汎用デバイスに変わっていくだろうと述べている。

この、3つの操作デバイスは全て身体を動かすことで操作を行う体感型のデバイ

スである。しかしWiiリモコンとPlayStation Moveの 2つとKinectは大きく違う

特徴を持っている。Wiiリモコンと PlayStation Moveは、専用のコントローラを

使用し、コントローラの位置を認識することで動きを認識している。それに対して

Kinectのデバイスは、動きの認識に映像を使用しており、物を一切持たずに人の

ジェスチャーだけでゲームを操作を行うことができる。WiiリモコンやPlayStation

Moveのように、コントローラを持つデバイスは、操作中に予期せずコントローラ

から手から離し、物にぶつけてしまう事故が起きる。また、操作にコントローラ

1

が必要なため、手がふさがってしまう。Kinectはコントローラを必要としないた

め、これらの問題点が無い。この物を持つ必要が無いジェスチャーを使ったコン

ピュータの操作は、医療 [5][6]やアート [7][8]、障がい者支援 [9][10]、などさまざま

な分野で注目さる。現在、Kinectのような物を持たないジェスチャーを使った操

作方法は研究段階にあり、ユーザビリティーの研究は少ない。そこで、本研究で

はKinectの操作に着目した。

Kinectは、人の見える範囲の光を取得する可視光カメラと、Kinectから物体ま

での距離を認識する深度センサーが搭載する。2つのセンサーを使うことで、画面

上にいる人を認識し、認識した人が取っているポーズを 20箇所の関節情報として

3次元の位置情報を取得することができる。そして、20箇所の関節情報を用いる

ことでジェスチャーを認識し、操作を行っている。Kinectが取得している関節情

報は、頭、首、右肩、右ひじ、右手首、右手、左肩、左ひじ、左手首、左手、背

骨、臀部の中心、右臀部、右ひざ、右足首、右足、左臀部、左ひざ、左足首、左足

の 20箇所である。次の図 2.1はKinectが取得する 20箇所の関節 [11]　の位置を

図で表したものである。

図 1.1: Kinectが認識できる骨格情報

Kinectを用いた操作方法として考えられるアプローチは、ポインティングを用

いた操作がある。ポインティングを用いた操作は現在Kinectの操作方法の多くで

2

使われている操作である。本論文では、複数ある項目を選ぶ操作の流れを「選択」、

「決定」、「確定」と分ける。ユーザーの選べる項目が複数ある状態から１つに絞っ

ている操作を「選択」、ユーザーが複数ある項目から１つに絞った瞬間を「決定」、

コンピューターが決定した項目を認識し、実際にプログラム上で項目を決定され

た瞬間を「確定」と呼ぶ。この操作方法は、カーソルの動きを片手の動きで制御

し、画面上の項目にカーソルを合わせることで項目の選択を行う。次の図 1.2はポ

インティングの操作を図で表したものである。

図 1.2: ポインティングを用いた操作

ポインティングそのものは、Kinectだけでなくコンピュータの操作にも使われ

ている。ポインティングはコンピュータに多く使われている汎用的な操作方法で

あり、項目が複数ある場面で選択を行う場合に選択しやすいという特徴を持って

いる。そして、マウスやコントローラに付いているボタンを用いてON/OFFの操

作を行っている。しかし、Kinectは手に何も持たない操作方法のため、ボタンを

押す離すのようにON/OFFの操作がない。そのため、従来のKinectを用いた項

目の確定操作では、時間を計ることで確定している。従来の手法では、ON/OFF

の区別を行う境目の値をしきい値と呼び、確定の操作は、カーソルを項目に当て

続けた時間を計り、しきい値を超えたか超えないかで確定の有無を認識している。

しかし、この方法はしきい値の設定が問題となる。しきい値を長く取った場合、確

3

定をするまでカーソルを項目に合わせ続けなければならないため、待つ時間が長

く感じる。しきい値を短く取った場合、項目を選択中にユーザーが悩みカーソルの

動きを止めると、ユーザーが決定するつもりのない項目を確定してしまうという

問題がおきる。実際に、日経エレクトロニクスの”Kinectに見るジェスチャー入力

の可能性”[12]では決定の操作に迷うと書かれている。また、Hongli Laiらが記述

した学術論文である”UsingCommodity Visual Gesture RecognitionTechnology to

Replace or to Augment Touch Interfaces”[13]も、操作性の研究としてKinectを用

いた操作を検証し、Kinectの操作性は改良する必要があると述べている。

そこで、本研究ではポインティングを用いた操作の問題点を解決し、選択から

確定までにかかる時間を短縮する事を目指した。ポインティングの問題を分析し

た結果、現在の操作方法は経過した時間で確定を認識する操作であり、確定を行

うタイミングをユーザーが指示でき無いことが問題であると考えた。本手法では、

時間の経過ではなくジェスチャーを用いることで確定を認識する操作方法を提案

した。この手法は、片手でポインティングの操作を行い、もう片方の手でジェス

チャーを行い、動きを認識することで確定を行う操作である。ジェスチャーを使っ

た操作方法は、ユーザーの行うジェスチャーをコンピュータが認識し、認識した

ジェスチャーに対応する操作を行う。また、ジェスチャーを認識した瞬間に対応し

た操作を行うことができる。そのため、項目の確定を行うタイミングに時間の差

が生まれない操作方法である。本手法は手で腰を叩くジェスチャーを確定の操作

とした。

実際に本研究では、腰を叩くことで確定を行うものと、既存のカーソルを項目

に当てる時間で確定を行うものの 2種類の操作方法を用意し、さまざまな操作テ

ストを行い、実験協力者がテストにかかった時間を比較することで検証を行った。

検証は、実際に項目を選択するテストとして 3種類の操作テスト想定し、実際に

実験協力者にテストを行ってもらった。操作テストは、指定された項目を選択す

る操作、簡単な説明がある項目を選択する操作、大小大きさの違う項目を選択す

る場合の操作の 3つを行った。その結果、本手法では従来の決定方法よりも本手

4

法のほうが選択から確定までにかかる時間を短縮する事ができた。

1.2 本論文の構成本論文は全 4章で構成する。第 2章で提案手法とずれの計測方法について述べ、

3章で実際に動作検証を行う。最後に 4章で本研究のまとめを行う。

5

第 2 章

提案手法と実装

本章では従来の決定から確定の間に時間の差がでるという問題点を解決し、従

来の決定方法よりも早くする操作方法を提案する。そこで、本研究手法を用いて

実装したシステムについて述べる。

2.1 提案手法従来のポインティングを用いた操作の問題点は、確定の操作に時間を使うこと

で、ユーザーが確定を行うタイミングを指示できないことが問題であると考えた。

この操作を用いる理由は、同じ手で選択から確定までの操作を行うことで、直感

的でわかりやすい操作であるからだと考えた。しかし、同じ手を使うことは、操

作を大幅に制限してしまう。そこで本研究では、片手でポインティングを用い操

作を行い、もう片方の手で確定するためのジェスチャーを行う両手を使った操作

方法を提案し、実装を行った。

本手法はマイクロソフト社が公開しているKinectSDK[3]というソフトウェア開

発キットを使用した。そして、ポインティングを用いた操作と叩く操作はKinectが

取得する 20点の骨格情報の 3次元位置情報を使った。カーソルの操作はKinectが

取得した骨格情報から、手の 3次元情報を使ってカーソルを動かす。そして、ジェ

スチャーの認識は、腰を叩く動きの特徴が強く出るポーズと動きを取得すること

で認識を行う。

6

次の項目でカーソルを使った操作とジェスチャーを使った操作について詳しく

説明を行う。

2.1.1 カーソルの認識方法

Kinectは可視光カメラと深度センサーを使って、前方の空間を 3次元情報とし

て取得する。KinectSDKでは、Kinectの位置を基準に、横方向が x軸、縦方向が

y軸、奥行き方向が z軸として認識する。座標はメートル単位であらわす。次の

図 2.1はKinect本体を中心に構成している 3次元情報の基準となる座標系であり、

Kinectを基準として人間の 3次元位置情報 [14]を取得している。

図 2.1: Kinect本体を中心に構成する 3次元情報の基準となる座標系

本手法は、Kinectが取得した関節の 3次元位置情報のうち、手の x軸成分と y

軸成分を使ってカーソルの操作をおこなう。取得した座標の単位はメートルなの

で、カーソルの表示のために pixel 単位の座標に対応づけて使用している。また、

ユーザーが立ち止まったままポインティングを行えるようにするため、片手が動

かせる範囲と映像を写す画面全体の座標を対応づけている。本研究では、無理な

く片手で動かせる範囲を x軸成分 0.3m、y軸成分 0.3ｍの範囲、映像を写す画面

を 640*480pixelの範囲に対応づけている。

7

2.1.2 ジェスチャーの認識方法

Kinectと同じように手に何も持たない操作方法として、映像情報から手の認識を

行い、ハンドジェスチャーを認識 [15][16][17]する研究がある。ハンドジェスチャー

は公共の大画面インターフェイスの操作方法 [18]やコンピュータの操作 [19][20]な

どにも注目される。しかし、ジェスチャーの認識は映像をつかった画像処理を使っ

たジェスチャー認識であったため、手袋や顔を隠すと認識しないという問題があっ

た。Kinectは可視光カメラで取得した映像以外に、距離を測る深度センサーを用

いることにより、奥行きの情報を取得できる。これにより、体全体を使ったジェス

チャーも認識することができる。この震度センサーを使った操作は、テレビのリ

モコンを使わない操作手法 [21]としても注目される。

Kinectは体全体を取得することでジェスチャーを認識する。しかし、体全体を

使ったジェスチャーは人の体格や、状態によって動きが変わってしまう。そこで、

本研究ではジェスチャーの特徴が強く出る動きやポーズを取得することで、体格

や状態が違っていても同じジェスチャーとして認識できると考えた。腰を叩くジェ

スチャーの強く特徴が出る動きやポーズは、叩く前のポーズ、叩く前と後の動き、

叩いた後のポーズである。

叩く前のポーズは手と腰の距離を測定することで認識している。叩くという行

動は、手や手に持った道具をある程度の速度をつけて目標に手や道具を当てる行

為である。そして、ある程度の速度をつける必要があるため、手と目標には一定

の距離をあける必要がある。そのため、叩く前には手と腰がは一定の距離以上は

なれた状態になる。手と腰の距離は、Kinectが取得する 20点の骨格情報から、左

手と左腰の位置を取得して距離を求める。本研究では 2点の距離が 30cm以上距離

が離れている状態を、叩く前の動作として認識している。次の図 2.2は叩く前の動

作を図で表したものである。

次に、叩く前と後の動きは、手と腰の距離が離れた状態から手が腰についた状

態に変わる動きである。この動きは、手の位置が変化している。そのため、手が

8

図 2.2: 叩く前の動作

腰に向かう速度を求めることで叩く前から後の動きであると認識することができ

る。手が腰に向かう速度は、取得した手と腰の数秒前の距離情報を保存し、現在

の距離と数秒前の距離の差を求めることで速度を求めている。本研究では、0.1秒

前の距離を保存しており、速度が 30cm/s出ていた場合叩く瞬間の動きとして認識

している。次の図 2.3は叩く前の動作を図で表したものである。

図 2.3: 叩く途中の動作

最後に、叩いた後のポーズは、腰に手を付いている状態であり、角度を比較す

ることでポーズを認識している。腰に手を付いた状態は、距離が近く、手の位置

と腰の位置がほぼ一致している。そのため、腰・肩・肘の 3点からなる 3角形と、

肩・肘・手の 3点からなる 3角形は形状が近い三角形である。そこで、閾値を設定

9

し、2つの 3角形のそれぞれの角度の差が閾値以内だった場合、叩いた後のポーズ

とする。本研究では、手と腰の位置が 15cm以内で、2つの 3角形の角度差は 30度

以内とした。次の図 2.4は叩く後の動作を図で表したものである。

図 2.4: 叩く後の動作

本研究では、叩いた動作を認識してから数秒の間に、叩く前と後の動きと叩い

た後のポーズが一致した瞬間を叩いたと認識している。

2.2 従来の決定方法本研究では、本手法と従来の決定方法を実際に操作を行い、比較することで検

証を行う。そのため、従来の決定方法を模した操作プログラムを作成した。

従来の決定方法はポインティングを用いた操作方法を使用している。ポインティ

ングを用いた操作方法は、カーソルの動きを片手の動きで制御し、カーソルを動

かすことで操作を行う方法である。そして、確定を行う方法は、カーソルを項目に

合わせた状態で数秒間待つことで操作を行っている。カーソルの認識方法は、本

手法のカーソルの認識方法と同じくKinectが取得した関節の 3次元位置情報のう

ち、手の x軸成分と y軸成分を使ってカーソルの操作をおこなう。また既存のゲー

ムは、カーソルを項目に合わ続ける時間を 1～2秒で確定を行っている。そこで、

本研究ではカーソルを項目に合わ続ける時間は 1.2秒とし、カーソルが項目に触れ

10

た瞬間から 1.2秒たった瞬間に確定の操作を行ったという処理をする。

2.3 計測方法本研究では、既存の手法と本手法の両方の操作にかかった時間の測定を行い、測

定結果を比較した。本手法と従来の決定方法の時間を比較するために、さまざま

な状況のテストで確定にかかった時間を計測した。そこで、本研究では測定を行

うために 3種類の操作テストを用意し、それぞれ確定の操作を行う。この 3種類の

操作テストは、指定された項目を選択する操作、簡単な説明がある項目を選択す

る操作、大小大きさの違う項目を選択する操作の 3つを行う。それぞれ、確定を

行う速度、時間がかかる選択、項目のサイズによる時間がどのように差が出るか

を調べるものである。そして、操作テストの選択から確定までの一連の操作にか

かった時間を計ることで操作時間を測定した。3種類の操作テストの内容は以下の

通りである。

指定された項目を選択する操作は、選択する項目を色の変化で指定することで、

選択する時間を減らし、決定から確定までの時間にどれだけ差が出るかを検証す

るテストである。操作方法は、決定する項目は色を変えて表示を行い、色が変わっ

ている項目のみ確定が出来る。この操作テストは、画面上に縦に 2個横に 3個、大

きさが全て同じ計 6個の項目を配置を行う。決定する項目はランダムで決める。確

定の操作が行われた場合、また決定する項目をランダムで決める。その際、確定

を行った項目は項目を決める操作から除外し、また決定する項目の色とは別の色

で塗り、ユーザーが確定したことを分かりやすくする。6つの項目を全て選択した

時点の時間を計測する。次の図 2.5は指定する項目を確定する実験システムの実際

に操作するイメージである。

簡単な説明がある項目を選択する操作は、項目にカーソルを当てたときに操作

の指示を下に表示し、選択に時間がかかる操作の場合時間にどれだけ差が出るか

を検証するテストである。操作方法は、項目にカーソルを当てたときに空欄に指

示を表示し、指示に従って確定が出来る。この操作テストは、画面上に縦に 2個

11

図 2.5: 指定された項目を確定する操作システム

横に 3個、大きさが全て同じ計 6個の項目を配置を行う。また、項目以外に指示

を表示する空欄を作る。項目にカーソルを当てたときに空欄に文章で指示を表示

し、指示の内容は「この項目を決定してください」と「この項目を決定しないで

ください」の 2種類を用意する。決定をしてくださいと指示が表示される項目は

6つ中 3つがランダムで選ぶ。その 3つの項目を選択した時点の時間を計測する。

次の図 2.6は指示に添って項目を確定する実験システムで実際に操作するイメージ

である。

大小大きさの違う項目を選択する操作は、項目の大きさが違う項目を選択する

ことによって、2つの操作方法でどのような影響が出るのかを検証するテストであ

る。操作方法は、項目を順序の制約無く、全て確定を行う。この操作テストは、画

面上に縦に 2個横に 3個、大きさが全て違う計 6個の項目を配置を行う。決定する

順番は自由で、6つの項目を全て選択した時点の時間を計測する。次の図 2.7は大

小大きさの違う項目を確定する実験システムの実際に操作するイメージである。

12

図 2.6: 指示に添って項目を確定する操作システム

図 2.7: 大小大きさの違う項目を確定する実験システム

13

第 3 章

検証

3.1 実験内容本研究では、従来の決定方法と本手法 2つの操作方法でテストを行い、比較する

ことで検証を行った。2つの操作方法で 3種類のテストを行い、各テストごとにか

かった時間を比較することで検証を行った。検証は、実験協力者が操作方法を覚

えてしまうことによる、操作の効率化が発生する可能性がある。そのため、2つの

操作方法で公平を保つため、従来の決定方法のテストを先に行うグループと、本

手法のテストを先に行う 2グループに分けた。また、操作の効率化によるテスト

にかかった時間の短縮がどのような変化が発生しているかも調べた。そこで、検

証テストを 2回行い、1回目と 2回目のテスト結果の比較を行った。

本研究では、以下の環境で実験を行った。人の動く範囲に物が無い広い空間で

操作を行う。シャツやジーンズなどの薄手の動きやすく、光の反射がおこらない

服装で操作を行う。これは、Kinectが赤外線を用いてKinectからの距離を取得し

ているため、認識率を上げるための処置である。実験のプログラムを行ったPC環

境は全て表 3.1の環境で行うものとする。

表 3.1: 実行環境OS Windows 7 Enterprise

CPU Intel(R) Core(TM) 2 Duo CPU E8400 3.00 GHz

14

3.2 検証結果本研究では、従来の決定方法を先に行ったグループ 11人と、本手法を先におこ

なったグループ 10人の計 21人のデータを対象に検証を行った。実験参加者に 2種

類の操作方法と項目を選択する 3つの操作テストを操作してもらい操作テストに

かかった時間を計測した。下の表 3.2表 3.3は、実験によって得たデータから、操

作方法とテストによってかかった経過時間の平均と差を表にしたものである。表

に書いてある数値は、3つの操作テストごとにかかった時間を秒単位で表した。数

値は小数点第 2位の値を四捨五入した。テストの内容は、指定された項目を選択

する操作、簡単な説明がある項目を選択する操作、大小大きさの違う項目を選択

する操作の 3つである。操作順で分けた 2つのグループは、公平性を保つために

行ったため、全てのグループの結果を１つの表にまとめている。また、実験によっ

て得たデータは本論文の付録に収録した。

表 3.2: 1回目の計測結果、各テストにかかった時間

操作を行ったテスト 従来の決定方法の平均

本手法の平均

時間の差

指定された項目を選択する操作テスト 16.8 14.5 2.3

簡単な説明がある項目を選択する操作テスト 11.9 11.7 0.2

大小大きさの違う項目を選択する操作テスト 21.1 14.7 6.44

表 3.3: 2回目の計測結果、各テストにかかった時間

操作を行ったテスト 従来の決定方法の平均

本手法の平均

時間の差

指定された項目を選択する操作テスト 15.4 11.8 3.6

簡単な説明がある項目を選択する操作テスト 10.9 10.7 0.2

大小大きさの違う項目を選択する操作テスト 20.5 13.7 6.8

この表 3.2表 3.3により、本手法がテストに掛かった平均時間は、全てのテスト

15

で従来の決定方法がテストに掛かった平均時間よりも早くなっているということ

が分かる。しかし、平均値では計測結果による誤差によって差が出たという問題

を棄却できないため、本手法と従来の決定方法の標本を使って t検定を行った。t

検定とは、仮説検定のひとつで２つの標本の平均の差が偶然によって生まれた誤

差の範囲であるかどうかを調べるものである。この検定方法は、2つの標本の有意

差を求める方法で、算出された有意確率が 0.05以下なら偶然生まれた誤差ではな

いと証明することができる。本研究では、この平均の差は誤差による差ではなく、

明確に差として現れているということを証明したい。そのため、帰無仮説として

「2つの標本の平均の値に現れている差は偶然である」と仮定し、検定を行った。

表 3.4と表 3.5は本手法と従来の決定方法の 2群を操作テストごとにｔ検定を行っ

た結果の表である。表に書かれた数値は、ｔ検定の結果、算出された有意確率で

ある。有意確率は小数第 6位を四捨五入してある。

表 3.4: 1回目の計測結果、従来の手法と本手法の有意確率操作を行ったテスト 有意差指定された項目を選択する操作テスト 0.01510

簡単な説明がある項目を選択する操作テスト 0.90053

大小大きさの違う項目を選択する操作テスト 0.00035

表 3.5: 2回目の計測結果、従来の手法と本手法の有意確率操作を行ったテスト 有意差指定された項目を選択する操作テスト 0.00048

簡単な説明がある項目を選択する操作テスト 0.72306

大小大きさの違う項目を選択する操作テスト 0.00002

t検定を行った結果、1回目と 2回目の操作実験において、指定された項目を選

択する操作テストと大小大きさの違う項目を選択する操作テストの 2つが有意係

数が 0.5以下であった。結果、有意差が認められるため、「2つの標本の平均の値

に現れている差は偶然である」という帰無仮説は棄却され、明確に差として現れ

16

ているということを証明できた。しかし、簡単な説明がある項目を選択する操作

テストが有意差が認められず、2つの標本の平均の値に差は偶然に一致した標本を

否定できない。

だがこの結果、指定された項目を選択する操作テストと大小大きさの違う項目

を選択する操作テストでは、操作にかかった時間は明確な差が出ているといえる。

そこで、3.2と 3.3を見ると、操作にかかった時間の平均値は、本手法のほうが従

来の決定方法よりも早く操作を終わらせていることが分かる。つまり、2つのテス

ト方法において、本手法は既存の手法よりもの操作を早く行えるということが分

かった。

17

第 4 章

まとめ

本研究では、Kinectを用いたポインティング操作に着目した。ポインティング

を用いた操作の問題点は決定したタイミングと確定するタイミングで時間にずれ

が生じる事が問題点がある。このずれをなくすことで、ポインティング操作の問

題点をなくすことが本研究の目的とした。そこで、本研究ではポインティングを

用いた操作に、腰を叩くジェスチャーを加える操作手法を提案・実装した。この操

作方法は、項目の確定を行うタイミングをユーザーが操作できる方法である。そ

して、ユーザーが確定の操作を指定することで、決定と確定までのタイミングの

差をなくした。

決定から確定までの時間が短くなったかの判断は、本手法と既存の手法を比較

することで判断を行った。本手法と従来の決定方法の 2つの操作方法で操作にか

かった時間で比較を行った。操作を行うプログラムは 3つ用意し、それぞれ時間を

取得し比較を行った。比較を行った結果、全ての操作テストにおいて、従来の決

定方法よりも本手法のほうが、早く操作できるというデータが得られた。そこで、

t検定を行い、この差は誤差の範囲内であるかどうか有意差を調べた。その結果、

1回目と 2回目の両方で、指定された項目を選択する操作テストと大小大きさの違

う項目を選択する操作テスト、の 2つの操作テストで有意性が得られた。しかし、

簡単な説明がある項目を選択する操作テストでは有意差が得られなかった。

この簡単な説明がある項目を選択する操作テストで有意差が得られなかった。こ

18

の理由は、従来の決定方法の問題点が原因だと考えた。叩く操作の場合、ユーザー

が説明を見て選択を行うため、選択している分時間が掛かる。しかし、従来の確定

方法は、カーソルを当てた瞬間から確定を行う時間に待っていることになる。実

際に、選択から確定までの時間に差が生まれなかった。つまり、本手法はユーザー

が確定の操作タイミング指示することができた野ではないかと考えている。

本研究で有意性を得ることができた操作テストは、指定された項目を選択する

操作テストと大小大きさの違う項目を選択する操作テストの 2つである。この結

果、指定された項目を選択する操作テストと大小大きさの違う項目を選択する操

作テストにおいて、本手法が既存の手法よりも早く確定操作を行えることがわかっ

た。これにより、本研究で提案した操作方法は、特定の場合において、従来の決

定方法よりも早く確定操作を行えることを示している。つまり、本手法は従来の

決定方法の決定と確定のタイミングのずれを減らすことができ、従来の決定方法

よりも操作を早く行えるプログラムである。

今後の展望として、本研究を行っている際、実験参加者が腰を叩くジェスチャー

を行っているのに、ジェスチャーが認識されないという事態が多かった。そのた

め、どのような動きが実験参加者を認識しやすいか検証する必要がある。また、こ

んかい実験参加者に話を聞いた結果、腰を叩くジェスチャーは、叩いた瞬間ポイ

ンティングを行っている手がずれることがある。テストによってやりやすい操作

が変わるという意見もいただけた。そのため、実際にどのようなジェスチャーが

実験参加者にとって操作しやすいか、ユーザーインターフェイスを考える必要が

ある。

19

謝辞

本研究を進めるにあたり、ご指導をいただいた卒業論文指導教員の渡辺大地講

師と三上浩司講師、同研究室の院生および学部生の方々には大変お世話になりま

した。心から感謝の意を表します。

20

参考文献

[1] 任天堂公式サイト. Wii remote.

http://www.nintendo.co.jp/wii/features/wii remote.html, 2011.

[2] ソニーコンピュータエンタテインメント公式サイト. Playstationmove.

http://www.jp.playstation.com/ps3/move/about/index.html, 2011.

[3] Xbox公式サイト. Kinect.

http://www.xbox.com/ja-JP/kinect, 2011.

[4] Sung Kelvin. Recent videogame console technologies. Published by the IEEE

Computer Society, 2011.5.

[5] Sunnybrook News and Media Hospital News. Xbox useful to surgeons.

http://sunnybrook.ca/media/item.asp?c=1&i=616, 2011,14.

[6] Xbox公式サイト. The kinect effect 世界に広がる kinect の展開.

http://www.xbox.com/ja-JP/kinect/Kinect-Effect/home, 2011,14.

[7] 竹内俊貴, 中島統太郎, 西村邦裕, 谷川智洋, 廣瀬通孝. Prima‐異なる時間軸上

のユーザとのインタラクションを実現するシステム‐. 東芝レビュー, Vol. 62,

No. 6, 2007.

[8] Jean-Christophe Naour. Kinect graffiti.

http://vimeo.com/24665893, 2010.

21

[9] Germany University of Konstanz. Navi　-a proof-of-concept of a mobile

navigational aid for visually impaired based on the microsoft kinect. 2011.

[10] Juan Diego Gomez, Sinan Mohammed, Guido Bologna, and Thierry Pun.

Toward 3d scene understanding via audio-description: Kinect-ipad fusion for

the visually impaired. 20011.

[11] 川西裕幸日本マイクロソフト株式会社, 太田寛. Kinectが取得する 20箇所の

関節. 2011.7.11.

[12] 日経エレクトロニクス. Kinectに見るジェスチャー入力の可能性. pp. 73–84,

2010.12.27.

[13] Hongli Lai. Using commodity visual gesture recognition technology to re-

place or to augment touch interfaces. P.O. Box 217, 7500AE Enschede The

Netherlands, 2010.

[14] Kinect for windows.

http://www.microsoft.com/en-us/kinectforwindows/, 2010.

[15] 星野聖, 玉城絵美, 谷本貴頒. 高速・高精度の手指形状推定システムによるロ

ボットハンド制御. 電子情報通信学会技術研究報告,HIP,ヒューマン情報処理,

pp. 45–50, 2006.11.30.

[16] 玉城絵美. 直感的な操作のための３次元ジェスチャ認識ライブラリの開発. 2008

年度上期未踏 IT人材発掘・育成事業 採択案件評価書, 2008.

[17] ジェスチャ認識を利用したマン・マシン・インタフェースの構築, author=入

江耕太 and梅田和昇 and若村直弘, booktitle=日本機械学会ロボティクス・メ

カトロニクス講演会 ’03 講演論文集, number=03-4, year=2003,.

[18] 入江耕太, 梅田和昇, 若村直弘. ハンドジェスチャを用いた大画面向けインタ

フェース. 筑波大学第三学群情報学類 卒業研究論文, 2005.

22

[19] 坂本圭, 大竹敏史, 池司, 藤谷将洋. ハンドジェスチャーインターフェース技

術. 東芝レビュー, Vol. 63, No. 11, 2008.

[20] ビヨンシュテンガー, 岸川晋久近藤伸宏. Cell broadband enginetm を用いた

ハンドジェスチャユーザーインタフェース. 筑波大学第三学群情報学類 卒業

研究論文, 2005.

[21] 松原孝志, 徳永竜也, 黒澤雄一, 星野剛史, 尾崎友哉. 快適操作を提案するユー

ザインターフェイス技術. Vol. 91, No. 09, pp. 726–727, 2009.9.

23

付録 A

表A.1: 1回目の既存手法を行い、テストにかかった時間協力者 指定された項

目テスト説明がある項目テスト

大きさの違う項目テスト

1人目 17.0 12.5 18.1

2人目 20.0 10.1 16.9

3人目 18.4 11.6 23.4

4人目 19.4 10.5 15.1

5人目 15.7 10.4 16.0

6人目 14.8 16.5 21.6

7人目 16.1 8.8 25.1

8人目 15.7 11.0 30.5

9人目 17.9 12.5 26.4

10人目 15.3 8.7 15.8

11人目 13.8 22.2 32.3

12人目 13.4 11.1 20.3

13人目 17.8 8.9 20.4

14人目 21.5 22.2 18.6

15人目 16.3 9.5 29.5

16人目 16.3 8.5 19.5

17人目 14.8 10.5 14.5

18人目 12.4 9.7 17.3

19人目 15.6 9.8 17.2

20人目 20.0 10.4 25.0

21人目 20.5 13.3 19.5

24

表A.2: 1回目の本手法を行い、テストにかかった時間協力者 指定された項

目テスト説明がある項目テスト

大きさの違う項目テスト

1人目 13.4 11.2 9.6

2人目 16.5 10.2 11.2

3人目 13.3 10.2 10.1

4人目 13.1 14.9 14.4

5人目 14.2 9.7 13.2

6人目 8.03 9.4 10.8

7人目 11.1 10.7 10.7

8人目 10.1 9.7 17.8

9人目 13.0 13.9 20.1

10人目 11.5 11.1 9.2

11人目 11.6 10.5 15.1

12人目 20.0 14.9 22.1

13人目 16.9 12.2 16.8

14人目 15.7 15.5 28.0

15人目 9.2 15.6 9.1

16人目 11.7 7.8 17.8

17人目 13.8 9.3 13.2

18人目 14.5 11.9 16.4

19人目 21.6 11.5 10.1

20人目 22.5 12.7 18.6

21人目 22.2 13.9 13.7

25