指による Command & Control -

コンデンサマイクの評価レポート

2015/02/07

佐藤良治

ゴール

生活の邪魔にならずにいつでもどこでも利用でき、目や手を占有することがない、指先動作によるマシンのコマンド＆コントロールを実現する。

背景

• 指＋キーボード・マウス・タッチは、デスクトップという環境に限定されているか、手や目を占有するという欠点を持つ。しかし、指の器用さを、環境に限定されず、目と手を占有せずに、生かしたい。

• 指＋キーボード・マウス・タッチパネルは、指の機械動作だけに頼っている。しかし、テキスト指示は音声が速い。位置指示は、視線が速い。指の器用さを、それらとともに生かしたい。

• 健常者の場合、指は、音声や視線が機能しない状況でのバックアップや、音声・視線による指示を補うフォールバックとなる。また、障碍者の場合、目＋指（手書き文字）で発声・聴覚の代替、音＋指（指でコントロールされた音声インタラクション）で視覚の代替となりうる。

明らかにしたいこと

• 指をコマンド＆コントロールの手段として使うために、• 指のジェスチャーを、マイクロフォーンで検出できるか？

• センサー装着場所の影響：手首。• ジェスチャーの種類：普及したデバイスの基本動作であるタップ ( クリッ

ク）とスワイプ（スクロール）。• マイクと加速度センサーを併用することで、指先の動きが見える

か？

• スコープ外のこと• ほかの一部製品と異なり、指先の 3D の動きの捕捉をターゲット

にしていない。• 指輪型デバイスは狙わない。• 空中でのジェスチャーはターゲットにしない。• ほかの多くの研究と異なり、人体の行動などの日常の動作のクラ

ス分けをターゲットにはしていない。

設定• Aruduino Duemilanova

• Serial transmission: 115200 baud per sec

• AnalogRead 1set の間に 1ms delay

• コンデンサーマイクロフォーン C9767• 増幅にアンプ LM386 を使用• 回路 http://

arms22.blog91.fc2.com/blog-entry-284.html

• 手首の内側（下側）に装着

• 加速度センサー KXR94-2050• 回路 http://

jkoba.net/prototyping/arduino/accel_practice.html

• 手首の外側（上側）に装着

結果

左手の人差し指で、右手の掌を、たたく

マイク出力

加速度センサー出力

約 1秒

左手の人差し指で、右手の掌を、こする

マイク出力

加速度センサー出力

約 1秒

左手の人差し指で、右手の掌を、こする

マイク出力

加速度センサー出力

約 1秒左手の移動

接触開始 接触終了

左手の人差し指で、左手の親指を、たたく

マイク出力

加速度センサー出力

約 1秒

左手の人差し指で、左手の親指を、こする

マイク出力

加速度センサー出力

約 1秒

わかったこと

• マイク出力は、ノイズ（環境、生体、回路）が、おびただしい。• コンデンサーマイク 2 個も試したが、単純な差や比ではノイズ

対策にならない。

• しかし、異なる波長に注目することで、手首のマイクで指先のジェスチャーを捕捉できそうである。• 指先の動きからくる振動は、ノイズと異なる波長のものとして

観察できる。• Tap と Swipe は、異なる波長やピークとして観察できる。

• 手首でも、柔らかい部分と固い部分とで、捕捉できる振動は異なるようだ。詳細は、周波数成分分析が必要だ。• 加速度センサーと併用することで、指＋手のジェス

チャーが捕捉できるかもしれない。詳細は、要検討。

次の実験

• 音の周波数成分を分析する。

• 客観的な指標（ HMM か ML によるクラス分け精度）で評価する。

謝辞

九州工業大学、大学院情報工学研究院の齊藤剛史先生からご指導をいただいております。