磁気式モーションキャプチャを用いた仮想空間に適した手書...

磁気式モーションキャプチャを用いた仮想空間に適した手書き文字入力システム

秋田大学大学院理工学研究科共同ライフサイクルデザイン工学専攻

講師藤原克哉

平成31(2019)年3月7日


本研究の経緯１秋田大学人間情報工学コース水戸部研究室

情報工学•電気電子工学•生体工学•認知科学の学際分野研究• 工学と医学の連携：医学部との共同研究

• THz帯電磁波による非破壊・非侵襲的成分検査• 癌治療のための感温磁性体を用いたハイパーサーミア(遠隔温度計測)

• 超高齢社会における交通事故防止• 歩行交通環境シミュレータによる危険予知能力の体験型訓練(VR技術)• 各種の交通環境シミュレータによる危険要因の分析

• 技能継承・伝統芸能継承・巧緻動作検査• 高速・高精度手指用モーションキャプチャ(MoCap)装置の共同開発❶• ピアニストの手指動作、西馬音内盆踊りの手指動作• 熟練外科医による心臓人工弁置換手術の手技• 熟練琴奏者の手指動作の透過型HMDによる重畳表示(VR技術)• 作業療法分野の手指巧緻動作検査の質的評価❷

http://mit.ie.akita-u.ac.jp/ 2


本研究の経緯２：要素技術❶磁気式手指用モーションキャプチャ装置

MoCap装置の特徴片手あたり16ヶ所の位置姿勢（6自由度）を計測光学式カメラ死角の問題が無いサンプリングレート：240Hz高分解能：位置：0.0038mm

角度：0.0012deg熟練外科医による心臓人工弁置換手術の手技

• 秋田大学と磁気式MoCap装置メーカとの共同開発• 水戸部他：特許第4465476号など

3


本研究の経緯３：作業療法の手指巧緻動作検査指腹を覆わない接触力測定技術の必要性

• 作業療法分野の巧緻動作検査• 動作と力加減を同時計測・解析したい

• 圧力センサを挟む？• 指腹の感触が違う異質の作業に• 指腹を覆わず、爪上の位置姿勢センサのみで→接触力推定

トークンをつまんで容器に入れる巧緻動作検査の計測風景

指先位置のMoCap計測結果例

コップの移動作業時の手指の接触力と位置姿勢の同時計測風景

指腹を覆う圧力センサ4


本研究の経緯４：要素技術❷磁気式手指用MoCapによる接触力推定

•指の変形による指腹位置の凹みと押す力の関係から• 高精度な位置姿勢測定により

・爪上の位置姿勢S0

・平面の位置姿勢→距離Z （指腹の凹み具合）→接触力FZを推定できる

接触力

Fz [N]

位置センサS0

非接触時の指腹上の計測点SP

平面との距離

Z[mm]

被験者Aの接触力FzとZの関係

接触時の凹んだ指形状

非接触時の指形状

5


没入型仮想空間での文字入力と既存方式の問題点

• 教育分野でのVR活用• VR教材を使いつつ、レポートや課題に取り組みたい。

• 没入型VRは、手元が見えない、座位のほか立位もある。• キーボードは向かない。• 音声入力は、多人数利用の教育現場では不可。

• 没入型VRの文字入力方式と問題点• ハンドコントローラMoCapを利用する方式

• 文字描画の開始・停止のボタン操作が煩雑• ボタン操作の動きによりブレが発生

• 手指のジェスチャ認識MoCapによる方式• 文字描画の開始・停止のジェスチャ操作が煩雑• ジェスチャ操作の認識ミスや認識タイムラグの発生

6


磁気式モーションキャプチャを用いたタッチ操作による手書き入力システム

• 頭に没入型HMDを装着。• 左手にアクリル板を持つ。•右示指でアクリル板に触れて字を書く。

USB&HDMI

USB

HMD

Tracking Cameras for HMD

Liberty Transmitter

Liberty Digitizer

LibertyReceivers

Calibration Points

7


磁気式モーションキャプチャを用いたタッチ操作による手書き入力の概要

• 利用者は、頭に没入型HMDを装着。• 利用者は、右示指(末節骨)爪上に位置姿勢センサを装着。• 利用者の右示指の指腹表面の1点SPを測定。• 利用者は、左手に位置姿勢センサ付きアクリル板を持つ。

• 実空間：アクリル板＝ VR空間：操作パネル• 実空間のアクリル板の位置姿勢を計測• 仮想空間の仮想操作パネルの位置姿勢に連動させ表示

•利用者は、右示指でアクリル板に触れて字を書く。• 実空間：右示指の指腹の点SP ＝VR空間：インク射出点• 実空間の右示指(末節骨)の位置姿勢を計測• アクリル板と右示指指腹の相対位置（示指の凹み具合）を計算• 相対位置（示指の凹み具合）から接触の有無と接触力を推定• 接触していれば接触力に応じた太さの線を描く（毛筆モード）

接触力

爪上センサS0

計測点SP

距離Z（凹み具合）

8


アクリル板を持って操作する利用者(実空間)

利用者の見ているVR空間

本入力システムの利用例（動画）

9


従来技術とその問題点

•静電容量式・感圧式など既存のタッチパネル技術の問題点•範囲のある接触面の重心等から1つのインク射出点を決定する。

•手指の接触具合に依存し射出点が利用者の感覚とズレることがある。

•インクの射出点を指に固定すべき•接触面ではなく、接触した指の位置からインク射出点を決定する。

10


新技術の特徴・従来技術との比較

•没入型VR空間において、立位や座位で利用できるタッチ操作による手書き文字入力システムである。

•インクの射出点を指先に固定できるため、従来のタッチパネルよりも直感的で繊細な線が書ける。

•従来のタッチパネル操作に慣れていれば使いやすく、半透明表示で書いている線が指に隠れない。

11


12

一筆書き立体図形モード（動画）


13

毛筆モード（動画）


「直書き」と「付箋書き＆付箋貼付け」

直書き付箋書き14


想定される用途

•没入型仮想空間での手書き文字入力•仮想空間を活用した教育現場での個人署名・インタラクティブ教材への回答・レポート作成

•タッチ対象の表面形状と表面素材を変更できる特性を利用したアプリケーション

15


実用化に向けた課題

•準備時間短縮のための、HMD装置・モーションキャプチャ装置の装着とキャリブレーションの手間の軽減

•適用範囲の拡大のための、HMD装置・モーションキャプチャ装置のワイヤレス化

16


企業への期待

•実用化に向けた課題の解決につながる技術を持った企業を探している。

•本技術を用いて、文字入力システムを製品化していただける企業を探している。

17


本技術に関する知的財産権

•発明の名称：入力システム•出願番号：特願2017-234737•出願人：秋田大学•発明者：水戸部一孝、藤原克哉、

丹野遼平

18


お問い合わせ先

秋田大学産学連携推進機構

特任准教授佐藤芳仁

ＴＥＬ 018－889－2712

ＦＡＸ 018－837－5356

e-mail staff＠crc.akita-u.ac.jp

19

磁気式モーションキャプチャ を用いた仮想空間に適した 手書...

Documents

磁気式モーションキャプチャを用いた仮想空間に適した手書...