メガネ型デバイス JINS MEMEを用いた ワークロード推定の基礎的検討

小川 剛史*1， 高橋 信*1， 上間 裕二*2， 川島隆太*3

Preliminary study on Workload Estimation using JINS MEME

Takafumi Ogawa*1, Makoto Takahashi*1, Yuji Uema*2 and Ryuta Kawashima*3

Abstract – In this study, mental workload has been evaluated based on the blink rate measured by the prototype eyewear device, JINS MEME. JINS MEME is able to measure electrooculography (EOG) and acceleration without burden on the subjects. The relationship between mental workload and blink rate during dynamic task has been estimated using JINS MEME. As the dynamic task, the computer game TETRIS has been chosen since the task load can be controlled by changing the speed of game progress. As the game progress, the speed of the game becomes faster, which results in the higher mental workload of the subjects. Two state of mental workload, low and high, have been determined based on the game performance and playing behavior. Additionally, NASA-TLX has been applied to confirm the level of mental workload. Twelve subjects participated in the experiments. The results demonstrated that ten out of twelve subjects showed negative correlation between blink rate and level of mental workload, which is consistent with the previous findings. It has been confirmed that JINS MEME can be applied to the workload estimation with minimum physical burden on the subjects.

Keywords: workload estimation, blink rate, wearable device

1. 背景

航空システムをはじめとする大規模システムにおいて

は，安全性向上多のための一つの方策として自動化が進

められているが，自動化システムと人間との間の齟齬に

よりトラブルも発生している．人間が機械システム側の

意図を読み取るという点においては，インタフェースの

改良等様々な研究が行われているが，機械システム側が

人間の状態を読み取ることははるかに困難な課題である．

人間と機械の協調においてどの程度機械側が主導権を持

つかという問題は，環境条件と人間側の変化する状況に

依存する問題であり，この問題は今後の自動化の一層の

拡大に伴い重要な問題である．このような人間の状態に

応じて支援のレベルを変える枠組みは Adaptive

Automation と呼ばれているが，このようなシステムの実現のためには機械の状態を人間が知り，人間の状態を機

械が知るという双方向性が必要となる．機械側が人間状

態を推定するという観点では，これまでも fMRI を用いた脳機能イメージングや心拍計測などによるワークロー

ド推定研究が行われてきているが，人間側の測定負荷が

大きく測定上の制約も多いため実用的な利用には至って

いない場合が多い．

本研究では，装着・計測の負荷が極めて少ないメガネ

型デバイスである JINS MEME より得られる眼電位デー

タに基づき，実環境下でのワークロード推定可能性の基

礎的な検討を行うことを目的とする．

2. 手法

2.1 瞬目の利用可能性 「目は口ほどに物を言う」と諺にもあるように，人間

の眼球の動きは様々な情報を提供する．瞬目やサッケー

ド運動などはその例であり様々な研究がなされている．

松尾はユーザビリティ評価において認知不安[1]の指標と

して瞬目を使用すること提案した[2]．また，瞬目率は課

題の難易度や疲労に関連して変化するとされており，ワ

ークロードの指標になるとしている研究も多く存在する．

特に視覚的な要求を必要とされる課題においてはワーク

ロードが増加するにつれて瞬目率は低下するという先行

研究もある[3]．本研究でも瞬目に着目しワークロードの

推定を行う．

2.2 JINS MEMEについて これまでの人間状態推定研究では，測定装置の物理的

制約のために実験室環境に制約され実環境への適用は困

難な場合が多い．本研究では JIN 社による開発中のメガ

ネ型デバイスである JINS MEME のプロトタイプを使用する．使用した JINS MEME の写真を図 1 に示す．本デ

バイスは三点式眼電位図法による眼電位と加速度センサ

による加速度，角速度データを取得できる．データ取得

のサンプリングレートは 133 Hzであり，Bluetooth®接続

によりリアルタイムでのデータの送信が可能である．更

に，専用のソフトウエアを用いることで瞬目や眼球運動

*1: 東北大学大学院 工学研究科 *2: 株式会社ジェイアイエヌ *3: 東北大学 加齢医学研究所 *1: Graduate School of Engineering, Tohoku University *2: JIN CO.LTD. *3: IDAC, Tohoku University

の判定を簡便に行うことができる．本デバイスによる眼

電位の計測結果の例を図 2 に示す．赤線が垂直方向の電

位の変化，青線が水平方向の電位の変化を示している．

デバイスの形状は通常の眼鏡と比較してもほとんど違い

はなく，軽量であり装着時の違和感などもないため日常

生活においても利用することができる．本研究では得ら

れたデータからワークロード推定の可能性を検討し，今

後の実環境下における本デバイスの適用可能性を検討す

る．

2.3 実験概要 被験者は裸眼もしくはコンタクトレンズ着用の東北大

学に所属している成人学生 12人（男性 10人，女性 2人，平均年齢 22.7歳）とし，連続的な判断を要求され，ブロ

ックの落下速度が変化することでワークロードを制御す

ることができるテトリスを課題として与えた．課題実行

時画面を図 3 に示す．本研究では実環境での適用可能性

についても考えるために PC を使用し，被験者を座らせ

た状態での計測を行った．テトリスの実施画面と発話プ

ロトコルを取得するためにビデオカメラによる記録を行

った．タスク遂行に関しては最後まであきらめないよう

に指示をしている．実験の全体の進行フローを図 4 に示

す．実験の説明を行った後に，使用するテトリスの操作

（すなわちブロックの回転と左右移動）の方法を学習す

る時間を 120 秒間設けた．このとき，ブロックの落下速

度は最低速度（ブロックの出現から最下端まで落下する

までの時間は 10秒）とし，キーボードによる操作方法の

習得とインタフェースの把握をしてもらうことを目的と

した．

次に練習タスクとしてブロックの落下速度が変化する

条件でゲームオーバーになるまで 2 回実施した．ブロッ

クの速度は 1 列消去するごとに段階的に上がっていくよ

うに設定した．このタスクではブロックの落下速度が体

感的にどの程度上昇するものであるかを経験してもらう

ことを目的とした．その後本番タスクとし，練習タスク

と同条件の下でゲームオーバーになるまで 5 回実施してもらった．

最後にワークロードの主観的評価を行ってもらうため

に NASA-TLXにより，ゲーム序盤と終盤のメンタルワー

クロードについて主観的に評価してもらった．

図１ JINS MEME (prototype) Fig.1 JINS MEME (prototype)

図 3 テトリス課題実行時画面の例 Fig.3 TETRIS example screen shot

図 2 JINS MEMEにより測定された EOGの例 Fig.2 EOG measured by JINS MEME

図 4 実験の流れ図

Fig.4 Experiment flow chart

3. 実験結果の解析

3.1 解析におけるワークロードの推定 実験中のワークロードの推定はビデオカメラにより記

録したテトリス実行中の画面と発話データに基づき行っ

た．ワークロードの推定は：①発話におけるポジティブ

なワード（「よし」「いい感じ」など），反射的なワードや

ネガティブなワード（「うわ！」，「間違えた」，「やばい」

など）の存在 ②降下中のブロックが作戦を持っているように設置されているかどうか（自然な配置がされている

かどうか） ③キーボードの操作音における高速連打など

の異常の有無，を参考にして行った．

3.2 解析区間の設定 瞬目率の推定のための時間幅として 20 秒の時間ウイ

ンドウを設定し，1 秒あたりの瞬目数（瞬目率）を求め

ることとした．ある程度の時間幅を持たせたのは，偶発

的な瞬目数の変化による結果のばらつきを抑えるためで

ある．ウインドウ幅を大きくするほど分散は小さくなる

が，広げすぎると短い時間でのワークロードの変化を捉

えられない可能性があるため，その妥協点として 20秒に

設定した．

ゲーム開始直後の進行スピードが遅い時点ではミスも

少なく，ワークロードは低くなることが想定されるが，

被験者の瞬目数が安定していない可能性があるため，本

研究ではゲーム開始から 20 秒後を基本的なデータの参

照始点とし，ゲーム開始から 20 秒～40 秒の区間を瞬目

率の算出に使用した．当然ながら，その時間でも個人の

能力や作戦によってミスなど望ましくない事象が発生す

る場合があり，このときのワークロードは高い水準にな

ることが予想される．したがって，基本的には 20秒～40秒を参照区間としつつも，そのような場合には例外的な

処理を施した．20秒間の前半でエラーが発生した場合にはエラー前の 20秒間を，後半の場合にはエラー後 5秒以

上の間隔を設けた区間から連続している 20 秒を低ワー

クロード区間として使用した．この場合もビデオデータ

と発話データも参照して低ワークロード領域を推測して

使用している．ほとんどの実験データが 20 秒～40 秒の

区間を採用しており，上記の処理を施したのは全 59サンプル中 6サンプルのみである．サンプル数が 60よりも 1

つ少ないのはデバイスのずれにより正しくデータを取得

できなかった例が存在しているためである．

ワークロードが高い状態の区間としてはゲームオーバ

ー直前の 20秒間を選んだ． 2人の被験者に関してはゲームに熱中するあまりは激しい動作を伴いノイズが大き

く乗ってしまったが，それらに関してはノイズが大きく

なる直前の 20秒間を区間として使用した．この際も発話データとゲーム状況からワークロードを確認した上で使

用している．

3.3 解析結果および考察 ワークロードが低いと想定した区間（低 WL）とワー

クロードが高い想定した区間（高 WL）の瞬目率を比較し，5%有意水準により検定を施したところ 12 人中 9 人

で高ワークロード区間において瞬目率が有意に減少する

ことを確認した．全被験者の瞬目率と検定結果を表 1 に

示す．検定による有意差を認められなかった被験者のう

ち，被験者 F と I は瞬目率が減少している．この 2 人のデータに対して効果量の評価をフリーのソフトウエアで

ある G*powerを用いて行った．ここで計算される効果量

は，想定した 2 つのワークロードの違いが瞬目率に対してどの程度の影響を与えているかを示す指標となる．被

験者 Fについては，効果量が 0.790と比較的大きく[4]，ワ

ークロードの違いによって瞬目率が変化していると考え

られる．一方，被験者 I については表 1 からは減少して

いるように見えるものの，効果量は 0.220 と小さく，今回の実験では変化を確認することはできなかったと考え

るのが妥当である．全被験者のうち唯一瞬目率が増加し

た被験者 Dについては，他の被験者と比較してもゲーム全体を通して瞬目率が非常に低く，そのために減少傾向

を見出せなかった可能性が考えられる．以上より，統計

的に有意差を認められたのは 9 人であるが，12 人中 10

人で減少傾向を確認できた．

NASA-TLXと瞬目数の比較をした図を図 5に示す．横軸を NASA-TLXによるWWL（Weighted Workload）の得

点，縦軸を瞬目率として表している．図における点線は

プロットの回帰直線である．回帰直線の傾きは負の値

(-0.0026)を示し，瞬目率はワークロードが高いほど小さ

くなる傾向が確認できた．これは先行研究[3]の結果を支

持するものである．

以上より，JINS MEMEを用い，瞬目数を解析した結果，

表 1 低 WL時と高 WL時の瞬目率と検定結果 Table 1 Blink rate and t-test result at low and high WL 被験者 低WL 高WL p

A 0.44 0.13 0.001** B 0.76 0.53 0.046* C 0.60 0.26 0.004** D 0.15 0.19 0.203 E 0.95 0.59 0.004** F 0.54 0.35 0.076 G 0.27 0.15 0.021* H 0.54 0.29 0.001** I 0.45 0.43 0.324 J 0.48 0.26 0.024* K 0.40 0.20 0.007** L 0.87 0.61 0.003**

**: p<0.01，*: p<0.05

本デバイスを使用してのワークロードの推定可能性を確

認した． 本デバイスは，多くの被験者から眼鏡との違いはほと

んど無く，装着時の違和感や不安感も無いという感想が

得られた．これはすなわち本デバイスが装着者にとって

非常に低負荷であることを示唆しており，実環境下にお

ける使用も十分可能であることを示している．本実験で

用いたデバイスはプロトタイプのため，レンズはついて

いないが，実際には個人に合わせてレンズを装着するこ

とができるため，裸眼の人も日常的に眼鏡をかけている

人も本デバイスを使用することが可能となる．このよう

に低負荷での測定が可能となる JINS MEME は，高い安全性を要求される分野における人間のワークロード推定

に大きな可能性を拓くと期待できる．本研究では実験室

環境でのワークロードの推定可能性を見出した段階であ

るが，今後はさらに実環境に近づけた場合での検証を試

みる予定である．

4. 結論

本研究ではワークロードが変化する作業タスクを被験

者に与え，JINS MEMEを用いることで眼電位情報を取得し，瞬目率に焦点を当てて解析を行った．ビデオ解析と

発話データから推測したワークロードの高い状態と低い

状態の各 20秒間から瞬目率を算出し，検定を施した．そ

の結果，12 人中 10 人の被験者で高いワークロード環境

下においては瞬目率が減少するという過去の研究結果を

再現し，装着負荷の極めて小さい JINS MEME によるワ

ークロードの推定可能性を示すことができた．本デバイ

スは今回使用した以外の瞬目強度や群発瞬目数，眼球運

動，加速度センサ情報などのデータも計測・提供してお

り，今後これらのデータを利用した解析を進めることで

ワークロードの推定精度の向上を目指す予定である．

5. 参考文献

[1] 海保 博之，原田 悦子，黒須 正明: 認知的インタ

フェース‐コンピュータとの知的つきあい方‐; 新曜社，pp.48-51 (1991)

[2] 松尾 太加志: ユーザビリティ評価における認知不

安の指標としての瞬目の利用可能性 ; 人間工学 , Vol.40, No.3, pp.148-154 (2004)

[3] Ahlstorm,U., et.al: Using eye movement activity as a correlate of cognitive workload; International Journal of

Industrial Ergonomics, 36, pp.623-636 (2006)

[4] 水本 篤，竹内 理: 研究論文における効果量の報告のために‐基礎的概念と注意点‐; 英語教育研究，

31, pp.57-66 (2008)

図 5 NASA-TLXの結果と瞬目率の関係 Fig.5 Relationship of WWL score and blink rate