外国人や聴覚障害者のためのコミュニケーション支援技術

NTT未来ねっと研究所　中園 薫

対象：外国人(旅行者)，聴覚障害者，構音障害者，　　　怪我や病気で声が出せない人　　（音声でコミュニケーションできない）

目標：言語や障がいによる壁を越えて，自由にコミュニケーションがとれること

手段：文字の代わりに絵を使用し，電子携帯端末で表示させる総務省 戦略的情報通信研究開発推進制度（SCOPE）2008年度採択課題

ユニバーサルコミュニケーション支援技術VUTE：Visualized Universal Talking Environment

VUTEの特徴‣文字の代わりに絵記号を表示し，回答を選択する‣理解しやすい絵記号のデザイン

-マンガ的表現・手話的表現の利用‣最終的に電子携帯端末上で動作

-絵記号をアニメーション化 ーー 理解度の向上- 画面遷移によって，多くの候補からの選択が容易

‣現在はWebアプリケーション；誰でもパソコンで体験できる！

✦ 文章を組み立て，文字(eメール)や音声で出力

なぜ文字でなく絵記号なのか？‣聴覚障害者にとっての日本語文字‣先天的に聞こえない人：母語は日本手話‣日本語音声を聞いたことがないのに，ひらがなを覚えないといけない→日本語の読み書きを得意としない人がいる　「聴覚障害者にとっての文字情報提示の有用性」　　ヒューマンインタフェース学会誌 2008, 中園, 金

‣（当然ながら）外国人も日本語の読み書きは困難‣いくら多言語化しても読めない人は残される‣外国人の通報が少ない？？？

VUTE 2009

•火事，急病，怪我，交通事故などの緊急時

• 119番に電話する代わりに通報してくれる

•絵記号を指先のタッチなどで選択していく• GPSなどで現在地データを取得•メール送信または音声化

VUTE 2009 システム構成

利用者指令台

サーバー

VUTE 2009 の操作の流れ

• 事前にユーザ登録• 最初に現在地を入力（GPSの代わり）• システムからの質問に順次答えて行く

✴すべての質問は選択疑問文形式に統一

• 回答に答えたら，消防に伝えたい文章が完成→出力

VUTE 2009の会話

!"

#$%&%'()

*+,+-.)

/0

1203

45

67+.8&9()

:;<=>8&9()

?@ AB CD8E

8F8

•福岡県春日・大野城・那珂川消防本部の協力•119番の対話手順を調査→フローチャート化•Q&Aの繰り返しを絵記号で表現

評 価 実 験•被験者：•聴覚障害者 27名，健聴の日本人 27名，健聴の外国人 9名

•6種類の状況を設定，状況を文字のないマンガで説明する

•絵記号によるVUTE と，日本語文章表示のシステム，英語表示のシステムの3種類を実際に操作してもらう

•操作内容の正確さや，所要時間を計測

主 な 結 果

1)絵記号による回答は全員ほぼ正確に操作できた

2)所要時間は3グループとも

0.1

1

10

1 2 3 4 5

Rate of requiredtimes (P/E)

E. ability

「自分の母国語」＜「絵記号」＜「外国語」

今 後 の 課 題‣端末で動作するアプリの開発‣実際に導入する際の問題点の抽出‣どうやって連絡するか？Eメール？‣「了解した」という返事を返す方法‣実証実験：小規模な自治体等で実施？‣基礎的研究：‣わかりやすい絵記号の表現方法（手話の表現方法から学ぶ）

VUTE 2010

•駅などの公共交通機関でのコミュニケーションを支援する

•絵記号を指先のタッチなどで選択していく• GPS，電子タグなどで駅内の現在地データを取得•文字表示または音声化 •（参考用に）多言語ヘルプ機能

VUTE 2010の特徴•鉄道駅での会話を網羅

!"#$%#&'#

()*+,-./+# (0%12

+3#

()*+,45,+3#

!" #$%&

(6780-./+#9:;<9=>9?@A9BBB

'()* +,

(6CD0-./+#9BBB

(6EF0-./+#9BBB

選択肢が非常に多い

フローの深さを浅く（3段階）

(1)

(2)

(3)

(1) (2)

(3)

今 後 の 課 題

‣旅行会話のカバー率の評価- 旅行会話コーパスなどを利用

‣表示した情報の理解度- 3段階の質問の意図が理解できるか

- 個々の絵記号が理解できるか

- マンガ的表現が有効か‣実 証 実 験