世界初、聴覚障がい者や外国人と円滑で多様なコミュニケーションを実現するアプリを開発

　「しゃべり描きUI」は、三菱電機デザイン研究所の自主研究プロジェクト（Design X）で集まった様々な専門領域のデザイナー８名から生まれました。Design Xは、 “デザインで社会課題を解決する”というコンセプトのもと、若手社員を中心に2013年に生まれました。事業部門が異なるデザイナーがチームを組んで製品を考案しています。

プロジェクト「Design X」

壁を乗り越え、聴覚障がい者の方とも外国の方とも円滑にコミュニケーション

「しゃべり描きUI」の可能性

CASE1 聴覚障がいの壁を越える

従来より、手話ができない健聴者と聴覚障がい者との会話や異なる言語を利用する外国人との会話には、大きなコミュニケーションの壁が存在します。特に、日本においては、訪日外国人の急増を見据え、聴覚障がいや言語の壁は大きな社会課題と言えます。三菱電機は、世界で初めて、話した言葉を指でなぞっ

た軌跡に文字表示できる「しゃべり描きUI」を開発しました。このUIは、話しながらディスプレイをなぞると、

なぞった軌跡に文字が表示されるという新機能を持っています。「しゃべり描きUI」に、お絵描き機能や多言語翻訳機能などを組み合わせたしゃべり描きアプリは、直感的で親しみやすい操作性を実現し、これまでコミュニケーションをとることが難しかった聴覚障がい者や外国人と、気軽に楽しみながら直接会話することができます。

「しゃべり描きUI」は特別なスキルも必要なく、文字を書く負担や時間も省略できます。さらに、翻訳機能や直感的な操作性によって、聴覚障がいの壁や言語の壁を越えて、多様なコミュニケーションを実現します。「しゃべり描きUI」は聴覚障がいの方、外国人以外にも、耳の不自由な高齢者とのコミュニケーションにも活用できます。指先でしゃべる「しゃべり描きUI」は、世界中の多様

な人々の気持ちをつなぎ、より多くの人々が時間や空間を共有できる社会の実現に貢献します。※CEATEC2016 グランプリ（暮らしと家でつながるイノベーション部門）、IAUDアウォード2016　銀賞（コミュニケーションデザイン部門）、キッズデザイン賞　TEPIA特別賞（2017）、グッドデザイン賞　グッドデザイン・ベスト100（2017）など受賞。外部からも高く評価されています。

聴覚障がいの壁を乗り越えるためのツールとして、従来「手話」や「筆談」が使われてきました。しかしながら、健聴者が聴覚障がい者に対して書類や図を“指さし”ながら話しても、聴覚障がい者は健聴者の口の動きと指先を同時に見ることができないため、内容が理解しにくいという課題がありました。「しゃべり描きアプリ」は、文字やイラストを指さしたり、話した言葉を指先から表示したりできるので、画面を見るだけで話の内容を理解できます。

言葉の壁を乗り越えるためのツールとして、従来「翻訳アプリ」が使われてきました。しかしながら、すべて言葉だけで表現しなければならないという課題がありました。「しゃべり描きアプリ」は文字とイラストを自由に組み合わせて表現できるので、例えば道案内のシーンでも地図を描いて分かりやく説明・理解することができます。

聴覚障がいや言語の壁を乗り越え、楽しく円滑なコミュニケーションを支援。世界中の人々の気持ちが繋がる社会の実現に貢献します。

貢献できる主なSDGs※「しゃべり描きUI」の特徴

話しながらなぞると軌跡に文字を表示

※SDGs　持続可能な開発目標（Sustainable Development Goals）話しながらなぞる なぞった軌跡に文字表示

※UI：ユーザーインターフェース

シーンイメージ聴覚障がいを持つ子どもが、お絵描きをしながら親と会話 三菱電機グループと

SDGs

CASE2 言語の壁を越える

このアプリの開発のきっかけは、耳の不自由なインターン生との出会いです。「手話ができなくても、もっと話したい」そんな想いから、プロジェクトが始まりました。最初の想いを最後まで大切にしながらプロジェクトを進め、耳が聞こえな

いという「障がいの壁」だけでなく、言語が異なるという「国境の壁」も乗り越えられる、人と人の気持ちが繋がるコミュニケーション技術が完成しました。　　　　アプリを作る上で大切にしたのは、直感的で気持ちの良い操作感、そして

「しゃべり描きUI」によって生まれる人と人のあたたかい繋がりです。

開発者の声

三菱電機 デザイン研究所ソリューションデザイン部平井 正人

シーンイメージ旅行先で購入したいお土産の絵を描いて質問したり、地図を描いて行き方を説明

しゃべり描きUI

2018年6月発行