全身による体験を中心としたエンタテイメントシステムの長期展示を通したコンテンツの客観評価手法神奈川工科大学 情報学部 情報メディア学科

白井暁彦・安藤歩美

はじめに

マンガ没入型VRエンタテイメントシステム

「Manga Generator」のプレイヤデータの集合知化を目的

コンテンツの嗜好複合ペルソナに注目したコンテンツのデータマイニング

姿勢データ必殺技ポーズデータの分類

マンガストーリー

1「この壁を越えて…」:「壁」2「隕石落下！」:「隕石」3「The visit to Laval」:「Laval」

4「あゆコロちゃんと大冒険！」:「あゆコロ」5「女子の力で森を救え！」:「女子力」

6「横浜中華街での出会い」:「横浜」

タイトル：略称

1「壁」 2「隕石」 3「Laval」 4「あゆコロ」5「女子力」6「横浜」

TEPIA先端技術館における長期展示

TEPIA先端技術館東京の北青山にある展示施設

2014年度の開館期間は267日

入場者数は41,525人

2014年4月より常設展示

2015年4月より無人運用化している

長期展示「TEPIA先端技術館」

萌芽的研究：コンテンツの客観評価手法

コンテンツの評価：画質評価手法は多いが，インタラクティブなエンタテイメントシステムの評価？

アンケートのような主観評価は制限が多い

不特定多数の体験者に同意を得た上で，自然な体験を通してデータを取得し，PDCAサイクル．

エンタテイメント体験の主たる体験者に“子供”がいるが，子供に客観評価は難しい(二瓶:2003)じっとしていないため，安定した生理的・心理的・神経学的データを取ることが難しい副作用の有無にかかわらず，倫理的問題をクリアすることが難しい

客観評価手法脳血液動態(NIRS)：快・不快，好き・嫌い，緊張・リラックスなど (坂本ら:2013)L-pod：加速度センサを用いて体験者の動きを推測(北田ら:2013)

手軽であるが展示型評価には不向き

測域センサやKinectを利用したコミュニケーション場の評価ResBe：「プレイしないプレイヤ」もシステムが把握可能(岩楯ら:2010)

高額，キャリブレーション必要Kineco：ResBe安価版でKinect v1を採用．キャリブレーション必要なし

6人までしか取得できないという弱点が存在これらの手法は遊戯空間全体の量的評価であるため個人の詳細なデータを判断することは難しい

7

背景・客観評価手法

二瓶健二. バーチャルリアリティは子供に何ができるか. 日本バーチャルリアリティ学会誌．阪本清美ら. TV 視聴コンテンツの種類が感情状態の生理心理計測に及ぼす影響(コミュニケーション支援, 一般). 電子情報通信学会技術研究報告.北田ら．スマートフォンの加速度センサを用いた微小不随意運動検出による動画視聴時の笑い評価手法岩楯翔仁ら. Resbe: エンタテイメントシステム周囲のコミュニケーション場に対する遠隔評価手法の提案. 第15 回日本バーチャルリアリティ学会大会論文集.田所康隆ら．エンタテイメントシステム展示を対象とした質的評価ツールの提案. エンタテインメントコンピューティングシンポジウム2013論文集.

W. James1842-1910

8

背景・笑顔研究の歴史

「人は幸福であるがゆえに笑うのではなく，笑うがゆえに幸福である」 (W. James : 1895)

笑いが人体に良い影響があることが明らかに「医療看護の場でのユーモアの意味と効用 ; 「笑い療法」を中心に」(中川 : 1989)「健康における笑いの効果の文献学的考察」(三宅ら : 2007)

“感情”と“表情”の結びつきFACS(Facial Action Coding System)(P. Ekman : 1978)

笑顔の訓練が活発化・トレーニングシステム登場「笑顔促進支援システム : Happiness Counter」(辻田，暦本ら : 2011年)]

個人認証やセキュリティに利用USJ年間パスポート(NEC「NeoFace」)Lenovo「VeriFace」，「FastAccess」(2011)Microsoft「Window Hello」(2015)

製品として普及SONY「Cyber – Shot スマイルシャッター」(2007)Intel RealSense, Kinect v2, Omron HVC-C(2014)

笑顔は微笑み(smile)と笑い(laughter)に大別「目と口の動きの追跡による笑顔の分類」(片岡ら : 2001年)表情・喉・腹に着目した笑い測定システムを用いて8パターンに類型化(森下ら :2008年)

笑顔の物理評価・笑顔を計測する試み「魅力的な笑顔に表れる幾何学的特徴」表情矩形の縦横比が黄金比(井口ら : 2007年)「リアルタイム笑顔度推定」事前登録を必要としない高速な笑顔認識を実現(小西ら : 2008年)

笑顔の哲学 笑顔を計測する 製品化・一般へ普及哲学から心理学・医学の分野へ

哲学的・心理学的・医学的

技術的

1900年以前 1970-1990年頃 2000年代 2010年代

従来のエンタテイメント体験評価には多くの問題主観評価(質的) ： 実験者の恣意が入る恐れがある

客観評価(質的) ： 子供には難しい

生理計測/ResBe： センサが高価

Wara-L(加速度)： 展示型評価には不向き

ResBe・Kineco ： 量的評価であるため質的評価不可

笑顔認識技術に着目した非接触・非装着かつ，子供にも体験が可能であり，一人ひとりの体験者の評価が可能な展示型評価向きの評価システムが必要

9

過去の研究事例

笑顔は分類可能であるが，意識的かどうかについて議論されていない(森下ら：2008)

「conscious(意識的)な笑顔」，「unconscious(無意識的)な笑顔」と定義

「consciousな笑顔」笑ってくださいという呼びかけ → 笑う

「unconsciousな笑顔」意識していない・自然発生的

!(unconscious) = conscious

10

関連：笑顔の分類と定義

受付設置型笑顔認識システムのメリットエンタテイメント体験の有無にかかわらず評価が可能

ネガティブデータの評価が容易になる

エンタテイメント体験をしない体験者の評価も可能

複数の笑顔認識システムの特性を調査「Intel RealSense」，「Face++」を併用

11

開発事例・笑顔認識によるエンタテイメント体験評価

*津田良太郎, 鈴木百合彩, 安藤歩美, 鈴木久貴, 白井暁彦. 複数の笑顔認識デバイスの同時使用によるVR エンタテイメントシステムの評価. 第20回日本バーチャルリアリティ学会大会論文集, 4pages, 2015.

笑顔認識デバイス

顔の特徴点78点を認識し，0~100で笑顔値を算出

笑顔の閾値が高く，日本人の笑顔では0が出やすいという特性がある．

笑顔認識ツール[Webサービス]

画像から顔情報を推定，特徴点認識し，0~1の値域で笑顔値を算出

笑顔の閾値は低く，真顔でも0が算出されることは少ない

複合ペルソナに注目したコンテンツのデータマイニング

複合ペルソナ

「複合ペルソナ」とは複数人を対象にしたユーザモデル

ミュージアムなどで見られる，親子連れ，カップル，または女子高生グループなどの単独では

ないペルソナ∗

*白井暁彦．白井博士の未来のゲームデザイン．ワークスコーポレーション， 2013．

想定された複合ペルソナ

タイトル：想定された複合ペルソナ

1「壁」 2「隕石」 3「Laval」 4「あゆコロ」5「女子力」6「横浜」

「あゆコロ」:小学生ファミリー「女子力」:女子高生グループ「横浜」:男兄弟とその友人

「壁」:男兄弟とその友人「隕石」:男兄弟とその友人「Laval」:国際

単日イベント「科学のひろば」で使用したマンガストーリーとその設計

単日イベント「科学のひろば」

単日イベント・体験方式

体験者はオペレーターの指示に従い体験開始，以後自由．オペレーターは体験者の観察

体験終了後，IDが記載されたスタンプカードにスタンプを押し同一体験者は1回目のデータを使用

単日イベント「科学のひろば」

単日イベント・体験者の性別と年齢層

実験参加者73名男性54名，女性19名

平均年齢9歳

10歳が最も多い

単日イベント「科学のひろば」

体験者の年齢と選ばれたマンガ

本イベントで一番多い小学生ファミリーを対象として設計されたあゆコロは6歳～10歳にプレイされた

女子力も小学生ファミリーを対象とした設計であったが著しく数が少なかった男：女＝54：19“女子”が響く年齢に特徴？

単日イベント「科学のひろば」

複合ペルソナ「小学生ファミリー」

体験者の観察から

最も多く見られたペルソナは「小学生ファミリー」

（親子連れ）であった

実際に体験する人と

連れてくる人が異なる

連れてくる人

「小学生ファミリー」の様子

体験するのは子供のみ

体験の始まりは子供の興味と親の勧め

子供だけでなく親にも興味を持ってもらう設計，親が体験させたいと思う設計が必要

子供（プレイヤ） 子供（プレイヤ）親 親

単日イベント「科学のひろば」

TEPIA先端技術館長期展示で使用しているマンガストーリー

2015年6月4日～7月7日を集計

1,204回の体験

長期展示「TEPIA先端技術館」

長期展示の選ばれたマンガ単日イベントとの違い女子力：女性の方が多い

家族連れが100組以上

大人も子供と一緒に体験

無人化することで大人も恥ずかしくない？

0

50

100

150

200

2 女子力 3 あゆコロ 4 壁 5 隕石

長期展示「TEPIA先端技術館」

結果の比較

展示形態 選ばれたマンガ順位，回数 メインのペルソナ 一日当たりの規模

科学のひろば<単日展示>オペレータあり

1．あゆコロ(26)2．隕石(19)3．壁(12)4．横浜(10)5．女子力(3)

小学生ファミリー親は見ているだけ

約70回

TEPIA先端技術館<長期展示>オペレータなし(無人化NUI)

1．隕石(375)2．あゆコロ(293)3．Laval(213)4．女子力(293)5．壁(143)

1男兄弟とその友人2小学生ファミリー親が一緒に体験

約40回

前に体験している人の体験を見て，同じストーリーを選ぶ傾向がある姿勢により描画が変わる機能のため？

NUIによる操作で選びにくいマンガがある左手で選ぶ操作により画面右下のマンガが

選びにくい？

ほかの要素と整理して追実験が必要

実験から考慮すべき要素

複合ペルソナとコンテンツ:まとめ

約1,200 件程度のナチュラルデータでマイニングを実現

複合ペルソナの中の非プレイヤの存在も明らかになった非プレイヤを含めて体験をして頂けるような設計が必要

常設展示のManga Generator は単日イベントに比べ

多種類の複合ペルソナが体験各マンガごとに多様なポーズが見受けられた

与えられたマンガのコマに対し，

体験者はどのようなポーズをとるのか

必殺技ポーズデータの分類と集合知の活用

必殺技の定義

必殺技とは敵に大打撃を与える技のこと

Manga Generator のマンガストーリーはA4 用紙1 枚で完結する必要があり，1 枚の中に起承転結がある

起承転結の「転」(見せ場のコマ)でとるポーズを「必殺技」と定義

自然なプレイヤデータから姿勢データの分類を行ったTEPIA先端技術館でのデータを使用(2015/7/8-7/15)

見せ場のコマ

集合知の活用事例

集合知を活用するためのコンポーネント(*Satnam Alag 2009～)

1. ユーザーに行動させる．

2. ユーザーから学んで集約する．

3. ユーザーの行動履歴と集約データを用いてコンテンツをパーソナライズする．

本研究では「Manga Generator」の展示から得られたプレイヤデータを集合知化し，Manga Generatorの発展(PDCA化)に貢献することを目標とした

*Satnam Alag，堀内孝彦，真鍋加奈子，真鍋和久(訳)「集合知イン・アクション」 ソフトバンククリエイティブ株式会社， 2009．

骨格情報の可視化

長期展示から抽出した体験データを用いて，

体験者の骨格情報の可視化を試みた

体験者が与えられたマンガの

見せ場のシーンに対して

どのような姿勢をとっているか

骨格情報の可視化

プレイヤのコマごとの骨格情報をCSVファイルに

保存する仕組みをManga Generatorに追加

骨格情報のCSVファイルを読み込み，

データを可視化するアプリケーションを開発

教師データに対する類似度の算出マスター ターゲット

cos θ V1

V2

cos θ (-1～1)

角度θ(度) 0 30 60 90 120 150 180

cos θ 1.0 0.87 1.0 0 -0.5 -0.87 -1.0

𝑎 ∙ 𝑏 = 𝑎 𝑏 cos 𝜃

cos 𝜃 = 𝑎 ∙ 𝑏

𝑎 𝑏

=𝑎1𝑏1 + 𝑎2𝑏2 + 𝑎3𝑏3

𝑎12 + 𝑎2

2 + 𝑎32 𝑏1

2 + 𝑏22 + 𝑏3

2

𝑎 = 𝑎1, 𝑎2, 𝑎3

𝑏 = 𝑏1, 𝑏2, 𝑏3 𝑎 ∙ 𝑏 = 𝑎1𝑏1 + 𝑎2𝑏2 + 𝑎3𝑏3

比較する6つのベクトル

[10]WristRight-[9]ElbowRight

[9]ElbowRight-[8]SholderRight

[6]WristLeft-[5]ElbowLeft

[5]ElbowLeft-[4]SholderLeft

[1]Spine-[2]SholderCenter

[1]Spine-[0]HipCenter

cosθ -1～1

閾値4.5

実験

TEPIA先端技術館展示の2015年7月8日から

7月15日のデータを使用242回分の体験データを取得

各マンガストーリーの必殺技コマのポーズを比較，考察

「壁」 31名が体験

「隕石」 70名が体験

「Laval」 42名が体験

「あゆコロ」 62名が体験

「女子力」 37名が体験

考察

特定の必殺技が多く表現されているという結果からそのストーリーが良いとは一概には言えない

「隕石」のマンガでは比較的ポーズの分類結果が四散→プレイヤが自由な発想で自然な体験を行えていると言える

「Laval」や「あゆコロ」のような半数弱が同じポーズをとっているマンガは，世界観があり分かりやすいストーリーであることが考えられる

Laval

あゆコロ

隕石

必殺技分類:まとめ

集合知としての「必殺技」を分類

ストーリーの作者の意図通りにプレイヤがポーズを

とるか否かが容易に判断することができた

描かれた背景で特定のポーズを誘導することが可能であった「あゆコロ」のパンチ

「女子力ビーム」などの架空の名称の必殺技を与えた場合のポーズも把握することが可能マンガストーリー製作に役立つ

システム展開の可能性

新しいManga Generatorの開発へ

今回取得した242件のデータを教師データとして利用し，プレイヤがとったポーズを自動で分類する 分類器

Manga Generator Visualizationの開発

非プレイヤへのアプローチの実現多重化不可視技術「ExPixel」を用いている

Manga Generator Visualization

眼鏡側の映像(プレイヤ向け)

Manga Generatorのプレイ画面

裸眼側の映像(非プレイヤ向け)

写真のスライドショー

Manga Generator Visualization

眼鏡側の映像(プレイヤ向け)

Manga Generatorのプレイ画面

裸眼側の映像(非プレイヤ向け)

シルエット画像の表示

あらかじめ用意したデータとプレイヤがとったポーズが一致した場合シルエット

画像を表示する

Manga Generator Visualization

非プレイヤへアプローチ非プレイヤへアプローチ

教師データの利用

教師データの利用

必殺技分類

Manga Generator Visualization

Manga Generator Visualization

ポーズデータのCSVファイルはそれぞれ一致するポーズごとにフォルダ分けして保存される

一致するポーズが無い場合，そのポーズを新しいポーズとして記憶する

次に同じポーズデータを読み込んだ場合，新しくフォルダが作成され分類される

Manga Generator Visualization

本システムによって姿勢の分類だけでなく，「非プレイヤを含む家族全員」のような複合ペルソナにアプローチすることが可能となった

結論

Manga Generatorの

プレイヤデータの集合知化を達成

→Manga Generatorにおける集合知複合ペルソナ/コンテンツの嗜好

姿勢データ

集合知を利用した新しいManga Generatorの開発により，

プレイしない人へのアプローチを実現，PDCAが可能に

今後の展望

一般的なポーズ 珍しいポーズ

統計的なデータを表示したい

Case1:TEPIA先端技術館から新しいコンテンツの製作を依頼された場合

1. 複合ペルソナに注目し，来館している複合ペルソナのターゲットを決める．

マジョリティな複合ペルソナ

マイノリティな複合ペルソナ

2. Manga Generator が取得しているRGB 画像を用いて顔認識や身長推定を行い，プレイヤの複合ペルソナの分類をすることで，ターゲットにした複合ペルソナに嗜好されているコンテンツを洗い出す．

Case2:マンガ出版社からコラボレーション依頼をされた場合

1. マンガをどの複合ペルソナにプロモーションするのかを決める．

例：少年誌のマンガであれば「男兄弟とその友人」の複合ペルソナ

2. その複合ペルソナが嗜好しているコンテンツや，表現しているポーズなどを分析してコンテンツの内容を決めて企画する．

Case3:動的なマンガストーリーを製作する場合

必殺技コマでのポーズが「棒立ち」であると戦いに敗れる結末となり，「元気なポーズ」であると戦いに勝利する結末となるような，プレイヤのポーズによってストーリーが変化するストーリー

プレイヤの必殺技ポーズを認識し，それに応じてストーリーが変化するマルチエンディング，動的なマンガストーリーを作ることができる

Manga Generatorの今後

“Manga Generator Pro”

株式会社プログマインド◦ T2V(Text to Vision)技術◦ 卒業生が4名在籍

http://www.progmind.jp/

R&Dを白井研究室で継続

社会へのDeployを企業と協力して推進

広告メディア技術◦ SNSとの連携◦ モバイル化