言葉を用いて獲得した顔の主観的イメージを 用いた...

38
筑波大学大学院博士課程 システム情報工学研究科修士論文 言葉を用いて獲得した顔の主観的イメージを 用いた似顔絵描写 平澤裕介 (知能機能システム専攻) 指導教官 鬼沢武久 2004 1

Upload: others

Post on 18-Feb-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

筑波大学大学院博士課程

システム情報工学研究科修士論文

言葉を用いて獲得した顔の主観的イメージを

用いた似顔絵描写

平澤裕介 (知能機能システム専攻)

指導教官 鬼沢武久 2004 年 1 月

Page 2: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

概要

本論文では、ユーザがモデルの顔から受けるイメージを言葉で入力し対話的に似顔絵描写

を行うシステムの構築を行う。ユーザが入力する言葉と顔の各部の大きさなどを定量的に表

現したパラメータ値には対応関係があり、言葉が入力されるとパラメータ値が変化し似顔絵

が作成される。本論文では、顔の各部の大きさ、傾き、形、位置など顔の各部の具体的な特

徴を表現する言葉(特徴語)とパラメータ値をユーザごとに対応付けることを行う。このユー

ザごとに各特徴語に対応付けたパラメータ値を特徴語に関する主観的イメージと呼ぶ。 特徴語に関する主観的イメージは、各特徴語に対応するパラメータ値をユーザがスライダ

を用いて直接操作することにより獲得する。獲得した各特徴語に関する主観的イメージは、

システムがパラメータ値の計算を行う際に利用し、似顔絵に反映させる。 獲得した特徴語に関する主観的イメージを用いた似顔絵描写の有効性を検証するために、

被験者実験を行う。被験者実験では似顔絵作成後に、被験者が自分で作成した似顔絵に対す

る主観的な評価と、他人が描いた似顔絵に対する客観的な評価を行い、その結果から本手法

の有効性を検討する。

Page 3: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

目次

第 1 章 はじめに ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 1 第 2 章 似顔絵描写システムの概要 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 3

2.1 似顔絵描写手法の全体構成 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 3 2.2 パラメータ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 4 2.3 初期入力 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 6 2.4 修正 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 13

第 3 章 特徴語に関する主観的イメージの獲得 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 18 3.1 特徴語に関する主観的イメージを獲得するために ・・・・・・・・・・・・・・・・・・・・・・・・・・・ 18 3.2 予備実験 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 19 3.3 特徴語に関する主観的イメージの獲得実験 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 20

第 4 章 実験 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 24 4.1 似顔絵作成実験 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 24 4.2 主観評価 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 26 4.3 客観評価 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 28 4.4 実験の考察 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 30

第 5 章 おわりに ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 32 謝辞・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 33 参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 34

Page 4: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

1

第 1 章 はじめに 顔から伝えられる情報は、その人物が誰かという個人性情報の他に、性別、年齢、職業な

どの社会的帰属、人柄の印象など広く人物の属性に関する情報、感情、意図、関心など人物

の心理状態に関する情報、更に口の動きに示される発話情報まで多岐に渡っている[1]。顔

の様々な情報は人間がコミュニケーションを行う上で重要な役割を果たしており、顔が持つ

情報を計算機上で扱うことができれば様々な用途に応用できると考えられる。このような顔

を計算機上で扱う研究として、表情生成[2]、アバターの表情制御[3]、顔画像生成[4]、顔の

アニメーション作成[5]、似顔絵生成[6-10]など多くの研究が行われている。本研究では、そ

の中でも似顔絵に注目する。似顔絵は莫大な情報を持つ顔の中から重要な情報を端的に表示

できる性質を持っているため、ホームページなどへの似顔絵の掲載やエージェントなど顔を

用いたコミュニケーションを行う場合には、実画像を用いるよりも似顔絵を用いた方が利用

者の情報や意図を表現しやすく、データ量を減らすこともできる。そのため、計算機を用い

ての似顔絵生成の試みは意義のあることと考えられる。 計算機を用いた似顔絵生成の研究では、実写の顔画像を用いて顔の特徴点を抽出し、それ

を強調することで似顔絵生成を行っているものが多い。文献[6]では、画像処理で得たワイ

ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

提案している。文献[7]では、顔の特徴点やエッジを画像処理により抽出することによって

似顔絵を生成する PICCASSO システムを用いて、表情が変化する連続画像を基に動きのあ

る似顔絵生成を試みている。文献[8]では、顔部品の形状特徴に対する固有空間と配置特徴

に対する固有空間を利用し、形状と配置の特徴を独立に制御しながら似顔絵生成を行ってい

る。文献[9]では、顔画像と画家が描いた似顔絵の相関関係を分析することにより画家の誇

張スタイルを学習し、誇張された似顔絵を描くシステムを提案している。文献[10]では、少

ない特徴点を用いての自動似顔絵生成手法を提案している。これらの研究では顔画像から似

顔絵を生成するため、顔画像に即したモデルの顔を物理的・客観的に正確に表現することが

できる。 一方で、顔を媒介としたコミュニケーションで重要な役割を果たしている情報の多くは、

顔画像に物理的・客観的に符号化されているのではなく、顔を観察する人間の感覚、知覚、

主観、感情など、いわゆる「感性」の働きによって初めてその内容が具体化するものである

という指摘がある[11]。また、感性の表現は言語という概念記号によらざるを得ない[12]、印象の計測では言葉による情報の獲得は非常に大切であるという指摘もある[13]。このよう

な考え方から、人間は言葉を用いることで感性情報の 1 つである顔の重要な情報を表現す

ることができると考えられる。この点を重視し、ユーザがモデルの顔から受けるイメージを

言葉で入力し対話的に似顔絵描写を行うシステムの構築が行われている[14]、[15]。このシ

ステム構築では、物理的・客観的に正確な似顔絵の描写をするのではなく、ユーザが持って

いるモデルの顔に関する主観的なイメージを似顔絵に反映させることを目的としている。ユ

ーザがモデルの顔の印象や特徴などの言葉を初期入力として入力するとシステムが似顔絵を

Page 5: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

2

出力し、ユーザは出力された似顔絵を修正したい場合には言葉を用いて修正を行う。このシ

ステムでは、あらかじめ顔の各部の大きさ、傾き、形、位置などを定性的に表現したパラメ

ータで設定しておき、パラメータを定量的に表現したものをパラメータ値と呼んでいる。言

葉の入力により似顔絵のパラメータ値を計算し似顔絵を作成している。このシステムでは、

アンケート調査によって、顔の全体的な印象を表現する言葉(印象語)に対応するパラメータ

値をユーザの主観に合うように決定し、似顔絵描写に反映させている[14]。しかし、顔の各

部の大きさ、傾き、形、位置など顔の具体的な特徴を表現する言葉(特徴語)に対応するパラ

メータ値は平均的な値に定められており、ユーザの主観が考慮されていない。 そこで本論文では、この似顔絵描写システムをさらに発展させ、各特徴語に対応するパラ

メータ値をユーザごとに決定し、似顔絵描写システムに付加することを考える。ユーザごと

に決定した特徴語に対応するパラメータ値を特徴語に関する主観的イメージと呼ぶことにし、

パラメータ値の計算を行う際に利用する。特徴語に関する主観的イメージを似顔絵に反映さ

せることで、初期入力後に出力される似顔絵の主観評価の向上につながると考えられる。 本論文は 5 章で構成されている。第 2 章では、本システムの概要についてまとめる。ユ

ーザは言葉を用いてモデルの顔を表現し、それに応じてシステムが似顔絵を出力する。第 3章では、特徴語に関する主観的イメージを獲得するための実験について述べる。第 4 章で

は、第 3 章で獲得した特徴語に関する主観的イメージを似顔絵描写手法に付加した場合の

有効性を検証するために行う被験者実験について述べる。被験者が自分で作成した似顔絵に

対して満足度という指標からの主観的な評価と、他人が描いた似顔絵から似顔絵のモデルが

どの程度認識できるかという指標からの客観的な評価を行い、その結果と考察をまとめる。

最後に、第 5 章で結論と今後の課題について述べる。

Page 6: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

3

第 2 章 似顔絵描写システムの概要

2.1 似顔絵描写手法の全体構成 本システムにおける似顔絵描写は、ユーザが言葉を入力することによって行われる。図

2-1 に示すように、ユーザによる言葉の入力は大きく分けると初期入力と修正の 2 つの部分

で構成される。ユーザが言葉を入力すると入力された言葉に応じてシステムがパラメータ値

の計算を行い、似顔絵を出力する。ユーザは、出力された似顔絵が納得できない場合は言葉

を用いて修正を行う。 初期入力、修正共に言葉の入力はあらかじめ用意されている言葉を選択することで行う。

似顔絵

髪型

顔型

印象

特徴

メガネ

初期入力

システム

パラメータ値の計算

似顔絵描写

ユーザのイメージ

髪型

戻る

特徴

メガネ

修正

印象顔DB

特徴語に関するユーザの

主観的イメージ

図 2-1 似顔絵描写手法の全体構成

Page 7: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

4

2.2 パラメータ 本論文では、図 2-2 に示すような顔の各部の大きさ、傾き、形、位置などを定性的に表現

したパラメータをあらかじめ設定しておく。そして、パラメータを定量的に表現したものを

パラメータ値と呼ぶ。ユーザが入力する言葉とパラメータ、パラメータ値を対応付けること

で、言葉の入力によりパラメータ値を変化させ似顔絵を作成する。表 2-1 に本研究で用いる

28 個のパラメータの名前を示す。本論文では、ユーザごとに決定した各言葉に対応するパ

1

23

4

7

8

9

11

1214

13

16

1718

19

22

23

26

27

28

56

10

15

20 21

24

25

は大きさ、形、傾きなどは位置を表す

輪郭

図 2-2 パラメータの種類

表 2-1 パラメータ番号とパラメータ名 部位 番号 パラメータ名 部位 番号 パラメータ名 部位 番号 パラメータ名 目 1 横幅 口 11 横幅 耳 22 横幅 2 縦幅 12 縦幅 23 縦幅 3 傾き 13 形 24 横位置 4 形 14 開き具合 25 縦位置 5 横位置 15 縦位置 輪郭 26 縦横比 6 縦位置 眉 16 横幅 27 ほほの形 7 瞳の大きさ 17 縦幅 28 あごの長さ

鼻 8 横幅 18 傾き 9 縦幅 19 形 10 縦位置 20 横位置 21 縦位置

Page 8: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

5

ラメータ値をその言葉に関する主観的イメージと呼ぶ。顔全体の印象を表現する言葉に関す

る主観的イメージの獲得は文献[14]で述べられている。また、具体的な顔の各部の特徴を表

現する言葉に関する主観的イメージの獲得は第 3 章で述べる。 言葉の持つ意味のあいまいさを表現するため、パラメータ j )28,,2,1( ⋅⋅⋅=j のパラメータ値

を三角型メンバーシップ関数 )2.0)(),(,2.0))((~ +− jrjrjrN )0.1)(0.1( ≤≤− jr を持つファジィ集

合[16]で表現する。ただし、 0.12.0)( −≤−jr の時 0.12.0)( −=−jr 、 0.12.0)( ≥+jr の時

0.12.0)( =+jr とする。すべての jに対して 0)( =jr となる時に日本人の若い男性の平均的な

顔になるように文献[17]を参考にしてパラメータ値を設定しておき、この顔を平均顔と呼ぶ。

本研究で用いる平均顔を図 2-3 に示す。

図 2-3 平均顔

Page 9: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

6

2.3 初期入力 初期入力では、ユーザはモデルの顔型、顔の印象、特徴、髪型を言葉で入力する。これら

の入力が終わると、システムは入力された言葉に応じた複数の顔候補をユーザに提示する。 入力を行う際にモデルの写真を見ると、その写真の印象に強く依存してしまいユーザがモ

デルに対して抱くイメージとずれてしまう可能性がある。本研究ではユーザのイメージを重

視するために、ユーザがモデルの顔を思い浮かべることができることを前提とし、終始ユー

ザはモデルの顔や写真を見ずにモデルの顔を思い浮かべてそのイメージを言葉にして入力す

る。入力する言葉はあらかじめ用意されており、ユーザはモデルに適している言葉を選択す

る。特徴がない、またはイメージできない部位については言葉を入力しない。 初期入力時のインタフェースを図 2-4 に示す。

図 2-4 初期入力時のインタフェース

Page 10: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

7

2.3.1 顔型 顔型は「丸」「卵」「三角」「四角」「ホームベース」の 5 種類の言葉が用意されてい

る。ユーザはこの中からモデルに最も適している言葉を 1 つ選ぶことができる。顔型を表

す言葉も後述する特徴語の一部として考える。

2.3.2 印象 本研究では「活発」「男っぽい」といった顔の全体的な印象を表現する言葉を印象語と呼

ぶ。表 2-2 に示すように、11 個の印象語が 5 つのグループに分かれており、ユーザは各グ

ループの中から 1 つずつ印象を選択することができる。 各印象語から受けるイメージがユーザごとに違ったり、1 個の印象語から複数のイメージ

を思い浮かべたりすることがある。この点を考慮するために事前に実験を行い、ユーザが顔

空間を広く探索した結果を基にアンケートを行うことで、ユーザごとに各印象語に関する 1個または複数個の主観的イメージを獲得する[14]。獲得した各印象語に関する主観的イメー

ジはユーザごとの印象顔データベースに保存しておく。印象語が入力されるとユーザごとの

印象顔データベースが参照され、印象語に関する主観的イメージが似顔絵に反映される。図

2-5 に印象語「活発」に関する主観的イメージの例を示す。

表 2-2 印象語とそのグループ分け グループ 番号 印象語 快活さ 1 活発、おとなしい

性別相応度 2 男っぽい、女っぽい、かわいい 強弱 3 強い、弱い

年齢相応度 4 大人っぽい、若々しい 優しさ 5 優しい、鋭い

図 2-5 あるユーザの印象語「活発」に関する主観的イメージの例

Page 11: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

8

2.3.3 特徴 本研究では「目が大きい」「眉が太い」といった具体的な顔の各部の特徴を表現する言葉

を特徴語と呼ぶ。 目、鼻、口、眉、耳、輪郭の各部位の特徴と各部位の位置の特徴は、表 2-3 に示すような

大きさ、傾き、形などの要素に分類される。さらに、表 2-4 に示すように要素ごとにいくつ

かの特徴語が用意されている。ユーザはこれらの特徴語の中から各要素につき 1 つずつモ

デルの顔に当てはまるものを選択する。モデルの顔に特徴がない場合や、その要素について

イメージできない場合はユーザはその要素の言葉の選択を行わず、システムは特徴がないこ

とを意味する「普通」と入力したとみなす。また、特徴語は副詞を伴って入力される。副詞

は「少し」「普通に」「とても」の 3 種類の中から 1 つを選択する。また、顔の部位とは

異なるがメガネについても特徴語の一部として入力することにする。メガネに関する特徴語

を表 2-5 に示す。 同じ「目が大きい」という特徴語を用いた場合でもユーザごとに思い浮かべる目の大きさ

は異なる。そこで、特徴語に関しても印象語と同様に、ユーザごとに各特徴語に関する主観

的イメージを獲得し似顔絵に反映させる。各特徴語に関する主観的イメージの獲得手法につ

いては第 3 章で述べる。

表 2-3 部位と位置の要素 部位 要素 目 目の大きさ、目の傾き、目の形、瞳の大きさ、瞳の特徴 鼻 鼻の大きさ、小鼻の大きさ、鼻の向き、鼻の高さ 口 口の大きさ、唇の特徴、口の開き具合、口の形 眉 眉の長さ、眉の太さ、眉の濃さ、眉の傾き、眉の形 耳 耳の大きさ、耳の位置 輪郭 顔の形、ほほの特徴、あごの長さ、顔型 位置 眉と眉の距離、眉と目の距離、目と目の距離、目と鼻の距離、鼻と口の距離

Page 12: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

9

表 2-4 部位と要素と特徴語 部位 要素 番号 特徴語 目 目の大きさ 1 大きい、小さい、細い 目の傾き 2 つり目、垂れ目 目の形 3 丸っこい、反っている 瞳の大きさ 4 大きい、小さい 瞳の特徴 5 パッチリ、眠そうな目

鼻 鼻の大きさ 6 大きい、小さい、長い 小鼻の大きさ 7 大きい、小さい 鼻の向き 8 上向き、下向き 鼻の高さ 9 高い、低い

口 口の大きさ 10 大きい、小さい 唇の特徴 11 厚い、薄い、おちょぼ口、たらこ唇 口の開き具合 12 開いている、閉じている 口の形 13 丸っこい、反っている

眉 眉の長さ 14 長い、短い 眉の太さ 15 太い、細い 眉の濃さ 16 濃い、薄い 眉の傾き 17 上がっている、下がっている 眉の形 18 丸っこい、反っている

耳 耳の大きさ 19 大きい、小さい 耳の位置 20 上、下

輪郭 顔の形 21 横長、縦長 ほほの特徴 22 ほっそり、ふっくら あごの長さ 23 長い、短い 顔型 24 丸、たまご、三角、四角、ホームベース

位置 眉と眉の距離 25 近い、遠い 目と眉の距離 26 近い、遠い 目と目の距離 27 近い、遠い 目と鼻の距離 28 近い、遠い 鼻と口の距離 29 近い、遠い

表 2-5 メガネに関する特徴語 部位 要素 特徴語 メガネ メガネの形 丸、四角

Page 13: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

10

2.3.4 パラメータ値の計算 本論文では、平均顔から似顔絵へのパラメータ値の計算にファジィ集合の平行移動の演算

方法を用いる。印象語と特徴語が入力されると、図 2-6 に示すように、入力された印象語と

特徴語に応じて平均顔の各パラメータ値を表すファジィ集合から似顔絵を表す各パラメータ

値のファジィ集合に平行移動される。各パラメータ値のファジィ集合の平行移動量を求める

ことで似顔絵のパラメータ値を計算する。

1.00-1.0

1.0

パラメータ値

平均顔

似顔絵

図 2-6 ファジィ集合の平行移動

特徴語は具体的な顔の各部位の特徴に関する言葉であり、顔全体の漠然とした印象を表現

している印象語よりも重視することでユーザの意図をより似顔絵に反映させることができる

と考えられる。そこで、入力された特徴語に沿ったパラメータ値の計算を行う。 従来の研究[14]で行われている特徴語の入力によるパラメータ値の計算は、平均顔のパラ

メータ値から見て同方向の要素は強調し、逆方向の要素は相殺するようになっている。本論

文では、印象語を表すパラメータ値から見て強調または相殺を行うことにする。また、従来

の研究では、入力された特徴語の要素同士が関連している場合にそれぞれが影響し合ったパ

ラメータ値が計算されるが、特に入力された特徴語に優先順を決めているわけではないにも

かかわらず、計算過程で計算の順序によって異なる結果が得られてしまうことがある。この

点を考慮し、計算の順序によらない計算を行う必要がある。以上より、パラメータ値の計算

を行う際に、入力された特徴語を重視し、印象語が表すパラメータ値から結果が計算の順序

に左右されない計算を行う。具体的な計算方法を以下に述べる。 入力された特徴語の要素番号を }29,,1|{ ⋅⋅⋅=ii 、パラメータ番号を }28,,1|{ ⋅⋅⋅=jj 、入力さ

れた印象語のグループ番号を }5,,1|{ ⋅⋅⋅=kk 、特徴語に伴って入力された副詞を表すファジィ

集合の中央値を )(if とする。「少し」「普通に」「とても」のそれぞれの副詞に対して、中

央値をそれぞれ 0.2、0.4、0.7 とする。

Page 14: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

11

入力された kグループの印象語の印象顔データベースを参照し、対応するパラメータ番号

jのパラメータ値を ),( kjimp とする。また、入力された要素番号 iの特徴語に対応するパラ

メータ番号 jのパラメータ値を ),(' jir とする。 ),(' jir は「普通に」という副詞を選んだ時に、

第 3 章で述べるユーザごとに獲得した特徴語に関する主観的イメージのパラメータ値にな

るような値とする。この時、似顔絵のパラメータ値 )( jr を以下の式より求める。 まず初めに、入力された印象語の印象グループごとに特徴語を考慮したパラメータ値

),( kjr を式(2.1)(2.2)より求める。

{ }

∑∑+

××+=

ii

ii

kjiw

jirifkjiwkjimpkjr

),,(1

),(')(),,(),(),( (2.1)

ただし、

{ }2),(),('25),,( kjimpjirkjiwi −×= (2.2)

式(2.1)では、入力された印象語に対応するパラメータ値 ),( kjimp と特徴語に対応するパラ

メータ値 ),(' jir を基にして ),( kjr を求める計算を行っている。 ),( kjimp の重みを 1 とした時

に ),(' jir の重みを式(2.2)より求める。式(2.2)において、 ),,( kjiw は ),(' jir の重みを表してお

り、 ),( kjimp との差が大きい ),(' jir の重みを大きくする。25 という係数は、係数の値を変

えて似顔絵を描写した時の被験者の評価を参考にして決定したものである。以上の iは入力

された特徴語がパラメータ jに対応している特徴語の要素のみについて考えることにする。 次に、式(2.1)(2.2)で求めた入力された印象語の印象グループごとに特徴語を考慮したパ

ラメータ値 ),( kjr について、入力された特徴語に最も近いものを似顔絵のパラメータ値 )( jrとする。パラメータ jに対応する特徴語の要素 iが少なくとも 1 つ存在する時には、式(2.3)の )(ksum が最小となる *kk = について似顔絵のパラメータ値 )( jr を式(2.4)より求める。

∑ −=i

jirkjrksum ),('),()( (2.3)

),()( *kjrjr = (2.4)

パラメータ jに対応する特徴語の要素 iが 1 つも存在しない時は、そのパラメータ jは特徴

語の影響を受けないため、入力された印象語を反映させるために、式(2.5)により似顔絵の

パラメータ値 )( jr を求める。

),()( kjrmaxjrk

= (2.5)

以上を入力された全ての主観的印象顔の組み合わせについて行い、求められたパラメータ

値の似顔絵を顔選択インタフェースでユーザに提示する。計算の結果すべてのパラメータ値

が全く同じになる場合には、同じ顔を出力しないようにする。

Page 15: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

12

2.3.5 髪型 髪型は個人差が大きく形が様々であるため、言葉で微妙な形の差を表現して入力すること

が困難であると考えられる。そこで、髪型についてはあらかじめ図 2-7 に示すようなサンプ

ルを用意しておく。ユーザが顔型、印象、特徴に関する言葉の入力を終えると、図 2-7 の髪

型選択インタフェースが提示され、ユーザは最もモデルに適している髪型を 1 つ選択する。

図 2-7 髪型選択インタフェース

2.3.6 顔選択 2.3.4 で述べたパラメータ値の計算を行い、ユーザの選択した髪型を付加した結果生成さ

れた似顔絵の候補が図 2-8 に示すような顔選択インタフェースに提示される。ユーザはその

中から最もモデルに似ていると思う顔を 1 つ選択する。システムはユーザが選択した顔を

初期入力後の似顔絵として次節で述べる修正時のインタフェースに出力し、初期入力終了と

なる。

Page 16: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

13

図 2-8 顔選択インタフェース

2.4 修正 初期入力後に出力された似顔絵がユーザのイメージと違う場合には言葉を用いて修正を行

う。修正は毎回出力される似顔絵を見て試行錯誤を繰り返しながら何度も行うことができる。

また、修正をやり直すために前の状態に戻ることもできる。修正の結果、最終的な似顔絵を

得る。 修正時のインタフェースを図 2-9 に示す。

Page 17: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

14

図 2-9 修正時のインタフェース

2.4.1 顔の各部、位置の修正 顔の各部位の大きさ、形、傾き、位置などの修正は初期入力の特徴と同様に、表 2-3 に示

す部位と位置の要素について副詞を伴った特徴語を入力することによって行われる。ここで

使用される副詞は「もう少し」「もっと」「だいぶ」の 3 種類であり、その意味を表すフ

ァジィ集合を図 2-10 に示す。また、特徴語は表 2-4 に示す言葉の他に、より細かい修正を

行えるように修正用の言葉を追加する。追加する修正用の言葉を表 2-6 に示す。修正時の特

徴語に対応するパラメータ及びパラメータ値は一意的に定められており、ユーザの主観的な

イメージは考慮されていない。

1.0

1.00

だいぶ もう少し修正なし

もっと

メンバーシップ値

0.90.80.5 図 2-10 修正に用いられる副詞のメンバーシップ関数

Page 18: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

15

表 2-6 修正用に追加した特徴語 部位 要素 特徴語 目 目の横幅 大きく 小さく 目の縦幅 大きく 小さく 目の位置 上に 下に

鼻 鼻の横幅 大きく 小さく 鼻の縦幅 大きく 小さく 鼻の位置 上に 下に

口 口の横幅 大きく 小さく 口の位置 上に 下に

耳 耳の横幅 大きく 小さく 耳の縦幅 大きく 小さく 耳の位置 内側に 外側に

顔の各部位の大きさ、形、傾き、位置などの修正時のパラメータ値の計算は、ファジィ真

理値限定[16]を用いて式(2.6)のように行う。

)('

FTT

FTTFT

µµµµµ

== o

(2.6)

ただし、 'FTµ 、 FTµ 、 Tµ はそれぞれ修正後のパラメータ値、修正前のパラメータ値、修正に

使用される副詞のメンバーシップ関数である。

2.4.2 髪型、メガネの修正 髪型はモデルの持つイメージを的確に表現する上で非常に重要な要素の 1 つであり、微

妙な変化によって顔の見え方が変わる。そこで、顔の他の部位と同じように髪型にもパラメ

ータを設定し言葉を用いて修正することができるようにする。ただし、髪型は形や長さが

様々で全てをパラメータで表現し、言葉だけで扱うことは困難であるので、初期入力で図

2-7 に示したサンプルの中から髪型を選択した後に、修正時に言葉を入力し髪型のパラメー

Page 19: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

16

タ(「前髪の長さ」「後ろ髪の長さ」「額の位置」「色」)を操作することで微調整を行うこ

ととする。 髪型に関して入力することができる言葉を表 2-7 に示す。また、微調整を行った髪型の例

を図 2-11 に示す。図 2-11 は、中央に示した髪型を図 2-7 の髪型選択インタフェースの中か

ら選択し、修正時に微調整を行った例を示している。 また、メガネの形の修正も行うことができる。メガネを修正するために入力することがで

きる言葉を表 2-8 に示す。

表 2-7 修正時に髪型に関して入力することができる言葉 要素 言葉

前髪の長さ 長く、短く 後ろ髪の長さ 長く、短く 額の位置 上に、下に 髪の色 黒に、茶に、金に、灰に、濃茶に、薄茶に、赤茶に

(a)前髪の長さ

(b)後髪の長さ

(c)額の広さ

(d)髪の色

図 2-11 微調整を行った髪型の例

Page 20: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

17

表 2-8 修正時にメガネに関して入力することができる言葉 要素 言葉

メガネの形 丸に、四角に、メガネなし メガネの横幅 大きく、小さく メガネの縦幅 大きく、小さく

Page 21: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

18

第 3 章 特徴語に関する主観的イメージの獲得 これまでの研究[14]、[15]では、印象語に関する主観的イメージを獲得し似顔絵描写に反

映させている。しかし、特徴語に関しては主観的イメージが考慮されておらず、平均的なイ

メージが似顔絵描写に反映されている。特徴語は具体的な顔の各部位の特徴に関する言葉で

あり、顔全体の漠然とした印象を表現している印象語よりも重視することでユーザの意図を

より似顔絵に反映させることができると考えられる。そのためには、特徴語に関する主観的

イメージを獲得し、似顔絵に反映させる必要がある。 本章では、個人ごとの特徴語に関する主観的イメージを獲得するための被験者実験につい

て述べる。

3.1 特徴語に関する主観的イメージを獲得するために 特徴語に関する主観的イメージを獲得するためには、ユーザごとに各特徴語に対応するパ

ラメータ値を決定する必要がある。各特徴語に対応するパラメータ値を決定する方法として

は次の 2 つが考えられる。 1 つ目の方法は、被験者に様々な顔を提示し、それぞれの顔が各特徴語をどの程度表した

顔であるかを評価してもらい、それぞれの顔の評価値とパラメータ値について相関分析を行

うことでその特徴語を表現するのに必要な顔のパラメータ値を決定する方法である。文献

[14]ではこの方法により印象語に関する主観的イメージの獲得を行っている。しかし、この

方法は必要な顔のパラメータ値を決定するために被験者に提示する顔の数が膨大になってし

まうという欠点がある。本システムで用意している特徴語の数は表 2-4 のように 65 個ある

ため、1 つ目の方法で行うとたくさんの顔について評価しなければならず、被験者の負担が

増加するうえに顔に対する評価基準があいまいになってしまう可能性が大きい。2 つ目の方

法は、パラメータ値を被験者が自由に動かすことによって試行錯誤しながら直接被験者に各

特徴語に相応しい顔を描いてもらうことにより、その特徴語を表現するのに必要な顔のパラ

メータ値を決定する方法である。この方法はあらかじめどのパラメータを操作すればその言

葉を表現する顔を描くことができるかをある程度被験者が自覚していれば、1 つ目の方法と

比べて各特徴語に対応するパラメータ値を決定するための被験者の負担が減る。つまり、言

葉に対応するパラメータの数が少なく被験者がそれを明示的に定めることができれば、2 つ

目の方法で特徴語に対応するパラメータ値を決定することができる。 この点を確認するために、被験者が特徴語について何個のパラメータに注目しているかを

調査するために予備実験を行う。もしそれが少数であれば被験者がその特徴語を表現するの

に必要なパラメータを明確にすることができていると判断できるため、2 つ目の方法で特徴

語に関する主観的イメージを獲得することができる。

Page 22: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

19

3.2 予備実験 3.2.1 予備実験の内容

被験者は大学生、大学院生の男性 4 名で、図 3-1 のようなインタフェースを用いて顔を

次々に提示し、それぞれの顔について「目の大きさ」「口の形」「眉の傾き」の 3 つの特

徴語の要素に相応しい言葉をあらかじめ用意した特徴語の中から 1 つ選択してもらう。用

意した特徴語は、「目の大きさ」であれば「とても大きい」「大きい」「少し大きい」「普

通」「少し小さい」「小さい」「とても小さい」であり、副詞で修飾したものを含めて全部

で 7 つの言葉である。この 7 つの特徴語を表 3-1 に示す。提示された顔が用意されている特

徴語で表現できないと判断した場合には「当てはまらない」ボタンを押してもらうことにす

る。 提示する顔は 28 個の各パラメータ値を乱数を用いて不規則に変えた顔とする。これは、

提示する顔に多様性を出すためである。ただし、パラメータ値を ]0.1,0.1[ +− の範囲とすると

各パラメータ値の絶対値が大きい場合に顔に見えないような顔を提示することが多くなるの

で、 ]5.0,5.0[ +− の範囲で不規則にパラメータ値を変化させて提示する顔を表現することにす

る。被験者には 50 個の顔について評価を行ってもらう。

図 3-1 予備実験のインタフェース

表 3-1 予備実験で被験者が評価するときに用いた言葉 特徴語の要素 目の大きさ 口の形 眉の傾き

とても大きい とても丸っこい とても上がっている 大きい 丸っこい 上がっている

少し大きい 少し丸っこい 少し上がっている 普通 普通 普通

少し小さい 少し反っている 少し下がっている 小さい 反っている 下がっている

特徴語

とても小さい とても反っている とても下がっている

Page 23: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

20

3.2.2 予備実験の結果・考察 実験で得られた評価値と顔のパラメータ値のデータの組み合わせから、各特徴語を表すた

めにどのパラメータに注目しているのかを個人ごとに分析する。各特徴語についてそれぞれ

の評価値とパラメータ値の相関をとることにより、各特徴語の度合いが強い場合にパラメー

タ値が大きい(小さい)というような関係性を導き出す。ここでは、主観的印象顔[14]を求め

るのと同様にスピアマンの順位相関係数を用いて評価値とパラメータ値の相関分析を行う。

ただし、「当てはまらない」ボタンを押した時のデータは分析に含めないことにする。 表 3-2 は各被験者(A~D)が 3 つの特徴語の要素に対して選んだ特徴語に対する評価値と

28 個のパラメータ値の相関分析の結果、両者に相関があると推定されたパラメータを示し

ている。全ての被験者、全ての特徴語の要素において、1~3 個のパラメータに相関がある

と推定されている。この結果から、特徴語に関しては言葉に対応するパラメータの数が少な

く、被験者がそれを明示的に定めることができると考えられる。よって、前節で示した 2つ目の方法で特徴語に関する主観的イメージを獲得することができる。

表 3-2 予備実験の相関分析の結果、相関があると推定されたパラメータ (( )内の数字は表 2-1 のパラメータ番号を示している)

特徴語の要素 目の大きさ 口の形 眉の傾き

被験者 A 目の横幅(1) 目の縦幅(2) 口の形(13) 眉の傾き(18)

顔の縦横比(26)

被験者 B 目の横幅(1) 目の縦幅(2) 口の形(13) 眉の傾き(18)

被験者 C 目の横幅(1) 目の縦幅(2)

口の横幅(11) 口の形(13)

顔の縦横比(26)

口の縦位置(15) 眉の傾き(18)

被験者 D 目の横幅(1) 目の縦幅(2) 口の形(13) 眉の傾き(18)

3.3 特徴語に関する主観的イメージの獲得実験 前節の予備実験から、ユーザは特徴語に関して対応するパラメータを明確にすることがで

きていると確認された。本節では被験者ごとに各特徴語に対応するパラメータ値を決定する

ための実験を行う。

3.3.1 実験の内容 被験者は 8 名(男性 6 名、女性 2 名)の大学院生である。まず初めに、被験者に特徴語の要

素とそれに対応する特徴語を提示し、その特徴語を表現するのに必要だと思われるパラメー

タを選択してもらう。これにより、各被験者が各特徴語に対応するパラメータと対応しない

Page 24: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

21

パラメータを明確にする。これは、図 3-2 に示すインタフェースのスライダを用いて行う。

次に、それぞれの特徴語に相応しい顔を図 3-3 に示すインタフェースのスライダを用いて作

成してもらう。この時は、被験者がその特徴語を表現するのに必要でないとしたパラメータ

は平均顔のパラメータ値で固定しておき、必要であるとしたパラメータの値のみをスライダ

を用いて変化させる。作成した顔のパラメータ値をその特徴語に対応するパラメータ値とし

て採用する。以上の流れを表 2-4 に示す全ての要素、特徴語について行う。ただし、実験を

行う前に被験者にスライダを自由に動かしてもらい、各被験者に各パラメータと顔の対応関

係に十分に慣れてもらう。また、顔を作成する時の基準として、各特徴語を「普通に」とい

う副詞で修飾した時に適当であると判断できる顔を作成してもらうことにする。提示された

特徴語を表現できない場合はその特徴語に関しては顔の作成を行わない。被験者が表現でき

ないとした特徴語に関しては、似顔絵描写の初期入力時にその特徴語のボタンを非表示にし

て入力することができないようにする。

図 3-2 特徴語を表現するのに必要なパラメータを選択

図 3-3 それぞれの特徴語に当てはまる顔を作成

Page 25: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

22

スライダの操作により変化する顔は、各部の大きさや位置の自由度をできる限り大きくす

る。つまり、スライダの動かし方によっては目が顔からはみ出したり鼻と口が重なることも

あるが、不自然な顔であるかどうかは被験者自身が判断することにする。また、各パラメー

タは基本的に他のパラメータから独立しているものとするが、「目の傾き」「目の形」は

「目の横幅」に、「口の形」は「口の横幅」に、「眉の傾き」「眉の形」は「眉の横幅」に

依存することにする。また、各部の基本的な位置は「顔の縦横比」に依存することにする。 全ての特徴語に関して主観的イメージを獲得した後に、獲得した特徴語に関する主観的イ

メージが各特徴語に相応しいかどうかを各被験者に確認してもらう。相応しくない場合は、

再び図 3-2、図 3-3 に示すインタフェースを用いてその特徴語に関する主観的イメージを修

正する。

3.3.2 実験の結果 実験により得られた特徴語「目が大きい」に関する主観的イメージの実際の出力例を図

3-4 に、対応するパラメータとその値を表 3-3 に示す。表 3-3 の斜線は、被験者が特徴語に

対応しないと判断したパラメータである。被験者ごとに特徴語に対応するパラメータが異な

り、また各パラメータの値にも個人差が生じており、各ユーザの各特徴語に関する主観的イ

メージが獲得されていることがわかる。 獲得した特徴語に関する主観的イメージは第 2 章で示した初期入力のパラメータ値の計

算時に利用され、似顔絵に反映される。

(a)被験者 A (b)被験者 B (c)被験者 C (d)被験者 D

(e)被験者 E (f)被験者 F (g)被験者 G (h)被験者 H

図 3-4 特徴語「目が大きい」に関する顔の主観的イメージ

Page 26: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

23

表 3-3 特徴語「目が大きい」に対応するパラメータとその値 パラメータ 目 眉

横幅 縦幅 形 横位置 縦位置 瞳の

大きさ 横位置

被験者 A 0.14 0.15 0 0.06 0 0.15 被験者 B 0.06 0.08 0.09 0.07 0.09 被験者 C 0.06 0.08 0 0.07 被験者 D 0.14 0.09 0.07 被験者 E 0.16 0.08 -0.01 0.07 被験者 F 0.11 0.19 0.17 被験者 G 0.14 0.09 0 0 0.11 被験者 H 0.05 0.08 0.09

Page 27: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

24

第 4 章 実験 第 3 章で獲得した特徴語に関する主観的イメージを用いた似顔絵描写手法の有効性を評

価するために被験者実験を行う。本章では、特徴語に関する主観的イメージを用いた場合を

本システム、用いない場合を従来のシステムとする。まず、被験者が似顔絵を作成する似顔

絵作成実験を行う。次に、作成した似顔絵を用いて主観評価と客観評価を行う。

4.1 似顔絵作成実験 似顔絵を作成する被験者は、第 3 章で特徴語に関する主観的イメージを獲得する実験を

行った被験者と同じ 8 名(男性 6 名、女性 2 名)の大学院生である。男性被験者 6 名は全員似

顔絵のモデルも務める。モデルはいずれも 20 代の日本人の男性であり、被験者全員が顔を

思い浮かべることができる親しい人物である。男性被験者は自分以外のモデル 5 名の似顔

絵を作成する。女性被験者は 6 名のモデルの似顔絵を作成する。 まず初めに、各被験者は 5 名(または 6 名)の各モデルについて初期入力と髪型の選択のみ

を行う。ここで各モデルについて入力された言葉と選択された髪型を 2 つのシステムを用

いてそれぞれのモデルの似顔絵を描く時の初期入力とする。次に、各被験者は本システムと

従来のシステムの 2 つのシステムのどちらかを用いて各モデルの似顔絵を 1 回ずつ描く。

各モデルを描く時に用いるシステムはランダムに決定することにし、被験者にはどちらのシ

ステムを用いて似顔絵を描いているのかを告げない。また、モデルの順番もランダムに決定

することにする。この時、被験者は複数の顔が顔選択インタフェースに提示されているとこ

ろから似顔絵作成を開始する。各モデルについて 1 回ずつ似顔絵を描き、時間をおいた後

に、1 回目に描いた時に使用しなかったシステムを用いて各モデルの似顔絵を 1 回ずつ描く。

1 回目と同様に、被験者は複数の顔が顔選択インタフェースに提示されているところから似

顔絵作成を開始する。また、被験者には実験中感じたことを随時メモしてもらう。このよう

にして各モデルとも 7 名の被験者が似顔絵を作成し、似顔絵ののべ個数は 42 人分となる。

顔選択インタフェースで顔を選択した後に最初に出力される似顔絵を修正前の似顔絵、修正

を繰り返した後の最終的な似顔絵を修正後の似顔絵とする。 図 4-1 に各モデルの写真と各モデルに対して作成された似顔絵の例を示す。

Page 28: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

25

写真 従来のシステム 本システム 修正前 修正後 修正前 修正後

(a)モデル 1 (被験者 F)

(b)モデル 2 (被験者 C)

(c)モデル 3 (被験者 C)

(d)モデル 4 (被験者 B)

(e)モデル 5 (被験者 F)

(f)モデル 6 (被験者 G)

図 4-1 各モデルの写真と作成された似顔絵の例

Page 29: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

26

4.2 主観評価 被験者は、修正前の似顔絵が出力された時点、及び修正が完了した時点で似顔絵が自分の

イメージに合っているかの満足度を主観評価として図 4-2 に示す 7 段階で評価する。 従来のシステムを用いた場合と本システムを用いた場合の評価値の変化を表 4-1 に示す。

また、各被験者の修正前と修正後、従来のシステムを用いた場合と本システムを用いた場合

の評価値の平均値を図 4-3 に示す。

図 4-2 満足度の 7 段階評価

表 4-1 似顔絵の評価値の変化(次頁へつづく) 従来のシステム 本システム

モデル 被験者 修正前 修正後 修正前 修正後 A -2 -1 0 +1 B +1 +2 +1 +3 C +1 +2 +1 +2 D +2 +3 +2 +3 F +1 +3 +1 +3 G -2 +1 +1 +2

1

H +1 +2 0 +1 A -1 +1 +2 +3 B -2 +2 +2 +3 C -1 +1 +1 +2 D +2 +3 +1 +3 E +1 +2 0 +2 F +1 +2 +2 +3

2

H 0 +2 0 0 A 0 +2 0 +2 B -2 +2 +1 +1 C 0 +2 +1 +2 E -1 +2 +1 +2 F +2 +3 +2 +3 G -2 +1 +2 +3

3

H +2 +3 -1 +1

Page 30: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

27

表 4-1 似顔絵の評価値の変化(つづき)

従来のシステム 本システム モデル 被験者 修正前 修正後 修正前 修正後

A 0 +2 +1 +2 B -2 +2 +1 +3 C -2 +1 -2 +1 D +1 +3 +1 +3 E -2 +1 -1 +1 G +1 +2 +1 +1

4

H -2 -1 -2 0 B +3 +3 +2 +3 C -3 +1 0 +2 D +1 +3 +2 +3 E +1 +2 +2 +2 F +1 +3 +1 +3 G +1 +3 +2 +3

5

H +1 +2 +2 +3 A +1 +2 -1 +1 B +1 +3 +2 +3 C -3 +1 0 +2 D +2 +3 +2 +3 E 0 +2 -2 0 F +1 +2 +2 +2

6

G -1 +2 +1 +2

-3.0

-2.0

-1.0

0.0

1.0

2.0

3.0

A B C D E F G H

被験者

評価値

従来のシステム修正前

従来のシステム修正後

本システム修正前

本システム修正後

図 4-3 被験者ごとの評価値の平均値

Page 31: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

28

4.3 客観評価 客観的な評価として、作成された似顔絵が誰をモデルにした似顔絵であるかを判別し、そ

のモデルのイメージをどの程度表しているかを調査する実験を行う。被験者は前節で似顔絵

作成を行った被験者と同じ 8 名(男性 6 名、女性 2 名)の大学院生である。被験者は 1 つずつ

提示される似顔絵が誰をモデルにしたものであるかを回答する。回答は正解のモデルを含む

10 名の回答候補者の中から 1 人を選ぶことにする。ただし、被験者と回答候補者が同一人

物の場合は 9 名の回答候補者の中から選ぶことにする。回答候補者はいずれも被験者と親

しい人物である。被験者に回答候補者の写真を提示するとその写真のイメージに強く依存し

てしまう可能性がある。そこで、被験者がモデルに抱くイメージとずれないようにするため

に、被験者には回答候補者の名前だけを提示し写真は提示しない。回答を 1 人に決めるこ

とができない場合は、回答を複数選ぶ。回答を 1 人だけ選んだ場合には、その似顔絵がモ

デルのイメージをどの程度表しているかを図 4-4 に示す 7 段階で評価する。 提示する似顔絵は、前節の似顔絵作成実験で作成された各モデルの修正前と修正語、従来

のシステムを用いた場合と本システムを用いた場合の自分以外の被験者が描いた全ての似顔

絵である。ただし、被験者と似顔絵のモデルが同一人物の場合は、そのモデルの似顔絵は提

示しない。順番による影響を与えないよう似顔絵はランダムに提示する。実験は図 4-5 に示

すインタフェースを用いて行う。実験中被験者には提示しないが、回答候補者 10 名の写真

を図 4-6 に示す。 各被験者の従来のシステムを用いた場合と本システムを用いた場合の修正前の似顔絵の回

答率、修正後のモデルごとの似顔絵の回答率を図 4-7 に示す。

図 4-4 客観評価の 7 段階評価

図 4-5 評価実験のインタフェース

Page 32: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

29

(a)回答候補者 1 (b)回答候補者 2 (c)回答候補者 3 (d)回答候補者 4 (e)回答候補者 5

(f)回答候補者 6 (g)回答候補者 7 (h)回答候補者 8 (i)回答候補者 9 (j)回答候補者 10

図 4-6 回答候補者の写真

0%

20%

40%

60%

80%

100%

従来

本システム

従来

本システム

従来

本システム

従来

本システム

従来

本システム

従来

本システム

従来

本システム

モデル1 モデル2 モデル3 モデル4 モデル5 モデル6 平均

回答率

不正解

複数回答中に正解含む

回答を1人選んで正解

(a)修正前の似顔絵

0%

20%

40%

60%

80%

100%

従来

本システム

従来

本システム

従来

本システム

従来

本システム

従来

本システム

従来

本システム

従来

本システム

モデル1 モデル2 モデル3 モデル4 モデル5 モデル6 平均

回答率

不正解

複数回答中に正解含む

回答を1人選んで正解

(b)修正後の似顔絵

図 4-7 モデルごとの回答率の平均

Page 33: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

30

4.4 実験の考察 図 4-3 より、修正前の似顔絵の評価値の平均が本システムを用いた場合が従来のシステム

を用いた場合よりも下回ったのは被験者 H のみで、他の 7 名の被験者については同じ、も

しくは上回っている。評価値の対応関係における平均値の差について t 検定を行ったところ、

有意性が確認された( 00.257.2|| >=t 、 05.0=α )。被験者のメモからも、本システムを用いた

場合には「修正前の似顔絵がほぼイメージ通り」「修正する場所がわかりやすく、少ない回

数で修正できる気がする」という感想が得られたのに対し、従来のシステムを用いた場合に

は「修正前の顔が極端なものが多かった」「デフォルメされすぎている」といった感想が得

られた。本システムを用いた場合に、第 3 章で獲得した特徴語に関する主観的イメージは

初期入力時のパラメータ値の計算を行う時に反映されており、最初に出力される似顔絵を個

人のイメージに合った似顔絵に近づけることができていると言える。 修正後の似顔絵の評価値の平均が本システムを用いた場合が従来のシステムを用いた場合

よりも下回ったのは被験者 E と被験者 H のみで、他の 6 名の被験者については同じ、もし

くは上回っている。しかし、評価値の対応関係における平均値の差について t 検定を行った

ところ、有意性は確認されなかった( 00.268.0|| <=t 、 05.0=α )。これは、従来のシステムを

用いた場合でも修正を繰り返すことによって被験者の主観的イメージに近づけることができ

るために、修正後の似顔絵の評価については 2 つのシステムで差が見られなかったと考え

られる。 2 つのシステムの実験時間及び修正回数について対応関係における平均値の差について t

検定を行ったところそれぞれ優位性は確認されなかった( 00.219.0|| <=t 及び 00.240.0|| <=t 、

05.0=α )。しかし、2 つのシステムの修正前の似顔絵のパラメータ値と修正後の似顔絵のパ

ラメータ値の差について対応関係における平均値の差について t 検定を行ったところ、本シ

ステムの方が修正前の似顔絵と修正後の似顔絵のパラメータ値の差が小さく、優位性が確認

された( 65.272.3|| >=t 、 01.0=α )。被験者は修正を行う際に、修正前の似顔絵の評価にかか

わらず同程度の時間と修正回数で修正を行っていることがわかる。修正前の似顔絵の評価が

低い場合は修正でパラメータ値を大きく変えることで自分のイメージに合う似顔絵を作成し

ている。また、修正前の似顔絵の評価が高い場合は、パラメータ値の変化は少ないが細部に

こだわることでより自分のイメージに近い似顔絵を作成しようとするために、似顔絵作成に

かかる時間と修正回数については修正前の似顔絵の評価が低い場合と同程度になっていると

考えられる。 客観評価では、回答候補者の中から回答を 1 人選んで正解した場合をモデルの認識率と

すると、図 4-7 より、モデルごとの認識率は修正前の似顔絵では、従来のシステムで 50~86%(平均 72%)、本システムで 55~83%(平均 66%)、修正後の似顔絵では、従来のシステ

ムで 66~81%(平均 74%)、本システムで 64~88%(平均 75%)である。さらに、複数の解

答中に正解を含む場合を認識率に含めると、モデルの認識率は修正前の似顔絵では、従来の

システムで 64~98%(平均 81%)、本システムで 69~91%(平均 78%)、修正後の似顔絵で

は、従来のシステムで 81~93%(平均 83%)、本システムで 74~95%(平均 83%)である。

客観的なモデルの認識率について、修正前、修正後のモデルの認識率について 2 つのシス

テムを用いた場合の各モデルの認識率の対応関係における平均値の差について t 検定を行っ

たところ、有意性は確認されなかった。また、回答を 1 人選んで正解した場合のその似顔

絵に対するモデルごとの評価値は、修正前の似顔絵では、従来のシステムの平均値が+1.0、本システムの平均値が+1.2、修正後の似顔絵では、従来のシステムの平均値が+1.4、本シス

テムの平均値が+1.4 である。客観的な似顔絵の評価についても、各モデルの修正前、修正

後のいずれについても 2 つのシステムを用いた場合の評価値の対応関係における平均値の

Page 34: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

31

差について t 検定を行ったところ、有意性は確認されなかった。獲得した特徴語に関する主

観的イメージを反映させた場合でも、客観的な評価には効果が見られなかった。しかし、い

ずれの場合も平均 70%前後の認識率を示しており、似顔絵の評価値も平均値が+1.0 以上を

示していることから、本システムを用いて主観的な入力から描いた似顔絵は情報伝達として

の似顔絵の機能を果たしていると言える。

Page 35: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

32

第 5 章 おわりに 本論文では、特徴語に関する主観的イメージを獲得しそれを似顔絵描写システムに付加す

ることで、モデルの顔を表現する特徴語に関するユーザの主観的なイメージを似顔絵に反映

させた。特徴語に関する主観的イメージは、ユーザが各特徴語を表現するのに必要なパラメ

ータを選択し、選択したパラメータを用いて各特徴語に相応しい顔を作成することにより獲

得した。獲得した特徴語に関する主観的イメージを似顔絵に反映させるために、似顔絵描写

システムの初期入力時のパラメータ値の計算方法を変更した。被験者実験の結果、特徴語に

関する主観的イメージを用いた場合の方が用いなかった場合よりも修正前の似顔絵の評価が

高くなっていることが確認された。また、他の人が作成した似顔絵の評価、認識率から、本

システムを用いて描いた似顔絵は情報伝達としての似顔絵の機能を果たしていることが確認

された。 今後の課題としては、言葉のみの入力を行う初期入力後に出力される似顔絵の精度を上げ

るために、初期入力時に入力の要素に重要度を設けることが挙げられる。現在のパラメータ

値の計算では、入力した特徴語の要素の重要度は一律とみなしているが、ユーザによって特

に重要視する特徴語の要素の重要度を高くしておき、パラメータ値の計算時にその特徴語の

要素の重みを大きくすることによって、よりユーザの意図を汲んだ似顔絵を作成することが

でき、その結果初期入力直後の似顔絵の評価が高くなると考えられる。

Page 36: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

33

謝辞 本研究を進めるにあたり、親身の御指導を下さいました指導教官の鬼沢武久教授に深く感

謝申し上げます。また、ゼミなどで本研究について貴重な御意見を下さった鬼沢研究室の皆

様にも感謝致します。本研究で実験を行うにあたり、貴重な時間を割いて被験者またはモデ

ルとなって下さった方々に感謝いたします。鬼沢研究室の方々には、研究だけでなく雑談や

様々な行事などの中で休息の場も与えていただきました。感謝致します。 最後に、研究生活を終始温かく見守り様々な面からサポートをしていただきました両親に

感謝致します。

Page 37: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

34

参考文献

[1] 赤松茂 : コンピュータによる顔の認識 -サーベイ-, 電子情報通信学会論文誌(D-II), vol.J80-D-II, no.3, pp.257-266,1997.

[2] 磯野勝宣, 尾田政臣, 向田茂, 赤松茂 : eBuilder : 任意表情生成システムの開発 -1 枚の

顔写真からの任意表情静止画像/動画像の生成-, ヒューマンインタフェース学会論文

誌, Vol.3, No.4, pp.1-10, 2001. [3] Yan Guo, Haihong Zhang : Avatar Control by Facial Expressions, the 10th IEEE

International Conference on Fuzzy Systems, pp.1351-1354, 2001. [4] 金子正秀, 水野友和, 目黒光彦 : 固有空間法による顔特徴の分析と印象語に基づく顔画

像の生成, 日本顔学会誌, Vol.3, No.1, pp.63-73, 2003. [5] Zsofia Ruttkay, Han Noot : Animated Chartoon Faces, proceedings of the 1st Inter-

national Symposium on Non-photorealistic Animation and Rendering 2000, pp.91-100, 2000.

[6] 花岡悟一郎, 金子正秀, 原島博 : 描き手の画調に基づく似顔絵の自動生成, 電子情報通信

学会論文誌, Vol.J80-D-Ⅱ, No.8, pp.2110-2118, 1997. [7] 冨永将史, 林純一郎, 村上和人, 輿水大和 : 表情表出過程における動きの似顔絵生成の試

み, 電子情報通信学会論文誌(D-II), vol.J81-D-II, no.8, pp.1856-1866, 1998. [8] 徐光哲, 金子正秀, 榑松明 : 固有空間を利用した計算機による似顔絵の生成, 電子情報通

信学会論文誌(D-II), vol.J84-D-II, no.7, pp.1279-1288, 2001. [9] Lin Liang, Hong Chen, Ying-Qing Xu : Example-based Caricature Generation with

Exaggeration, proceedings of the 10th Pacific Conference on Computer Graphics and Applications, pp386-393, 2002.

[10] Mie Sato, Yuko Saigo, Kazuo Hashima, Masao Kasuga : An Automatic Facial Cari-caturing Method for 2D Realistic Portraits Using Characteristic Points, Journal of the 6th Asian Design International Conference, Vol.1, E-40, 2003.

[11] 赤松茂 : コンピュータでさぐる顔の感性的イメージ, 日本ファジィ学会誌, Vol10. No.2, pp.225-235, 1998.

[12] 森典彦 : デザインにおける感性工学, 日本ファジィ学会誌, Vol.11, No.1, pp.52-63, 1999. [13] 大澤光 : 「印象の工学」への招待, 日本ファジィ学会誌, Vol.12, No.5, pp603-614, 2000. [14] 岩下志乃, 鬼沢武久 : 顔の印象・特徴の言語的表現に基づいた似顔絵描写, ヒューマン

インタフェース学会論文誌, vol.3, no.4, pp.299-306, 2001. [15] 平澤裕介, 鬼沢武久 : 言葉を用いた対話型似顔絵描写システムの改良, 第 19 回ファジィ

システムシンポジウム講演論文集, pp885-888, 2003. [16] 日本ファジィ学会編 : ファジィとソフトコンピューティングハンドブック, 共立出版,

2000.

Page 38: 言葉を用いて獲得した顔の主観的イメージを 用いた …...文献[6]では、画像処理で得たワイ ヤーフレームモデルと肉筆の似顔絵を用いて、描き手の画調をうまく模倣するような手法を

35

[17] 吉成勇編 : 歴史読本臨時増刊<日本人シリーズ>日本人の顔, 新人物往来社, 1995.