広島画像情報学セミナ 2011.9.16

多変量解析の一般化とその画像/映像認識への応用

木村昭悟日本電信電話(株) コミュニケーション科学基礎研究所協創情報研究部知能創発環境研究グループ

今日のtalk のあらまし

広島画像情報学セミナ (2011.9.16) 2

数多くの多変量解析を俯瞰するシンプルかつコンパクトな表現を示します【標準的手法】 PCA，判別分析，線形回帰，CCA etc.

【局所性導入】 MDS，局所性保存射影 etc.

【正則化】 L2ノルム正則化，graph Laplacian etc.

【カーネル導入】カーネルPCA，normalized cuts etc.

【半教師化】 SELF，SemiCCA etc.

Designing various analysis at will !! データマイニングの実施者が，それぞれの目的に応じたテーラーメードな解析手法を設計できる．

もくじ


1. 多変量解析とは？ 2. 多変量解析の一般化 3. 新しい解析手法の作り方 4. 画像/音楽/映像認識への応用 5. まとめ

もくじ


1. 多変量解析とは？まずは直感的な理解をどういう使い道があるの？本発表で取り扱う多変量解析の範囲

2. 多変量解析の一般化 3. 新しい解析手法の作り方 4. 画像/音楽/映像認識への応用 5. まとめ

多変量解析とは？ in ja.wikipedia.org


何が言いたいのかさっぱりわかりません orz

多変量解析とは？ in www.macromill.com


わかりやすいですね

代表的な多変量解析手法


「予測」型回帰分析 (MLR)：複数の数量から別の数量を予測

判別分析 (FDA)：複数の変量から変量の分類を予測

「要約」型主成分分析 (PCA)：多量の数量を要約した数量を導出

多次元尺度構成法 (MDS)：個体間距離を要約した数量群を導出

パターン認識で多変量解析を使う


多次元尺度構成法（の拡張）で低次元埋め込み実際にはISOMAPを使っています．

パターン認識で多変量解析を使う


判別分析で文字認識筋電データから実際に筆記した文字を認識

Linderman+ “Recognition of Handwriting from Electromyography,” PLoS One, 2009

Computer visionで多変量解析を使う


奥行きの推定に回帰分析画像特徴量と奥行きとの関係を回帰分析で推定

Saxena+ “Learning Depth from Single Monocular Images,” Proc. NIPS2005

まずは主成分分析 (PCA) から


多次元ベクトルとして表現される多数のサンプルから，それらの分散が大きくなる正規直交軸を見つける手法．

サンプルが多次元ガウス分布に従うときは非常に有効そうでないときも、サンプル表現に寄与しない成分を捨てる目的で使用されることが多い。

PCAの定式化１


多次元ベクトルのサンプル簡単のため，以降はサンプル平均=0を仮定．

射影後の分散が最大になる基底を求める

共分散行列

射影後の分散

PCAの定式化２


各基底が単位ベクトルとなるように正規化

Lagrange未定定数法で問題を書き直す

基底での微分 = 0 とすると

共分散行列の固有値問題を解けば良い！

PCAにおける基底の選択


PCAの目的関数に固有値問題の解を代入…

固有値＝射影後のサンプルの分散 → 固有値が大きい順に固有ベクトルを選択

寄与率：基底が表現できるサンプルの分散（第 i 番目の基底の寄与率）

（第 i 番目までの基底の累積寄与率）

次は判別分析 (FDA) について


多次元ベクトルとそのカテゴリで表現される多数のサンプルから，カテゴリをよりよく分類する（正規直交ではないかもしれない）軸を見つける方法

各カテゴリのサンプルの平均を結ぶ軸判別分析で見つけた軸

FDAの定式化１


カテゴリ内分散を小さく，カテゴリ間分散を大きくする基底を求めたい

カテゴリ間共分散行列

カテゴリ内共分散行列

FDAの定式化２


カテゴリ内共分散を単位化するように正規化要するに，目的関数の分母を１にしたい．

Lagrange未定乗数法で問題を書き直す．

基底での微分 = 0 とすると

一般化固有値問題を解けば良い！

一般化レイリー商で表現される多変量解析

一般化固有値問題で表現される多変量解析

本発表で扱う多変量解析の定式化


ラグランジュ未定乗数法

強調したい抑制したい

この枠組に含まれる多変量解析１


標準的な手法主成分分析 (PCA) 線形判別分析 (FDA) 線形回帰分析 (MLR) [参考] MIRU2011予稿

正準相関分析 (CCA) [参考] MIRU2011予稿

局所性を重視した手法局所性保存射影 (LPP) [He+ NIPS2003]

局所線形判別分析 (LFDA) [Sugiyama JMLR2007]

この枠組に含まれる多変量解析２


カーネル化すると… カーネルhogehoge （hogehoge＝標準的手法）クラスタリング系 Kernel k-means [Zha+ NIPS2011]

Normalized cuts [Shi+ PAMI2001]

Spectral clustering [Yu+ NIPS2002]

低次元埋め込み系 ISOMAP [Tenenbaum+ Science 2000]

Locally linear embedding [Saul+ Science 2000]

Laplacian eigenmap [Belkin+ NIPS2002]

もくじ


1. 多変量解析とは？ 2. 多変量解析の一般化一般化の必要性：新しい解析を簡単に作りたいどうやって一般化するの？

3. 新しい解析手法の作り方 4. 画像/音楽/映像認識への応用 5. まとめ

これまで述べたこと


行列を使うことで，多変量解析が以下の形式で記述できます．

一般化固有値問題

これまで述べたこと


行列を使うことで，多変量解析が以下の形式で記述できます．射影軸が2本の場合には，以下のようになります．

これから述べたいこと


行列を拡張ペアワイズ表現で書くと，多変量解析の一般的枠組が作れます．

データ依存項データ独立項拡張ペアワイズ表現

一般化すると何がうれしいの？


新しい手法がざくざく作れる行列を足すだけで良い．楽ちん．特殊な場合には，行列のかけ算もできる．

各項の果たす役割が明確になるサンプル間の類似性をどのように考慮するか？どのような正則化を行うか？

相互共分散行列（平均＝0 を仮定）

共分散行列は相互共分散行列の特殊例

サンプル間類似性を考慮した2次統計量

: 相互共分散行列と一致

共分散行列とその拡張


サンプル間類似性を考慮した2次統計量

2次統計量のペアワイズ表現 [Sugiyama+ 2010]

ペアワイズ表現 (PE)


和の中の積を展開

【注】詳細な導出は「Masashi Sugiyama SELF」で検索！

ペアワイズ表現の自然な拡張

形式上は類似度行列を意識する必要はない

上記の表現を， 2次統計量の拡張ペアワイズ表現と呼ぶ．

拡張ペアワイズ表現 (EPE)


Qに独立な項を導入

データ依存項データ独立項

標準的手法の拡張ペアワイズ表現


主成分分析 (PCA)

線形回帰分析 (MLR)

正準相関分析 (CCA)

データ依存項の典型例

データ独立項の典型例

データ依存項が持つ意味


サンプル間類似性をどう評価するか? を決定類似度行列を明示的に設定する必要はない

既存手法では，類似度行列を明示的に設定例：局所性保存射影 (LPP) [He,Niyogi 2004]

類似度：近くはより近くに，遠くはより遠くに

データ独立項が持つ意味


正則化を取り込むことが主要な目的例：リッジ回帰（MLR with L2ノルム正則化）

MLRと異なるのはここだけ！

もくじ


1. 多変量解析とは？ 2. 多変量解析の一般化 3. 新しい解析手法の作り方簡単です．行列を足すだけですから… 半教師付き解析も簡単にできます．試しに，今までになかった解析を作ってみます．

4. 画像/音楽/映像認識への応用 5. まとめ

新しい解析手法の作り方


既存の２次統計量を重み付き加算するだけで，所望の性質を持つ多変量解析を作れる！

例： SELF （半教師付き局所線形判別分析）

LFDA

PCA

新しい解析手法の作り方


既存の２次統計量を重み付き加算するだけで，所望の性質を持つ多変量解析を作れる！

例： SELF （半教師付き局所線形判別分析）

LFDA

PCA

2次統計量の和 ⇒ 拡張ペアワイズ表現の和!!

半教師付き学習への拡張


各統計量を計算する母集団を操作することで半教師付き学習への拡張が容易に！

例： SELF ラベル付きデータだけから計算

ラベルなしデータも含めて計算

ラベルなしデータに対応する要素が全て０

しかし，よく考えてみると


ペアワイズ表現を用いなくても新しい手法が作れているような… 実は何の意味もない…？

…そんなことはありません！

カーネル法を導入すると，ペアワイズ表現が不可避になります！（詳細は省略します… [MIRU2011予稿]）

例えば，で作ってみた手法１


半教師付き正準相関分析 SemiCCA [ICPR2010]

SELFではできなかったマルチラベル分類への半教師付き学習を実現

XだけあってYがない，という場合だけでなく， YだけあってXがない，という場合も同様に扱える

↑CCA (supervised)

↑PCA (unsupervised)

例えば，で作ってみた手法２


正準相関分析＋線形判別分析クラスラベル付きの多次元ベクトル対(x, y)を対象例：画像 = x, 音声 = y, ラベル = c ⇒ 映像認識・検索

クラスごとに異なる相関関係も抽出可能

↑CCA (unsupervised)

↑FDA (supervised)

実験


MIT-CBCL顔データの低次元埋め込み下照明（6方向: 0,15,…,90）

横照明（6方向 0,15,…90）

顔向き（9方向: 0,4,…,24）

人物（１０人）

・サンプル数＝ 3240枚（10人×6下方向×6横方向×9顔向き）・クラス＝人物・特徴 X ＝画像（32×32 pixs)

・補助情報 Y ＝照明情報・顔向き（3次元）

実験結果： FDA


実験結果： CCA


実験結果： CCA+FDA


CCA/FDA両者の特性を併せ持つ解析を簡易に実現！

クラス分離

暗い

明るい

暗い

明るい

もくじ


1. 多変量解析とは？ 2. 多変量解析の一般化 3. 新しい解析手法の作り方 4. 画像/音楽/映像認識への応用一般物体認識への応用音楽の自動アノテーションへの応用

5. まとめ

画像認識検索って何？画像認識と画像検索を統一的な枠組で解こう画像認識：クエリ＝画像、出力＝入力を説明するラベル画像検索：クエリ＝ラベル、出力＝入力に適合する画像

緑川蛇行草原湿原釧路

画像認識

画像検索

44 広島画像情報学セミナ (2011.9.16)

普通はどうやってるの？識別的なアプローチが圧倒的に多く、性能も良い

[Lavrenko 2003][Grauman 2005][Bosch 2007]

ラベルごとに識別器（SVMなど）を設計

ラベル間の共起関係を考慮することが難しい一緒に出やすい/出にくいラベルの組み合わせがある


緑川蛇行草原湿原釧路

Yes

Yes

Yes

Yes

Yes

Yes

Yes

Yes

Yes

生成的アプローチ：トピックモデル右図で描かれる統計モデルの総称

代表例 (p)LSA, Translation model

NLP: [Landauer 1988] [Hofmann 1999] CV/PR: [Barnard 2001] [Sivic 2005]

LDA NLP: [Blei 2003] CV/PR: [Li 2005]

メリットラベルの共起関係を陽に記述できる認識も検索も事後確率最大化として書ける複数種特徴への拡張が容易：認識検索特徴量推定

Z

X Y

トピック

ラベル特徴画像特徴


画像認識・検索における共通の悩み統制の取れたラベル付画像の大量収集は困難一般的な画像検索/一般物体認識ベンチマークは画像数＝1万枚程度がせいぜい量が不足

画像共有サイト・検索サイト等で回収した画像には当てにならないラベルがたくさんついている質が不足

教師付き学習だけでは、いずれ性能限界に直面。


Image examples from Flickr.com

コンテンツに無関係

存在するのにラベルがない

コンテンツに存在しないラベル

提案手法 SSCDE のポイント


トピックモデルの半教師付き学習法です

非常に簡単に使えます学習：固有値問題＋行列の積和演算の繰返し認識・検索：近傍探索＋特徴量変換

故に計算も非常に高速です学習：（N = 学習サンプル数）認識・検索：

Ad-hocな方法ではありません半教師付き学習法として理に適った方法になっています

モデル学習（前半）


1. 特徴量抽出（画像・テキスト） 2. 正準相関分析で潜在変数空間を形成

3. 画像特徴・テキスト特徴を潜在変数空間に射影、画像の「トピック」（＝潜在変数）を生成。

半教師付き正準相関分析 SemiCCA （第１のポイント）

（Baseline: [中山 MIRU2009]）

Image ID 1 2 3 4 5 Airplane 0 1 0 0 0 Bottle 1 0 0 0 1 Cat 0 0 0 1 0 Cup 1 0 0 0 0 Computer 0 0 0 0 1 Dog 0 0 0 1 0 Person 1 1 0 0 0 Train 0 0 1 0 0

Person Bottle Cup

Airplane Person

Train Dog Cat

Computer Bottle Dataset テキスト

ラベル

学習画像

ラベルなし画像

テキスト特徴

画像特徴

潜在変数 SemiCCA

１

１

２３

モデル学習（後半）


4. 画像－潜在変数モデル生成（カーネル密度推定）

5. 言語－潜在変数モデル生成（サンプルベースで決定）

6. トピックモデル完成半教師付きカーネル密度推定 SSKDE （第２のポイント）

Image ID 1 2 3 4 5 Airplane 0 1 0 0 0 Bottle 1 0 0 0 1 Cat 0 0 0 1 0 Cup 1 0 0 0 0 Computer 0 0 0 0 1 Dog 0 0 0 1 0 Person 1 1 0 0 0 Train 0 0 1 0 0

テキスト特徴潜在変数

Latent Airplane 0.005 0.005 0.005 0.9 0.005 0.005 0.005 0.005 0.9

Bottle 0.9 0.01 0.01 0.01 0.9 0.01 0.9 0.9 0.01

Cat 0.005 0.9 0.005 0.005 0.005 0.005 0.005 0.005 0.005

Cup 0 0.005 0.005 0.005 0.9 0.005 0.9 0 0.005

Computer 0.9 0.005 0.005 0.005 0.005 0.005 0.005 0.9 0.005

Dog 0.005 0.9 0.005 0.005 0.005 0.005 0.005 0.005 0.005

Person 0.06 0.06 0.06 0.9 0.9 0.06 0.9 0.06 0.9

Train 0.005 0.005 0.9 0.005 0.005 0.9 0.005 0.005 0.005

画像－潜在変数モデル

画像－潜在変数モデル

４

５

SSKDE

認識：与えられた画像 → 適合するラベル

検索：類似の考え方で実行可能（省略）

認識・検索


ととの近さをパラメータとするカーネルで重み付け

を観測特徴と見なしたときのラベルの事後確率

実数空間での最適化に緩和、

提案手法 SSCDE の構成


SSCDE = SemiCCA + multi-label SSKDE

SemiCCA （線形）潜在変数空間を半教師付き学習で求める画像とラベルとの共起関係を大まかに求める計算：固有値問題を解く

Multi-label SSKDE 潜在変数内の（非線形）構造を半教師付き学習で求める画像とラベルがなす複雑な共起関係を事例ベースで表現計算：行列積和の反復

第１ポイント： SemiCCA


ラベルなし画像も使えるようにしよう！ラベル付き画像のみ用いたCCA

ラベルなし画像も用いたPCA

[木村 IBIS2009]

ラベル付き画像ラベルなし画像非観測のラベル

ラベル付き画像の正準相関軸

データの本来の正準相関軸

SemiCCAで得る正準相関軸

潜在変数空間の設計だけでは不十分！


ラベルがなくても潜在変数は確かに計算できる。しかし…

ラベルなしサンプルが使えない → 学習サンプル数が不足 → カーネル密度推定の精度に悪影響を及ぼす

ラベル－潜在変数モデルにもラベルなし画像の情報を組み込みたい！！

ラベルなし画像に対応する潜在変数からラベル－潜在変数モデルを計算できない！！

第２ポイント： Multi-label SSKDE


潜在変数空間内でラベル伝播をしよう！初期状態

ラベル修正

教師情報を信頼して補正

ラベル付きサンプル

ラベルなしサンプル

ラベル伝播

サンプル間隣接行列

ラベル情報

記憶容量が減る！ SSKDE = graph spectral method! [Joachims 2003]

同様の考え方を認識・検索にも認識・検索の問題が、潜在変数空間内の近傍探索の問題に！ → 高速動作可能

隣接行列をスパースにしてみよう


近傍3サンプルとエッジで連結

の近傍にある学習済の潜在変数だけを考慮する

入力画像の潜在変数

実験条件


データセット： PASCAL VOC2008,2009 学習用画像一般物体認識用の標準的なベンチマーク 20種類の物体のいずれか1つ以上を含む画像からなる物体の存在位置を示す教師情報は利用しない

評価条件ラベル付き学習用画像： VOC2008 から 1000枚ラベルなし学習用画像：

VOC2008 から 3596枚、VOC2009 から 2722枚＝ 6318枚評価用画像： VOC2008 から 500枚

実験結果


Precision-recall曲線

・ラベル付き画像だけでは高い精度が得られない・ラベルなし画像をフル活用することで高精度を達成

音響信号自動タグ付け・検索

自動タグ付け検索

自分でタグ付けするのは面倒！

ショパンピアノクラシック …

魂にぐっとくるソウルフルなロックが聞きたいな♪

この音楽がいいよ！

59

テキストタグ音響信号テキストクエリ音響信号

広島画像情報学セミナ (2011.9.16)

音響特徴抽出

MFCC: メル周波数ケプストラム係数

特徴：音色情報を含んでいる！

60

0 50 100 150 200 250

スペクトル

0 50 100 150 200 250

包絡成分短時間フレームの波形

FFTなど

メルスケール上のフィルタバンク分析 DCT変換など

今回使うMFCC


音響特徴抽出音響信号を短いフレームに分割各フレームからMFCC、ΔMFCC、ΔΔMFCCを抽出

61

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ x 1 x 2 x 3 x a・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

一つの音響信号から大量の特徴ベクトルが抽出される

SSCDEでは一つの音響信号は一つの特徴ベクトルで表わされる必要がある

（合計39次元，Δ成分は微分量を線形回帰係数で近似した。）


音響信号のヒストグラム特徴 Bag-of-features特徴短時間の特徴ベクトルをベクトル量子化し、ヒストグラムを作成する。

62

音響１

音響２

音響３

ヒストグラム作成

音響信号全体の特徴を表す

（※時間情報は使わない）音響１音響２音響３

x 11 x 1

2; x 1i 1

x 2i 2

x 22; x 3

2; x 3i 3x 3

1 … … x 21 …


実験条件データセット： Freesoundの音響信号音楽素材の無料共有サイト（http://www.freesound.org/）

フィールドレコーディングなどの短い音響信号が多い多量のタグ付き音響信号が存在する

評価条件データ形式等が同じファイル2012個を使用タグ付き音響信号：1000個タグ無し音響信号： 912個評価用音響信号： 100個タグ：付いている音響信号が多いものから230種類


http://www.freesound.org/

実験結果：教師付き学習との比較

64

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6

Pre

cis

ion

Recall

最大F値： SSCDE： 0.345 SemiCCA： 0.310 CCA： 0.287

CCA

SSCDE

SemiCCA

SemiCCAのみ行うとここまでの性能向上

SSKDEを行うとさらにここまで精度が上がる


実験結果：既存手法との比較

65

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6

Pre

cis

ion

Recall

SSCDEはタグ付き音響信号が約半分でも、既存手法と同等の精度を達成している！

SSCDE

H-GMM(N=1912) 最大F値： SSCDE： 0.345 H-GMM： 0.344

注：既存手法（H-GMM）は完全教師付き学習


もくじ


1. 多変量解析とは？ 2. 多変量解析の一般化 3. 新しい解析手法の作り方 4. 画像/音楽/映像認識への応用 5. まとめ

まとめ


2次統計量を拡張ペアワイズ表現を用いて表現することで，多変量解析を俯瞰できます．

簡単に所望の性質を持つ多変量解析を実現 2次統計量の重み付き加算統計量計算のための母集団の操作（それ以外の方法でももちろんOKです）

データ依存項データ独立項拡張ペアワイズ表現

広島画像情報学セミナ 2011.9.16

Technology