miru2011 os1-2 拡張ペアワイズ表現を用いた一般化多変量解析

拡張ペアワイズ表現を用いた一般化多変量解析

木村昭悟(1), 杉山将(2),亀岡弘和(1,3), 坂野鋭(1)

(1) 日本電信電話(株) コミュニケーション科学基礎研究所(2) 東京工業大学 大学院情報理工学研究科

(3) 東京大学 大学院情報理工学系研究科

あらまし

NTT Communication Science Laboratories2

数多くの多変量解析を俯瞰するシンプル かつ コンパクトな表現を示します 【標準的手法】 PCA，判別分析，線形回帰，CCA etc.

【局所性導入】 多次元尺度法，局所性保存射影 etc.

【正則化】 L2ノルム正則化，graph Laplacian etc.

【カーネル】 カーネルPCA，カーネルFDA etc.

【半教師化】 SELF，SemiCCA etc.

もくじ

NTT Communication Science Laboratories3

1. 拡張ペアワイズ表現とは？

2. 拡張ペアワイズ表現が持つ意味 既存手法との対応関係を見ながら説明します

3. まとめ

もくじ

NTT Communication Science Laboratories4

1. 拡張ペアワイズ表現とは？

2. 拡張ペアワイズ表現が持つ意味 既存手法との対応関係を見ながら説明します

3. まとめ

一般化レイリー商で表現される多変量解析

一般化固有値問題で表現される多変量解析

多変量解析の定式化

NTT Communication Science Laboratories5【注】 詳細な導出は「 slideshare _akisato kernel PCA 」 で検索！

ラグランジュ未定乗数法

強調したい

抑制したい

これから述べたいこと

NTT Communication Science Laboratories6

行列 を 拡張ペアワイズ表現 で書くと，多変量解析を俯瞰できる枠組が作れます．

データ依存項 データ独立項拡張ペアワイズ表現

拡張ペアワイズ表現 ３つの「うまみ」

NTT Communication Science Laboratories7

PCA,FDA,MLR,CCA 等を統一した形式で記述できる

正則化を導入することができる

様々な2次統計量を重ね合わせて用いることができる→ 半教師付き解析への拡張

相互共分散行列 （平均＝0 を仮定）

共分散行列は相互共分散行列の特殊例

サンプル間類似性を考慮した2次統計量

: 相互共分散行列と一致

共分散行列とその拡張

NTT Communication Science Laboratories8

サンプル間類似性を考慮した2次統計量

2次統計量のペアワイズ表現 [Sugiyama+ 2010]

ペアワイズ表現 (PE)

NTT Communication Science Laboratories9

和の中の積を展開

【注】 詳細な導出は 「Masashi Sugiyama SELF」 で検索！

ペアワイズ表現の自然な拡張

形式上は類似度行列を意識する必要はない

上記の表現を，2次統計量の拡張ペアワイズ表現 と呼ぶ．

拡張ペアワイズ表現 (EPE)

NTT Communication Science Laboratories10

Qに独立な項を導入

データ依存項 データ独立項

もくじ

NTT Communication Science Laboratories11

1. 拡張ペアワイズ表現とは？

2. 拡張ペアワイズ表現が持つ意味 既存手法との対応関係を見ながら説明します

3. まとめ

標準的手法の拡張ペアワイズ表現

Presented by Akisato Kimura in MIRU201112

主成分分析 (PCA)

線形回帰分析 (MLR)

正準相関分析 (CCA)

データ依存項の典型例

データ独立項の典型例

データ依存項が持つ意味

NTT Communication Science Laboratories13

サンプル間類似性をどう評価するか? を決定 類似度行列を明示的に設定する必要はない

既存手法では，類似度行列を明示的に設定 例： 局所性保存射影 (LPP) [He,Niyogi 2004]

類似度： 近くはより近くに，遠くはより遠くに

データ独立項が持つ意味

NTT Communication Science Laboratories14

正則化を取り込むことが主要な目的 例： リッジ回帰 （MLR with L2ノルム正則化）

MLRと異なるのはここだけ！

まとめ

NTT Communication Science Laboratories15

2次統計量を拡張ペアワイズ表現を用いて表現することで，多変量解析を俯瞰できます．

データ依存項 データ独立項拡張ペアワイズ表現