階層ディリクレ過程事前分布モデルによる画像領域分割

階層ディリクレ過程とマルコフ!確率場を利用した教師なし!画像領域分割

TOKYO WEBMINING #49!@tn1031!

2

目次

0. 本資料で用いる数理的な表現

1. 画像認識と確率的手法を用いた画像のモデリング!

2. 領域数未知問題とディリクレ過程!

3. データセットに対する学習と階層ディリクレ過程!

4. 提案モデルと画像領域分割の実験!

5. まとめ

3

目次






5. まとめ

4

本資料で用いる数理的な表現

確率密度関数"p(・|・)"は確率密度関数を表す

本資料では確率モデル(= "モデル"，"確率分布"，"確率密度関数")に関する数式を多用する

与えられた確率変数や確率モデル(確率分布)のパラメータ(所与とする)

確率変数(観測される)

例）正規分布の場合

μ：平均ベクトル!

Σ：分散共分散行列

5


確率分布からのサンプリング"～"は右辺で示す確率分布からサンプルを取得する操作を表す

= パラメータθが所与のもとで、確率分布p(x|θ)からサンプルxを取得する

例）平均0、分散1の正規分布からのサンプリング

確率モデル(確率分布)

取得するサンプル

与えられたパラメータ

> rnorm(10, 0, 1) [1] 0.60575411 2.07174510 -0.89826716 1.24358553 -0.28889429 [6] -0.34782197 -0.96595196 0.30360419 0.06729227 -0.89611346


6


混合分布複数の確率分布の重み付き線形和で表現される確率分布を混合分布と呼ぶ

例）2つの正規分布の混合


π：混合比θ：パラメータ

混合分布の要素となるそれぞれの確率分布をコンポーネントと呼ぶ

7

目次






5. まとめ

8

画像認識の諸問題画像認識

• 画像に写る物体，意味する内容について計算機により解析・判断を行う • デジタル画像の利用目的に応じて様々なタスクが存在する

問題の分解

何が写ってるの？

一般物体認識どんなシーン？

シーン認識

人はどこ？

検出

同じような画像が見たい！

検索・分類

領域分割

高度な認識タスク前処理

• 画像認識にはいくつかのレイヤーが存在する • 高精度な認識を実現する為には前処理が必須

ノイズ処理・特徴抽出

http://aidiary.hatenablog.com/entry/20091024/1256384360http://sipl.technion.ac.il/Info/News&Events_1_e.php?id=367

9

画像領域分割画像領域分割

：領域ラベル

モデル化

学習

出力

：観測データ(画像)

• 画像を意味のある小領域ごとに自動的に分割する処理 • 画素ひとつひとつに領域を表すラベルを付与する問題

：確率モデル

：学習済み確率モデル

例）確率モデルによるアプローチ

画素

目標

入力

10

教師なし学習と画像領域分割

混合正規分布を用いた画像領域分割

• 画素に対して3次元の混合正規分布を仮定(各次元がRGB値に対応) • コンポーネントのインデックスを領域ラベルとする

教師なし学習として画像領域分割問題を解く場合、画素のクラスタリング問題に帰着できる

Kimura T, Tokuda T, Nakada Y, Nokajima T, Matsumoto T, Doucet A (2013) Expectation-maximization algorithms for inference in Dirichlet processes mixture. Pattern Anal Applic 16(1):55–67

# R G Bpixel1 172 190 230pixel2 ! 212 229 240pixel3 ! 177 196 216… … … … k:コンポーネントのインデックス(=領域ラベル)!

μ,Σ:領域のパラメータ

input model output

11

空間的な依存関係を考慮したモデル

グラフ理論Jianbo Shi and Jitendra Malik. Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8):888–905, August 2000.

• 画素をノードとするグラフとみなし，エッジで結合された画素を同じクラスとする!• グラフのクラス内類似度を最大化，クラス間類似度を最小化するようなグラフを求める

S. P. Chatzis and G. Tsechpenakis. The infinite hidden markov random field model. IEEE Transactions on Neural Networks, 21:1004–1014, June 2010.

• 画素は背後に仮定した潜在変数に依存して観測される!• 潜在変数は近傍の潜在変数のみに依存する

マルコフ確率場

ガウス過程E.B. Sudderth and M. I. Jordan. Shared segmentation of natural scenes using dependent pitman-yor processes. In Daphne Koller, Dale Schuurmans, Yoshua Bengio, and Leon Bottou, editors, NIPS, pages 1585-1592. MIT Press, 2008.

• 近傍の画素は類似する性質をガウス過程でモデル化!• ある画素のラベルはほかのすべての画素から影響を受け，近傍ほど影響が大きい

画像の空間的な特性を考慮したモデルが存在する

12


: 観測値(画素)!

: 潜在変数(領域ラベル)

マルコフ確率場(MRF)

• 画素間の空間的依存関係を表現した確率モデル!• 出力の背後に領域に対応する潜在変数を仮定

• 潜在状態は近傍の状態のみに依存する

MRFを仮定した画像領域分割

1y 2y 3y

6y5y4y

1x 2x 3x

4x

7x 8x 9x

5x 6x

• 画素の出力は潜在変数に依存する

空間的な制約の元で!潜在変数xを求める問題

13


1y 2y 3y

6y5y4y

1x 2x 3x

4x

7x 8x 9x

5x 6x

• x5の領域ラベルはx2,x4,x6,x8のみに依存する1y 2y 3y

6y5y4y

1x 2x 3x

4x

7x 8x 9x

5x 6x

領域ラベルの決定

領域ラベルの決定と画素の出力は以下のようになる

x5の領域ラベルが"k"である確率x2,x4,x6,x8のうち、領域ラベルが"k"である変数の個数に比例

画素の出力

• y5の属する分布は、x5の領域ラベルによって決まる

θkをパラメータとする確率分布

x5の領域ラベルが"k"であることが所与であることを表す

14

目次






5. まとめ

15

領域数未知の問題

• 適切な領域数(コンポーネント数)は、画像によって異なる • 教師なしの枠組みでは領域数も学習する必要がある

画像領域分割問題において、領域数は未知である場合が多い

• 情報量基準!- 領域数を変えて学習した複数のモデルを、情報量基準の観点で比較

• ノンパラメトリックベイズ!- 領域数に関する事前分布を導入し、領域数をデータから自動的に決定!- "ディリクレ過程"を事前分布とすることで実現

領域数を決定する方法

16

ディリクレ過程ディリクレ過程はモデルの複雑度に対する事前分布であり、コンポーネント無限個の線形和として表現できる

混合モデル• 混合モデルは、K個のモデルの重み付き線形和で表現できる • 重みの事前分布にディリクレ分布が用いられることが多い

ディリクレ過程混合モデル• 混合モデルの混合数Kを無限大に極限を取ったモデル!• αはモデルの複雑度を制御するパラメータ

17

ディリクレ過程によるデータの生成過程ディリクレ過程は連続分布G0とパラメータαから離散分布Gを生成する

i = 1, …, N について

Stick-breaking processによるGの生成

ディリクレ過程混合モデルからのデータ生成

• ディリクレ過程混合モデルでは、データyに対してパラメータθがひとつ選択される!

• Gが連続分布であった場合、その性質上データ間で共通のパラメータが選択される確率が0になる(cf. ルーレット回しの確率)!

• あらかじめGを離散分布とすることで各パラメータの生成確率に有限の値を与え、データに応じて選ぶ

http://www.ism.ac.jp/~daichi/paper/ieice10npbayes.pdf

18

ディリクレ過程混合モデルと画像

領域数未知の問題

⇒ディリクレ過程におけるコンポーネント数との大きさの関係と類似する

　適切な領域数は、画像によって異なる

　　　⇒適切な領域数をデータから求める

領域数と被写体の大きさの関係

ディリクレ過程は画像と相性の良い事前分布である

E.B. Sudderth and M. I. Jordan. Shared segmentation of natural scenes using dependent pitman-yor processes. In Daphne Koller, Dale Schuurmans, Yoshua Bengio, and Leon Bottou, editors, NIPS, pages 1585-1592. MIT Press, 2008.

画像に写る物体(被写体)の数と画像中に占める面積の間には負の相関がある

19

ディリクレ過程の拡張

• ディリクレ過程事前分布モデルは、データセットの画像を独立に学習する!• データセットには似た様な画像が含まれることが多い(grouped data)

ディリクレ過程事前分布モデルは、画像単体をモデル化したものである

1y 2y 3y

6y5y4y

1x 2x 3x

4x

7x 8x 9x

5x 6x

1y 2y 3y

6y5y4y

1x 2x 3x

4x

7x 8x 9x

5x 6x

画像!データセット

× × ×

segmentation segmentation segmentation

1y 2y 3y

6y5y4y

1x 2x 3x

4x

7x 8x 9x

5x 6x

grouped dataに対してモデルを階層的に拡張する

20

目次






5. まとめ

21

ディリクレ過程の課題

θ1

0G：連続分布

∑∞

=

=1k

k kG θδπ

0G

G

G

ディリクレ過程は連続分布からのサンプルなので、複数の分布に共通するパラメータを生成できない

θ2 θ3

θ

θ

θθ1 θ2 θ3

G

θθ1 θ2 θ3

π1

π2

π3

π1

π2

π3

π3

π2π1

・・・

sample

・・・

sample

・・・

sample

・・・

sample

・・・

sample

・・・

sample

}

}

}

22

階層ディリクレ過程

θ1

階層ディリクレ過程は離散分布から複数の分布に共通するパラメータを生成する

θ2 θ3

θ

θ

θθ1 θ2 θ3

θθ1 θ2 θ3

π11π12

π13

・・・

sample

・・・

sample

・・・

sample

・・・

sample

・・・

sample

・・・

sample

}

}

}

G0 = π kδθkk=1

∞

∑

Gj = π jtδθkjtt=1

∞

∑

0G

θ

1G

2G

3G

π21

π31

π22

π32

π23

π33

23

階層ディリクレ過程の適用

これらの情報は有効に使いたい画像!

データセット

• 大量の画像データ!• 似た様な画像を含む!• 画像間に共通する要素

画像データセットへの適用• 画像間で領域(コンポーネント)の情報を共有!• 画像ごとに領域の出やすさ(コンポーネントの混合比)が異なる

画像データセットの特徴

階層ディリクレ過程を適用する動機は以下の通りである

• 学習に用いるデータ数が増加する!⇒ 高次な特徴量を用いることができる

＋

24

目次






5. まとめ

25

提案モデルの要点

提案モデル　～概要～階層ディリクレ過程マルコフ確率場(HDP-MRF)

• マルコフ確率場に階層ディリクレ過程を事前分布として導入!• 画像単体ではなく、データセット全体を対象とした学習を行う

2. ノンパラメトリックモデル領域数未知の画像に対して領域数を自動的に決定する

3. コンポーネント共有複数画像間で領域のパラメータを共有する

4. 高次元の特徴量が利用可能データセットを対象とした学習を行うことでデータ数が増加するため，表現能力の高い高次の特徴を利用できる

1. 空間的依存関係を考慮したモデルマルコフ確率場により画像の空間的依存関係を表現

26

実験　～実験の設定～

• 学習データ：自然や人物などの画像 300枚!• 正解データ：人手による分割結果(ground truth) 1633枚

画像データセット

Berkeley Segmentation Dataset and Benchmark

提案モデル(階層ディリクレ過程事前分布マルコフ確率場)を用いて画像領域分割を行った

27

実験　～実験の設定～特徴抽出

• 分割結果とground truthの類似度を [0,1] の値で評価!• 1に近いほど自然な分割

評価指標Probabilistic Rand Index (PRI)

),,(11∑=

=L

l

Xj

Xiij

gtl

gtl xxI

Lp ),(

predpred Xj

Xiij xxIc =

∑≠

−−+

$$%

&''(

)=

jijiijijijij

gtpred pcpcN

XXPRI;,

)}1)(1({

2

1),(

• superpixel 200分割!• RGB平均ベクトル、RGBヒストグラム表記次元数抽出方法

mean 3 superpixel内画素のRGB値の平均

hist 120 全画素のK-meansにより作成したクラスがsuperpixel内で!観測された回数

superpixelの例

28

実験　～実験の設定～実験条件等

• 実験回数：10回

先行研究提案モデル

モデル IHMRF HDP-MRF

実装変分ベイズ法(VB) 周辺化ギブスサンプリング(MCMC)!／周辺化変分ベイズ法(CVB)

出力分布正規分布正規分布／多項分布

特徴量 RGB平均ベクトル(3次元)／RGBヒストグラム(120次元)

実装方法・・・MCMC:周辺化ギブスサンプリング／CVB:周辺化変分ベイズ!出力分布・・・g:正規分布／m:多項分布

※ 表記方法

29

実験　～結果(PRI)～PR

I

0.2

0.35

0.5

0.65

0.8

手法IHMRF MCMC CVB

PRI

0.2

0.35

0.5

0.65

0.8

手法IHMRF MCMCg CVBg MCMCm CVBm

特徴量 RGB平均ベクトル(3次元) RGBヒストグラム(120次元)

実装 IHMRF MCMCg CVBg IHMRF MCMCg CVBg MCMCm CVBm

平均 0.637 0.655 0.626 0.450 0.628 0.683 0.741 0.701

標準偏差 0.00259 0.00404 0.00806 0.00488 0.00127 0.00410 0.00017 0.00231

RGB平均ベクトル(3次元) RGBヒストグラム(120次元)

30

実験　～結果(画像ごとのPRI)～H

DP-

MR

F(C

VBg/

hist

)

0

0.25

0.5

0.75

1

IHMRF(mean)

0 0.25 0.5 0.75 1

• 横軸：　　　先行研究による分割に　　　対するPRI • 縦軸：　　　提案モデルによる分割に　　　対するPRI • プロット：　　　画像

先行研究・・・変分ベイズ法／正規分布出力／RGB平均ベクトル(3次元) 提案モデル・・・周辺化変分ベイズ法／正規分布出力／RGBヒストグラム(120次元)

31

実験　～提案手法による分割結果～

成功例

32

実験　～提案手法による分割結果～

失敗例

33

補足実験　～画像のクラスタリング～

• 特徴量：各画像に占める領域の比率を示すベクトル!• 分類手法：Normalized Cut

画像データセット

Berkeley Segmentation Dataset and Benchmarkの分割結果

提案モデルが画像データセットをgrouped dataと見なしているのかを調査した

30%

15%

15%20%

領域分割結果各領域の面積(比率)入力画像

1.0

0.3

0.15

0.2

0.15

各領域が占める面積の比率をベクトル化してクラスタリングに用いる特徴量とする

34

補足実験　～クラスタリングの結果～色の類似する画像が同じクラスタに分類されている

• 空や水の色 • 褐色系

35

補足実験　～クラスタリングの結果～色の類似する画像が同じクラスタに分類されている

• 白やグレー • 褐色だが黄色に近い

36

目次






5. まとめ

37

まとめ

まとめ

画像を扱う際の代表的な確率モデルであるマルコフ確率場に階層ディリクレ過程を導入し、画像領域分割問題に対するモデルを提案した!!

• マルコフ確率場により画像の空間的依存関係をモデル化した!!

• 階層ディリクレ過程を導入し、領域数の自動推定と領域分割を同時に達成した!!

• データセットに対する学習を実施した!!

• 表現能力の高い特徴量を利用することに成功した!!!

38

ご清聴ありがとうございました

階層ディリクレ過程事前分布モデルによる画像領域分割

Data & Analytics