(34)

マーク付き点過程

坂倉義明

@a2ki

1

(34)

はじめに

• 本資料は、[1]‐[4]の自分なりの理解メモです

– [1]‐[2]は、マーク付き点過程の直観的な理解、[3]‐[4]はマーク付き点過程とノンパラベイズとの関係の理解を得るにあたって、大変参考になりました

• [1] Bognar, Matthew A. "Bayesian modeling of continuously marked spatial point patterns." Computational Statistics 23.3 (2008): 361‐379.

• [2] Ortner, Mathias, Xavier Descombes, and Josiane Zerubia. "Building extraction from digital elevation models.“, http://hal.archives‐ouvertes.fr/docs/00/07/20/71/PDF/RR‐4517.pdf

• [3]佐藤一誠, “基礎からのBayesian Nonparametrics.” http://www.slideshare.net/issei_sato/bayesian‐nonparametrics

• [4]佐藤一誠, “Bayesian Nonparametrics入門 .“ http://www.slideshare.net/issei_sato/ppml

2

(34)

点とマークの意味

• 点・・・時間や空間（一般には連続）上のサンプル

• マーク・・・点に付帯する情報

X : 点

M : マーク

3

(34)

アプリ例

• 人のカウンティング

– 点：重心、マーク：輪郭

点

マーク

人のカウンティング

Marked point processes for crowd counting[CVPR09]

4

(34)

（マーク付き）点過程の特徴

• 特徴

– 無限次元の離散点を扱う事が出来る

• 連続関数（時間、空間）を任意法則に従って離散化

• 特徴を生かした応用

– ノンパラベイズの構成

• 事前分布（パラメータ空間）の無限次元離散化によるモデル数推定

– ※今回紹介しませんが、離散化をキーワードに考えると、他にも色々ありそうです

5

(34)

アウトライン

• モデル化

– 確率的に点とマークを打つということ

– 確率密度関数

• 応用（他分野への横展）

– ノンパラベイズ

• パラメータ推定

– 目的関数

– MCMCの設計

• まとめ

6

(34)

アウトライン

• モデル化

– 確率的に点とマークを打つということ

– 確率密度関数

• 応用（他分野への横展）

– ノンパラベイズ

• パラメータ推定

– 目的関数

– MCMCの設計

• まとめ

7

(34)

強度

β

Xamaxamin

確率的に点とマークを打つということ（1/3）• 強度関数= 強度×基底測度

– 強度 : 単位時間あたりの点の数の期待値（大域的な点の密度）

– 基底測度 : 時間軸の長さ（局所的な点の密度）

X

λ(A)=β×μ(A)

μ(A)=|amax‐amin|

λ(A)

強度関数

基底測度

β強度μ(A)

点

8

(34)

確率的に点とマークを打つということ（2/3）• 強度関数= 強度×基底測度

– 強度 : 単位時間あたりの点の数の期待値（大域的な点の密度）

– 基底測度 : 時間軸の長さ（局所的な点の密度）

X λ(A)=β×G0(A)

G0(A)

強度関数

基底測度

β強度

ex. Gauss

G0(A)

X

基底測度

強度

β

X 点

9

(34)

確率的に点とマークを打つということ（3/3）• 強度関数= 強度×基底測度×マーク分布

– 強度 : 単位時間あたりの点の数の期待値（大域的な点の密度）

– 基底測度 : 時間軸の長さ、マーク分布 : マークの従う分布（局所的な点の密度）

• マークも点の次元と考える、ただし点の数は規定しない

X λ(A,B)=βG0(A)×ν(B)

G0(A)

強度関数

基底測度

β強度

ex. Gauss

G0(A)

X

基底測度

強度

β

X 点

ν(B)

マークM

ν(B) ex. Gauss

10

(34)

確率密度関数（1/3）• 累積分布関数を、点とマークの打ち方のパターン で微分

– 我々が良く知る確率密度関数のdx（目盛り）が、確率的に打たれるイメージ

– 確率にするため、目盛上に長さ1の棒をたてた後に正規化

• , は無限次元であることに注意

– は , の値と次数を含めた分配関数

,ℙ

,1

∈ ∈

∈ ∈   ,

βG0

ν

X

M

11

(34)

確率密度関数（2/3）• 重み（点過程の密度：Densityという）付で点を数えても良い

– 実はこれが実装＆応用上のキモ

,ℙ

,1

,

, ,

βG0

ν

X

M

12

(34)

確率密度関数（3/3）• 基底測度とマーク分布を一様にできる

– 基底測度とマーク分布の形状を、重み , に押し付ける

,ℙ

,1

,

, ,

βμ

u

X

M

,

| |

: Uniform

基底測度・マーク分布の押し付け

13

(34)

2つの疑問

• 基底測度とマーク分布の情報が結局 , に入ってるけど、点を打つプロセスとか意味あるの？

– あります

– 時系列・空間上の点 , は無限次元

– 次数が異なる , を扱うため、何らかの形でその次数を表現する上位モデルが必要

– この上位モデルが ,– 値的には、 , の分配関数 , , に埋め込まれている

• , に押し付けると、何が嬉しいの？

– モデルの構成が単純になる

• 少しひねっただけで、強度関数をまともにかけなくなる

– 最適化（MCMC）の構成が超簡単になる

14

(34)

の代表的な決め方

• ギブス分布を採用し、引数となるエネルギー関数に、表現したいモデルを突っ込む

,ℙ

,1exp ,

exp , ,

, : 任意のエネルギー関数

15

(34)

アウトライン

• モデル化

– 確率的に点とマークを打つということ

– 確率密度関数

• 応用（他分野への横展）

– ノンパラベイズ

• パラメータ推定

– 目的関数

– MCMCの設計

• まとめ

16

(34)

ディリクレ過程

• 定義

– 可測空間 Ω, の基底測度を 、集中度を とする

– 確率測度 が ~ , に従うとき、任意のdisjointなΩの分割 , … , に対して

– , … , ~Dirichlet , … ,• 翻訳

– 基底測度 を に従う密度で離散化

– 各離散点には、正値で、総和が1となる重み（離散点を選ぶDirichlet分布のパラメータ）

G0

G0を離散化した点（ G0に従う）

各点の重み（選択確率）

∗ :区間 ∗の重みの総和

17

(34)

ディリクレ過程混合

• 無限次元の混合モデル

– ディリクレ過程で、事前分布を無限次元で離散化し離散化点を各モデルのパラメータとする

– 混合比は各点の重み

G0:事前分布

混合比

θ1 θ2 θKθ

X

w1p(x|θ1)

w2p(x|θ2)

wKp(x|θK)

18

(34)

マーク付き点過程的ディリクレ過程

• 定義

– 点：基底測度を 、強度 に従う点

– マーク：正値をとり、総和が1となるよう正規化

βG0

強度（集中度）×

基底測度

ν

マーク

正値をとる分布

点

正規化

19

(34)

マーク付き点過程的ディリクレ過程混合

• 分散既知，混合数未知の混合ガウスの例

, ,

,1exp , ;

, ∑ ; , 1

平均の事前分布ガウス分布

正値をとる分布ガンマ分布

混合比重みの正規化

パラメータ点

点とマーク（+押し付け）

パラメータが点、混合比がマークに従う混合モデル

, ; ln ; 0, ln G ; ,  

βG0

強度（集中度）×

事前分布

マーク

正値をとる分布

x1 x2 xK

w1p(y|x1)

w2p(y|x2)

wKp(y|xK)

y

モデル

20

(34)

パラメータ推定

• 目的関数

– 以下を満たす , を次数を含めて最適化

• ToyDataに対する最適化結果（MCMCを使う：後術の方法）

∗, ∗ argmax,

, , |, , :ハイパーパラメータ

:モデルパラメータ

:混合比（非正規化）

混合数 ―真値

―推定値（xの次数）

混合比（正規化） パラメータ

w1 w2 w3 x1 x2 x3

推定値 0.158 0.242 0.604 0.177 10.036 19.871

真値 0.186 0.208 0.606 0.976 10.027 19.883

21

(34)

ノンパラベイズ構成まとめ

• 混合モデルの混合数を分布としてもつ

– 事前分布（パラメータ空間）から、可算無限個の離散点を抽出

– 各点に重みをつける

– 点：混合モデルのパラメータ、重み：混合比

• 点過程的に言うと

• 事前分布（パラメータ空間）上にマーク付き点過程を構成

• 点：混合モデルのパラメータ、マーク：混合比

• 点とマークはエネルギー関数 , を適当に設計すれば、それっぽいものが出来る

22

(34)

アウトライン

• モデル化

– 確率的に点とマークを打つということ

– 確率密度関数

• 応用（他分野への横展）

– ノンパラベイズ

• パラメータ推定

– 目的関数

– MCMCの設計

• まとめ

23

(34)

目的関数と最適化の方針

• 目的関数

– 事前分布としてマーク付き点過程が存在する場合を想定

• 最適化の方針

– MCMCを利用

• , , , | から、 所与のもと、 , をサンプリング

• サンプル平均＝最適解

– 無情報事前分布を仮定したMAP推定

– アニーリングしてもよい

– 注意点

• , をサンプリングする過程で、 , のサンプリングも必要

• , は無限次元

∗, ∗ argmax,

, , , |

尤度 事前分布：点過程

※赤字・・・Unknown

24

(34)

【復習】MCMC（1/2）

• から、 のサンプリング

– がわかっていなくても良い

• → → を満たす遷移確率 を用いて逐次サンプリング

• 上記条件を満たす遷移確率

→ min 1,′⋅

→→

min 1,′⋅ ⋅

→→

min 1,′⋅

→→

→ :提案分布（任意の遷移確率により決められるサンプル候補）

25

(34)

【復習】MCMC（2/2）• Given  and  ← 0

• Proposal Step– sampling  from  →

• Acceptance‐Rejection Step– ← with probability – ← with probability 1

• min 1, ⋅ →→

• ← 1

26

(34)

マーク付き点過程のMCMC：遷移確率

• , , , とすると、 , , , | からサンプルを得るための遷移確率 は、

→ min 1,| , , ′| , , ⋅

, | ′, |

→→

min 1,| , , ′| , , ⋅

exp , ;exp , ; ⋅ ⋅

→→

Likelihood Ratio Prior Ratio Proposal Ratio

Model Evidence Ratio

27

(34)

マーク付き点過程のMCMC：アウトライン

• Let  , , , , Given  , , , , and  ← 0

• Proposal Step– sampling  from   →

• Acceptance‐Rejection Step– ← ∗ w.p. – ← w.p. 1

• ← 1

min 1,| , , ′| , , ⋅

exp , ;exp , ; ⋅ ⋅

→→

28

(34)

• Proposal Type– パラメータ値の摂動

• ‐move  , , , → , , , : w.p. 

• ‐move , , , → , , , : w.p. 

– 点の値の摂動

• ‐move , , , → , , , s. t. | | : w.p. • ‐move , , , → , , , s. t. | |: w.p. 

– 点の数の摂動

• , , , → , , ∪ , ∪ : w.p. • , , , → , , ∖ , ∖ : w.p. 

– where, ∑ ∗ 1, ∗ 0

29

(34)

• , , , ‐move– Symmetric

• じゃなくてもいいけど、設計が楽なのでそうします

– （例） ‐move  , , , → , , ,• → Uniform ∆ , Δ

min 1,| , , ′| , , ⋅

exp , ;exp , ; ⋅ ⋅

→→

30

(34)

• ,– Symmetricには出来ない

• 点を支配する確率（押し付け後のスッキリした奴）に従ってサンプリング

– ,– | |– : Uniform

– , , , → , , ∪ , ∪• , :点とマークの定義域とすると

– , , , → , , ∖ , ∖• :点 の数とすると

→ , ,1

∵ : Uniform, | |

→1

∵ | |

31

(34)

• Importance Sampling– 説明は割愛（PRML下巻p.p.246‐248，p.p.270‐p.p.271）– ポイントは、 ⁄ の計算の為に（MCMCの各ステップで）別途サンプリングが必要

32

(34)

というわけでマーク付き点過程のMCMC• Let  , , , , Given  , , , , and  ← 0

• Proposal Step– sampling  from   →

• , , , ‐move : e.x. ‐move :  Uniform ∆ , Δ• : ⁄ , : ⁄

• Acceptance‐Rejection Step– estimate  ⁄ using Importance Sampling– ← ∗ w.p.  , ← w.p. 1

• ← 1

min 1,| , , ′| , , ⋅

exp , ;exp , ; ⋅, , , ‐move 

min 1,| , , ′| , , ⋅

exp , ;exp , ;

⋅ ⋅ 1

min 1,| , , ′| , , ⋅

exp , ;exp , ;

⋅ ⋅

33

(34)

まとめ

• マーク付き点過程を紹介

– 連続関数（時間、空間）を任意法則に従って離散化

• 重み , をうまく使うことで、複雑なモデルを表現可能

– ノンパラベイズ

– ※離散化をキーワードに考えると他にも色々ありそうです

• ただし、やりすぎると、最適化が大変なことに

– サンプラーのネスト

34