ibis2012.tvimagerestoration
TRANSCRIPT
2012/11/08IBIS 2012@Tokyo
D45: 局所変分法を用いたTotal Variationの画像修復への応用庄野 逸電気通信大学 大学院情報理工学研究科[email protected]
岡田 真人東京大学 大学院新領域創成科学研究科
2012/11/08IBIS 2012@Tokyo
Total Variation とは？Total Variation (Rudin 1992)
観測信号に y 含まれるノイズを除去するための制約条件
原信号の隣接ユニット間の差分の L1 ノルム
L1拘束条件付き最適化
原信号
観測信号
xi xj
yi yj
HTV(x) =X
(i, j)
|xi � x j|
2012/11/08IBIS 2012@Tokyo
確率モデルとしての解釈Boltzmann 分布を考えてみる
事前分布
観測過程
事後分布
この定式化で MAP 法と TV 法が等価になる(はず)
Laplace prior
Gauss observa<on
原信号
観測信号
xi xj
yi yj
HTV(x) =X
(i, j)
|xi � x j|
2012/11/08IBIS 2012@Tokyo
局所変分法による近似(1)局所変分法とは (Palmer 2005)
Super Gaussian を Gauss 関数で近似
Legendre 変換から導かれる
フォーマルにはこんな感じ…
Legendre 変換対p(x) = exp(�g(x
2
))
= sup
⇠>0
r(⇠)N(x | 0, ⇠�1
)
r(⇠) =
s2⇡
⇠exp
✓g⇤✓ ⇠2
◆◆g(u) = inf
⇠>0⌘u � g⇤(⇠)
g⇤(⇠) = infu>0⇠u � g(u)
2012/11/08IBIS 2012@Tokyo
局所変分法(2): Laplace 分布の近似
Laplace 分布の密度関数を x2 の関数として考える
-6 -4 -2 0 2 4 6
0.0
0.1
0.2
0.3
0.4
0.5
Comparison of Likelihoods
TrueSamplingGaussLatent
最適化パラメータ ξ を導入する代わりにGauss 関数ライクな記述が可能
p(x) =↵
2
exp
(�↵|x|)
=↵
2
exp
⇣�↵p
x
2
⌘
=↵
2
sup
⇠>0
exp
� ⇠
2
x
2 � ↵2
2⇠
!
2012/11/08IBIS 2012@Tokyo
局所変分法による TV モデルの近似
事前分布→ Gauss 関数として記述
ただし {α, β, η} が不確定→ EM アルゴリズムで推定
事後分布→ Gauss 分布として記述
p(x) /Y
(i, j)
sup
⇠i j
>0
exp
�⇠i j
2
(x
i
� x
j
)
2 � ↵2
2⇠i j
!
= sup
⇠r(⇠) N(x | 0,⇤�1
)
HTV(x) =X
(i, j)
|xi � x j|原信号
観測信号
xi xj
yi yj
Haar 基底による画像表現
IBIS 2012@Tokyo 2012/11/08
画像の定式化: Wavelet 基底による表現
φ0 φ1 φ2 φ3x=s0 +s1 +s2 +s3 +...
x =
MX
m
si'i = �s
p(s) = p(x)|�| / exp
�1
2
s
T�T⇤�s
!
y = �s原信号 観測信号
事前分布
事後分布 p(s | s) ⇠ N(s | µ, (�T⇤� + �I)�1)
µ = (�T⇤� + �I)�1�s
2012/11/08IBIS 2012@Tokyo
EMアルゴリズムによるハイパーパラメータ推定(Dempster 1977, Neal & Hinton 1999)
x を隠れ変数だと思ってパラメータ θ = {α, β, η} を推定する→ Q 関数の最大化
事後分布は Gauss 分布で近似するので期待値が計算可能
HTV(x) =X
(i, j)
|xi � x j|原信号
観測信号
xi xj
yi yj
Q(✓ | ✓(t)) = hln p(x, y | ✓)ix|✓(t)
=M ln �
2� �
2
Dks � sk2
Es|✓(t) + M ln↵ � ↵
2
2
X
(i, j)
1⇠i j� 1
2
Ds
T�T⇤�s
Es|✓(t)
2012/11/08IBIS 2012@Tokyo
計算機実験: 入力画像真の画像 x と観測画像 y
原信号: xcameraman.png の一部
観測過程: Gauss 観測過程
標準偏差 β*(-1/2) →制御パラメータ
原信号
観測信号
xi xj
yi yj
y
i
= x
i
+ n
i
n
i
⇠ N(ni
| 0, �⇤�1)
x y
Dimensions: 64 x 64Column
Row
10
20
30
40
50
60
10 20 30 40 50 60
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
Dimensions: 64 x 64Column
Row
10
20
30
40
50
60
10 20 30 40 50 60
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
2012/11/08IBIS 2012@Tokyo
計算機実験: TV vs. GMRF比較する事前分布
TV近似(L1拘束)
GMRF(L2拘束)
HTV(x) vs.
HGMRF(x)原信号
観測信号
xi xj
yi yj
xi xj
HTV(x) =X
(i, j)
|xi � x j|
HGMRF(x) =X
(i, j)
(xi � x j)2
2012/11/08IBIS 2012@Tokyo
TV(L1拘束）解と GMRF(L2拘束)解との比較(1)
TV解 GMRF解
視覚的にはあまり良くわからない
Dimensions: 64 x 64Column
Row
10
20
30
40
50
60
10 20 30 40 50 60
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
Dimensions: 64 x 64Column
Row
10
20
30
40
50
60
10 20 30 40 50 60
-2.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
β*-1/2=0.1 ×画像のパワーの場合
2012/11/08IBIS 2012@Tokyo
TV(L1拘束）解と GMRF(L2拘束)解との比較(2)
TV 解 GMRF 解TV解の方が，画像のエッジ部分の保存状態が
やや良い(ような気がする)
Dimensions: 64 x 64Column
Row
10
20
30
40
50
60
10 20 30 40 50 60
-1.0
-0.5
0.0
0.5
1.0
Dimensions: 64 x 64Column
Row
10
20
30
40
50
60
10 20 30 40 50 60
-1.0
-0.5
0.0
0.5
1.0
差分画像( 修復画像(Φµ) - 原画像 (x) ) による比較
2012/11/08IBIS 2012@Tokyo
TV(L1拘束）解と GMRF(L2拘束)解との比較(3)
Peak Signal to Noise Ratio (PSNR) 値による定量評価
解 Φµ が原信号 x に近いほど高い値
TV近似の方が若干良い(気がする）
PSNR(x,µ) = 10 log
10
0BBBBB@
(max x �min x)
2
1
M
PM
i=1
(µi
� x
i
)
2
1CCCCCA
0.05 0.10 0.15 0.20
1520
25
Noise Level
PSNR
PSNR evaluation
TVGMRFNoised
β*-1/2High NoiseLow Noise
Goo
dPo
or
2012/11/08IBIS 2012@Tokyo
まとめと課題まとめ
TV に局所変分法を適用し定式化→画像修復へ適用
低ノイズ領域においては近似 TV の方が，GMRF を使うより良さげな感じ（特にエッジを保存したいような場合）
課題
TV近似の分配関数の計算はかなり怪しい
EM法におけるハイパーパラメータの収束性の悪さ
画像サイズと行列計算の問題
(TV + 疎な基底) vs. (GMRF + 疎な基底) などのバリエーションとの性能比較