1

Blind Deblurring usingInternal Patch Recurrence

解説者

東京大学博士1年tackson某

関東CV勉強会 2014年12月6日ECCV 2014論文紹介

2発表者プロフィール

• 略歴

– 東京高専から東大工学部に２年次編入

– 学部：セグメンテーション

– 修士：ステレオ

– 博士：３次元復元（勉強会発表本日２回目）

• 興味のある分野

– ３次元形状復元・ステレオ

– MRF最適化・グラフカット

– セグメンテーション

• Twitterアカウント

3

Blind Deblurring usingInternal Patch Recurrence

Tomer Michaeli Michal Irani

Weizmann Institute of Science, ISRAEL

ECCV 2014 Oral Paper

Vision系というよりSignal Processing系の人

4

Blind Deblurring usingInternal Patch Recurrence

ECCV 2014 Oral Paper

5

✖ 手ブラ

✖デブ・ブラー

〇デブラー

念のための確認…

6

✖ 手ブラ

✖デブ・ブラー

〇デブラー

念のための確認…

7

Blind Deblurring/Deconvolution

𝒌観測されたBlur画像 Sharp画像Blur kernel

（ﾋﾟﾝﾎﾞｹ・手ぶれ）

𝑦 𝑥𝑘

ノイズ

推定

𝒚 = ∗ 𝒙 + 𝒏

入力

Blind Deblurring ≒ Sharp画像に対するPriorの違いex) Gradient Sparsity [Levin/Krishnan, CVPR 09,11] [Fergus/Shan, ToG

06, 08]

ex) Patch Similarity [Sun+ ICCP 13]

8

Patch Similarity Prior [Sun+ ICCP 13]

External Sharp Patch PoolBlur画像

Sharp Pool 中の最近傍パッチ

Blur画像中のパッチ

近づける

BlurパッチがSharpパッチに近くなるようにDeblur

※実際のパッチは 5x5 くらい

Query

Query

9

PROPOSED METHOD

10Internal Patch Recurrence Prior （提案）

α倍縮小した画像対象画像

縮小画像とのパッチ類似度を最大化するように Deblur

Blur 画像だと α倍 sharp なパッチが存在

Query

もしBlurナシなら 同じパッチが縮小画像に存在

Sharp画像に対するPrior

近づける実際は…

＝

≠

最近傍

11念のための確認…

某KB画像 でなくても幅広く成り立つPriorです

Sharpな自然画像

90%のパッチ（5x5サイズ）は

[Glasner+ ICCV 09] （超解像論文）によれば

3/4倍縮小した画像

縮小画像で 10 回以上現れる（つまりこちらも 5x5 パッチ）

そのまま

12実際の画像例

13提案手法：コスト関数

𝑦 𝑘 𝑥 𝑥𝛼

入力Blur画像 推定 Kernel 推定 Sharp 画像α倍に縮小した推定 Sharp 画像

データ項Internal Patch

Recurrence Prior 項KernelPrior 項

min 𝑘, 𝑥

𝑦 − 𝑘 ∗ 𝑥2

+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘

2

14提案手法：アルゴリズム

Internal PatchRecurrence Prior 項

min 𝑘, 𝑥

𝑦 − 𝑘 ∗ 𝑥2

+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘

2

𝑥𝛼 ← 𝑠ℎ𝑟𝑖𝑛𝑘𝛼 𝑥

min 𝑥

𝑦 − 𝑘 ∗ 𝑥2

+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘

2

min 𝑘

𝑦 − 𝑘 ∗ 𝑥2

+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘

2

Repeat

Until Convergence

Initialize: 𝑘 ← 𝛿, 𝑥 ← 𝑦

KernelPrior 項データ項

15提案手法：アルゴリズム詳細

𝑥𝛼 ← 𝑠ℎ𝑟𝑖𝑛𝑘𝛼 𝑥

min 𝑘

𝑦 − 𝑘 ∗ 𝑥2

+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘

2

Repeat

Until Convergence

α縮小画像 𝒙𝜶推定画像 𝒙

α倍 sharp なパッチ

近づける

さらに α倍 sharp なパッチ

近づける

min 𝑥

𝑦 − 𝑘 ∗ 𝑥2

+ 𝜆1 𝜌 𝑥, 𝑥𝛼 + 𝜆2 𝑘

2

α倍sharp

に

α倍sharp

に

16

EXPERIMENTS

17

※黄色数値はエラー値（Non-Blind手法 [Zoran+ ICCV 11] との相対的な誤差）

Gradient Sparsity External Patch Internal Patch

18

グラフ：横軸Error Rate以下の画像の割合

提案手法は非常にロバスト（失敗時のエラーが小さい）

入力画像・630枚・だいたい 1024x768

・最大 27x27 の blur

Patch-baseではない

External Patch

Internal Patch

19

“失敗例”（各手法のworst case）の比較

青数値：１以下→改善１以上→改悪

20

Additional Resultsfrom

Supplementary Material

http://www.wisdom.weizmann.ac.il/~vision/BlindDeblur.html

http://www.wisdom.weizmann.ac.il/~vision/BlindDeblur/VisualComparisons_ECCV2014.pdf

21

Conclusions

• Internal Patch Recurrence Prior:Image Deblurring のための強力なPrior

• blind deblur手法の state-of-the-art と同等の性能

• 他の手法より非常にロバスト

その他• 著者ページに実行可能コード有り（ただし実装隠蔽MATLABコード）

• 最適化や実装の詳細は大幅に省いています– FFTで高速化

– Image Pyramid つくってCoarse-to-Fineに（高速化＋局所解回避）

– Aliasingの議論

– 超解像との根本的な違い

• 著者のオーラル発表がわかりやすい！（指導教員の紹介）

http://videolectures.net/eccv2014_michaeli_blind_deblurring/

22

Paper Summary