High quality Image Deblurringwith Panchromatic PixelsSiggraph 2012 文献紹介

石井

この文献でいいたいこと 試作した白色画素付きセンサで Deblur メリット

白色画素は高速・高感度・ブレなし撮影 デメリット

白色画素は色が無い

ブレ無しグレー画像とブレ有りカラー画像からブレ無しカラー画像を推定する

従来の Deblur(1) 一枚画像からの推定 Fergus ら (2006 siggraph) Shan ら (2008 Siggraph)

Natural Image Prior Multi Scale Inference Natural Image Prior Map Estimation

Levin ら (2009 CVPR) Map Estimation

従来の Deblur(2)

Computational Photography 的アプローチ Ben Ezra ら ( CVPR 08)

低解像度ブレなしと高解像度ブレ有りを併用 Raskar ら (2006 siggraph)

Coded Exposure Joshi ら (2009 siggraph)

Deblur with gyro

従来の Deblur(3)

Yuan ら (2007 Siggraph) Image Debluring with Blured/Nosy Pair

ISO設定／画像アライメント／シャッター速度設定が難しい

目的 シャッター速度制御可能な白色画素 位置合わせ不要

CMOS/5Mpix

白色ブレなしとカラーブレ有りからカラーブレなしを推定

New Color Filterでのデモザイク RGGB ではないため新たなデモザイク

手法が必要 Noise 　 Reduction Pan Image Reconstruction Bayer Pattern Interpolation Color Difference image computing Color Difference image upsampling Image Demosaicing

New Color Filterでのデモザイク RGGBではないため新たなデモザイク手法が必要 Noise　 Reduction Pan Image Reconstruction（ｂ）

New Color Filterでのデモザイク RGGBではないため新たなデモザイク手法が必要 Bayer Pattern Interpolation Color Difference image computing (c)

New Color Filterでのデモザイク RGGB ではないため新たなデモザイク

手法が必要 Color Difference image upsampling Image Demosaicing

Debluring with Pan Pixels 定式化

B=ブレ画像、 L＝ブレなし画像、 K＝PSF、 N＝ノイズ

Two　 Shuttered　 Imaging　Device (a): 高感度　短時間露光 (P1)グレー画像

(b): ブレ有り長時間露光 (P2)グレー画像(c) : ブレありカラー画像(d) : 高ノイズ短時間露光　カラー画像

今回のデバイスは、 (a),(c) を使う

Bayesian Deconvolution 既存手法と同様 尤度 Image Prior (Levinら　によって提案） エッジの分布とエッジの残差の積

Kernel Prior:L1ノルム

推定：目的関数 MAP推定

カーネル推定とブレなし画像推定の繰り返し

カーネル推定

ブレなし画像推定

実験結果 比較方法

Non-blindな方法と比較 Blindな方法と比較 カーネルが大きい場合 カーネルにノイズがのる場合

Non Blind手法と比較

Blind手法と比較

Large Kernel で比較

カーネルにノイズがある場合

Blured/Noisy Pair の画像で評価