flat cam: replacing lenses with masks and computationの解説

FLAT CAMReplacing Lenses with Masks and

Computationの解説

デンソーアイティーラボラトリ関川雄介

世界の変わったカメラたち

名前 キャッチコピーPinhole camera(BC) 紀元前に発明Pinspeck camera(BC) Pinhole camera の逆Accidental Pinhole and Pinspeck Cameras(2013) 自然に起きるピンホールカメラRandom Lens Imaging(2006) 鏡を砕いてレンズにCORNAR(2012) 見えない曲がりかどの先を見るLensless Imaging with a Controllable Aperture(2006) 光の速度で相関演算Rice Single Lens camera(2006) 1 ピクセルカメラ　 CS 画像応用の火付け役 ?

Pico Cam(2014) 直径髪の毛の 1/10 　Flatcam(2015) 激薄 厚さ 0.5mm

準備簡単に用語・記号の定義をします

カメラ :シーンの情報を観測する装置

シーン観測PSF

http://av.jpn.support.panasonic.com/support/global/cs/dsc/knowhow/knowhow01.html

カメラ( 観測行列 )

注 : 観測行列は簡単のため 1 次元の場合のイメージを記載しています．カメラのセンサーは 2 次元なので，実際の観測行列はこれを循環させたものをブロック状に配置したようなものになります．次頁以降の説明も同様です．また，一部観測行列でなく PSF を記載しているスライドもあるます．

PSF/Reconstruction• Point Spread Function(PSF): 点光源を撮影したときに得られる画像

• Reconstruction:得られた観測 yからシーン xを復元 (推定 )すること線形 / 非線形

EXTREME CAMERASOverview

PSF

Pinhole camera(BC)

シーン観測 カメラ( 観測行列 )

https://ja.wikipedia.org/wiki/ ピンホールカメラ

Pinspeck camera(BC)

http://www.northlight-images.co.uk/article_pages/Canon_1ds_pinhole.html

カメラ シーン観測

PSF

Accidental Pinhole and Pinspeck Cameras(2013)カーテンの隙間

壁の模様 : 除去したい！

http://people.csail.mit.edu/torralba/publications/shadowsIJCV.pdf

Algorithm: 窓の外の風景 = 観測 (y) の微分画像からエッジ部分 ( カーテンをしめた画像から計算）を除いた積分画像

Pinhole Pinspeck

Rice Single Pixel camera(2006)時刻 t におけるミラーパターン

ラスタスキャンの1/10 の観測から復元

PSF

1pixel センサー

ミラーアレー

http://dsp.rice.edu/cscamera

Random Lens Imaging(2006)

砕いたガラス

PSF

http://people.csail.mit.edu/billf/publications/Random_Lens_Imaging.pd

CORNAR: Looking Around Corners using Femto-Photography(2012)

http://web.media.mit.edu/~raskar/cornar/

http://web.media.mit.edu/~raskar/cornar/

Lensless Imaging with a Controllable Aperture(2006)

http://www1.cs.columbia.edu/CAVE/projects/pi_con/

光の速度で相互相関を計算

透明ディスプレー

PSF

PicoCam(2014)PSF

CCD

PicoCamhttp://arxiv.org/pdf/1509.00116v2.pdf

FLAT CAMERAOverview

FlatCam: Replacing Lenses with Masks and Computation(2015)

PSF

http://news.rice.edu/2015/11/23/no-lens-no-problem-for-flatcam-2/

うれしさ (vs conventional camera)

明るい 安い 薄い薄い

うれしさ (vs other Lens Less cameras)

vs Coded Lens(SIGGRAPH2014)

vs PicoCam

薄い

明るい

復元結果

demo video

ポイント1. コンパクトな H/W設計2.高速な復元⇨ 30fps

1. レンズ設計2. Calibration3. Reconstruction

CCD

Coded Aperture

レンズ (マスクパターン )設計

従来法：システム行列が巨大

マスクパターン :M 系列の外積

(Rank1)( 注 ) システム行列≠ Rank1

小さなシステム行列のサンドイッチに分解 高速な復元を実現

M 系列: 特異値スペクトルがフラット

ポイント

Calibration=:システム行列を求める

ポイントシーン X がSeparable=rank1

h:Hadmard 行列の列 観測の rank1 近似

Reconstruction(最小二乗誤差 )

小さな行列との積による高速な復元処理 (>15FPS! ）　ポイント

Separable Mask による効果

その他の復元方法との比較Tiknov 正則化 : 75ms/frame LS と同じ位の計算量で十分綺麗

TV 正則化 : 75s/frame エッジが少し綺麗 ?

参考資料

関連論文＆サイト一覧本資料の画像は以下のサイト若しくは論文のものを使用しています．• http

://news.rice.edu/2015/11/23/no-lens-no-problem-for-flatcam-2/

• http://www.northlight-images.co.uk/article_pages/Canon_1ds_pinhole.html

• http://people.csail.mit.edu/torralba/publications/shadowsIJCV.pdf

• http://people.csail.mit.edu/billf/publications/Random_Lens_Imaging.pd

• http://dsp.rice.edu/cscamera• http://arxiv.org/pdf/1509.00116v2.pdf• http://web.media.mit.edu/~raskar/cornar/• http://doshomachi.net/camera-obscura/• http://fluid.media.mit.edu/sites/default/files/a59-sckikawa.pdf