Download - 0727 cvpr16 asp_vision_upload
ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
#cvsaisentanCVPR 16 読み会
@mhr380 1
2
本日のメニュー
3
ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
Huaijin (George) Chen*, Suren Jayasuriya*, Jiyue Yang, Judy Stephen, Sriram
Sivaramakrishnan, Ashok Veeraraghavan, Alyosha Molnar
(* = joint first authors)In CVPR 2016 (Oral Presentation)
Presenter: Hajime Mihara (@mhr380)
4
どんな論文?
5
どんな論文?アッ CNNだ !
6
どんな論文?
アッ… ?
7
どんな論文?
アッ… ?ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
8
どんな論文?
アッ… ?ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
Optically Computing the First Layer of Convolutional Neural Networks
「光学的に CNNの第1層を計算する」!?
9
ざっくり言うと : 背景• 画像からの一般物体認識タスクに「画像」は本当に必要?• 現在のカメラは、人が鑑賞・認識できる画像を出力• CV のタスクに最適化された装置ではないよね
• コンピュータが理解しやすいデータを出力するカメラって?
10
ざっくり言うと : 提案手法• センサ出力が画像ではなく、ガボールフィルタをかけた画像になるような CMOS イメージセンサを提案• CMOS センサのピクセル上に、様々な回折格子を設置することにより実現
11
ざっくり言うと : 結果• CNN による一般物体認識タスクにおいて• 画像を入力し、ガボールフィルタをかけた画像を入力した場合と、作成した CMOS の信号を入力した場合で、認識性能は変わらなかった• しかし、計算機上での 1 層目の演算を省略、センサの電力を 90%削減、センサ -CPU 間の通信帯域を 1/10に
12
どんな人たち?• Huaijin (George) Chen*• Suren Jayasuriya*• Jiyue Yang• Judy Stephen• Sriram Sivaramakrishnan• Ashok Veeraraghavan• Alyosha Molnar
• Assistant Prof. (PI) @ Rice Univ. • Computational Photography 分野では
著名な研究者• Last Name の発音が難解
( Computational Photography 界隈あるある)
• 博士課程学生@ Rice Univ.• Google Scholar には、この論文と
CVPR ’15 の論文の計2本が登録http://hc25.web.rice.edu/
http://www.ece.rice.edu/~av21/
13
どんな人たち?• Huaijin (George) Chen*• Suren Jayasuriya*• Jiyue Yang• Judy Stephen• Sriram Sivaramakrishnan• Ashok Veeraraghavan• Alyosha Molnar
• cornell Univ. でイメージセンサを研究するグループ。• 応用先として、 Computational Imaging にも取り組
み、近年は CV/CP 分野にも進出( ICCP2014 に MIT の R. Raskar らとの共著論文あり)
http://molnargroup.ece.cornell.edu/
14
内容
15
Angle Sensitive Pixels (ASP) 1/5• cornell Univ. の Molnar Group が開発した光の入射角度により、信号強度が変化する CMOS センサ• 初出は 2012 年、 IEEE Journal of Solid-state Circuits にて
*A. Wang. et al., “A Light-Field Image Sensor in 180 nm CMOS”, IEEE Journal of Solid-state Circuits, Vol. 47, No. 1, Jan. 2012.
16
Angle Sensitive Pixels (ASP) 2/5• ASP は、ピクセル表面に回折格子を設置することにより実現• 回折 (diffraction) ってなんだっけ?• 媒質中を伝わる波に対し障害物が存在するとき、波がその背後など、幾何学的には到達できない領域に回り込んで伝わっていく現象( Wikipedia 「回折」)
http://cweb.canon.jp/eos/special/dlo/factor/img/img-03-01.gif
17
Angle Sensitive Pixels (ASP) 3/5• 回折格子ってなんだっけ?• 英語では回折格子のことを (diffraction) grating と言うらしい• 多数のスリットを並べ、回折を起こすような素子
波の干渉が生じるため、強め合ったり弱めあったりする(干渉縞)• 縞の位置は波長依存性があるため、白色光を分光するために利用(この論文ではあまり使わない)
(左図) http://www.shimadzu.co.jp/products/opt/guide/index.html(右図) Wikipedia 「回折格子」
18
Angle Sensitive Pixels (ASP) 4/5• ASP で重要となる現象: Talbot 回折
回折格子x2
波長 λ の光(平面波)
格子下方の位置2 ・ n ・ d / λに回折格子の自己像が形成間隔 d
19
Angle Sensitive Pixels (ASP) 4/5• ASP で重要となる現象: Talbot 回折
この効果により、インパルス応答がガボールフィルタのようになる
回折格子x2
波長 λ の光(平面波)
格子下方の位置2 ・ n ・ d / λに回折格子の自己像が形成間隔 d
20
Angle Sensitive Pixels (ASP) 5/5• 実装とインパルス応答の例
角度や空間周波数の異なる様々な回折格子パターンを配置
21
カメラとセンサのプロトタイプ
22
電力・通信帯域削減 1/2• 電力• CMOS 内の AD 変換をめっちゃ最適化したというお話• 顕著にエッジが立っている画素を検出し、その周辺だけ
AD 変換を行う• (なぜこんなことが可能なのかはわかりませんでした…)• (そもそも CMOS センサって列ごとに動作するのでは…?)
pp.906
23
電力・通信帯域削減 2/2• 通信帯域• 送りたいのは、ガボールフィルタをかけたあとの画像• こちらもめっちゃ最適化したという話
• 非ゼロ要素のみ送信• ランレングスで圧縮
24
実験•従来の CNN と、提案する ASP を用いたシステムで認識の精度が変わらないことを示す• データセットは MNIST, CIFAR-10/100, PF-83 を用意•比較手法として、 VGG-M-128, NiN, LeNet を用意• 提案手法の2層目以降は、比較手法と同一のネットワーク構造
25
実験• 結果
精度はあまり変わらない(ポジティブな意味で)
26
センサの解析•ソニー製スマートフォン用イメージセンサとの電力・通信帯域の比較
単位面積あたりのエネルギ消費が340 : 33 (単位略)電力消費を 90%抑えた
384x384x8bit で圧縮率は 10:1 に
27
まとめ• Angle Sensitive Pixels (ASP) と CNN を組み合わせて
Visual recognition 用のシステムを構築した• 認識精度を下げずに、エネルギ効率や圧縮効率を向上させた