0727 cvpr16 asp_vision_upload
TRANSCRIPT
![Page 1: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/1.jpg)
ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
#cvsaisentanCVPR 16 読み会
@mhr380 1
![Page 2: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/2.jpg)
2
本日のメニュー
![Page 3: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/3.jpg)
3
ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
Huaijin (George) Chen*, Suren Jayasuriya*, Jiyue Yang, Judy Stephen, Sriram
Sivaramakrishnan, Ashok Veeraraghavan, Alyosha Molnar
(* = joint first authors)In CVPR 2016 (Oral Presentation)
Presenter: Hajime Mihara (@mhr380)
![Page 4: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/4.jpg)
4
どんな論文?
![Page 5: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/5.jpg)
5
どんな論文?アッ CNNだ !
![Page 6: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/6.jpg)
6
どんな論文?
アッ… ?
![Page 7: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/7.jpg)
7
どんな論文?
アッ… ?ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
![Page 8: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/8.jpg)
8
どんな論文?
アッ… ?ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
Optically Computing the First Layer of Convolutional Neural Networks
「光学的に CNNの第1層を計算する」!?
![Page 9: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/9.jpg)
9
ざっくり言うと : 背景• 画像からの一般物体認識タスクに「画像」は本当に必要?• 現在のカメラは、人が鑑賞・認識できる画像を出力• CV のタスクに最適化された装置ではないよね
• コンピュータが理解しやすいデータを出力するカメラって?
![Page 10: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/10.jpg)
10
ざっくり言うと : 提案手法• センサ出力が画像ではなく、ガボールフィルタをかけた画像になるような CMOS イメージセンサを提案• CMOS センサのピクセル上に、様々な回折格子を設置することにより実現
![Page 11: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/11.jpg)
11
ざっくり言うと : 結果• CNN による一般物体認識タスクにおいて• 画像を入力し、ガボールフィルタをかけた画像を入力した場合と、作成した CMOS の信号を入力した場合で、認識性能は変わらなかった• しかし、計算機上での 1 層目の演算を省略、センサの電力を 90%削減、センサ -CPU 間の通信帯域を 1/10に
![Page 12: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/12.jpg)
12
どんな人たち?• Huaijin (George) Chen*• Suren Jayasuriya*• Jiyue Yang• Judy Stephen• Sriram Sivaramakrishnan• Ashok Veeraraghavan• Alyosha Molnar
• Assistant Prof. (PI) @ Rice Univ. • Computational Photography 分野では
著名な研究者• Last Name の発音が難解
( Computational Photography 界隈あるある)
• 博士課程学生@ Rice Univ.• Google Scholar には、この論文と
CVPR ’15 の論文の計2本が登録http://hc25.web.rice.edu/
http://www.ece.rice.edu/~av21/
![Page 13: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/13.jpg)
13
どんな人たち?• Huaijin (George) Chen*• Suren Jayasuriya*• Jiyue Yang• Judy Stephen• Sriram Sivaramakrishnan• Ashok Veeraraghavan• Alyosha Molnar
• cornell Univ. でイメージセンサを研究するグループ。• 応用先として、 Computational Imaging にも取り組
み、近年は CV/CP 分野にも進出( ICCP2014 に MIT の R. Raskar らとの共著論文あり)
http://molnargroup.ece.cornell.edu/
![Page 14: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/14.jpg)
14
内容
![Page 15: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/15.jpg)
15
Angle Sensitive Pixels (ASP) 1/5• cornell Univ. の Molnar Group が開発した光の入射角度により、信号強度が変化する CMOS センサ• 初出は 2012 年、 IEEE Journal of Solid-state Circuits にて
*A. Wang. et al., “A Light-Field Image Sensor in 180 nm CMOS”, IEEE Journal of Solid-state Circuits, Vol. 47, No. 1, Jan. 2012.
![Page 16: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/16.jpg)
16
Angle Sensitive Pixels (ASP) 2/5• ASP は、ピクセル表面に回折格子を設置することにより実現• 回折 (diffraction) ってなんだっけ?• 媒質中を伝わる波に対し障害物が存在するとき、波がその背後など、幾何学的には到達できない領域に回り込んで伝わっていく現象( Wikipedia 「回折」)
http://cweb.canon.jp/eos/special/dlo/factor/img/img-03-01.gif
![Page 17: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/17.jpg)
17
Angle Sensitive Pixels (ASP) 3/5• 回折格子ってなんだっけ?• 英語では回折格子のことを (diffraction) grating と言うらしい• 多数のスリットを並べ、回折を起こすような素子
波の干渉が生じるため、強め合ったり弱めあったりする(干渉縞)• 縞の位置は波長依存性があるため、白色光を分光するために利用(この論文ではあまり使わない)
(左図) http://www.shimadzu.co.jp/products/opt/guide/index.html(右図) Wikipedia 「回折格子」
![Page 18: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/18.jpg)
18
Angle Sensitive Pixels (ASP) 4/5• ASP で重要となる現象: Talbot 回折
回折格子x2
波長 λ の光(平面波)
格子下方の位置2 ・ n ・ d / λに回折格子の自己像が形成間隔 d
![Page 19: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/19.jpg)
19
Angle Sensitive Pixels (ASP) 4/5• ASP で重要となる現象: Talbot 回折
この効果により、インパルス応答がガボールフィルタのようになる
回折格子x2
波長 λ の光(平面波)
格子下方の位置2 ・ n ・ d / λに回折格子の自己像が形成間隔 d
![Page 20: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/20.jpg)
20
Angle Sensitive Pixels (ASP) 5/5• 実装とインパルス応答の例
角度や空間周波数の異なる様々な回折格子パターンを配置
![Page 21: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/21.jpg)
21
カメラとセンサのプロトタイプ
![Page 22: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/22.jpg)
22
電力・通信帯域削減 1/2• 電力• CMOS 内の AD 変換をめっちゃ最適化したというお話• 顕著にエッジが立っている画素を検出し、その周辺だけ
AD 変換を行う• (なぜこんなことが可能なのかはわかりませんでした…)• (そもそも CMOS センサって列ごとに動作するのでは…?)
pp.906
![Page 23: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/23.jpg)
23
電力・通信帯域削減 2/2• 通信帯域• 送りたいのは、ガボールフィルタをかけたあとの画像• こちらもめっちゃ最適化したという話
• 非ゼロ要素のみ送信• ランレングスで圧縮
![Page 24: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/24.jpg)
24
実験•従来の CNN と、提案する ASP を用いたシステムで認識の精度が変わらないことを示す• データセットは MNIST, CIFAR-10/100, PF-83 を用意•比較手法として、 VGG-M-128, NiN, LeNet を用意• 提案手法の2層目以降は、比較手法と同一のネットワーク構造
![Page 25: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/25.jpg)
25
実験• 結果
精度はあまり変わらない(ポジティブな意味で)
![Page 26: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/26.jpg)
26
センサの解析•ソニー製スマートフォン用イメージセンサとの電力・通信帯域の比較
単位面積あたりのエネルギ消費が340 : 33 (単位略)電力消費を 90%抑えた
384x384x8bit で圧縮率は 10:1 に
![Page 27: 0727 cvpr16 asp_vision_upload](https://reader036.vdocuments.pub/reader036/viewer/2022062412/5872babb1a28ab523c8b7825/html5/thumbnails/27.jpg)
27
まとめ• Angle Sensitive Pixels (ASP) と CNN を組み合わせて
Visual recognition 用のシステムを構築した• 認識精度を下げずに、エネルギ効率や圧縮効率を向上させた