人工知能研究のための視覚情報処理

人工知能研究のための

視覚情報処理

慶応義塾大学理工学部情報工学科中村晃貴

全脳アーキテクチャ　若手の会　勉強会後援 : ドワンゴ人工知能研究所

2

自己紹介

中村晃貴

慶応義塾大学理工学部情報工学科 4 年萩原研究室→代表の大澤さんと同じ研究室

人工知能、機械学習を研究してます

ウェブエンジニアっぽいこともたまにしてますhttp://miss-sato.com

動いて見える？ストレスチェック出来る画像まとめ http://matome.naver.jp/odai/2133544395137711901

4

はじめに

“ ものを視る”とは私達が想像するよりも

はるかに創造的な行為

↓

脳の情報処理の創造的な性質を理解することは

人工知能を研究する者にとって不可欠！

5

目次

人工知能研究者のための視覚情報処理

1. 視覚情報処理の概要

2. 網膜での視覚情報処理

視神経

網膜神経節細胞

3. 中間段階での情報の統合

視覚野の概要

一次視覚野

4. 高次視覚情報処理と認知

5. 視覚情報処理と工学

6

視覚情報処理の概要

視覚野

下側頭皮質

　眼

背側皮質視覚路 https://ja.wikipedia.org/wiki/ 背側皮質視覚路

7


視覚野

下側頭皮質

　眼

腹側経路物体認識

背側経路物体の位置を認識


8


方位輪郭線

物体認識

低次レベル処理中間レベル処理高次レベル処理

色

視差

テクスチャ

奥行き

局所的・単純大域的・複雑

9


引用 : カンデル神経科学

10


方位輪郭線

物体認識

低次レベル処理中間レベル処理高次レベル処理

視差奥行き


11

視覚情報処理の概要 ~ まとめ ~

視覚情報処理経路は二種類腹側経路 : 物体認識背側経路 : 物体の位置を認識

異なるレベルごとに段階的に情報処置が行われる

異なる特徴ごとに並列的に情報処理が行われる　

12

目次




視神経


3. 中間段階での情報の統合

視覚野の概要

一次視覚野



13

網膜での情報処理の概要

視覚野

下側頭皮質

　眼




14

網膜での情報処理の概要

網膜の視覚情報処理の概要

網膜神経節細胞視細胞


15

視細胞

視細胞

錐体 (cone)3 種類、明るい状況での視覚を担う→色覚をもたらす

桿体 (rod)1 種類、暗い状況での視覚を担う

人類の進化 https://ja.wikipedia.org/wiki/ 人類の進化

16

視細胞

http://an-immortal-flower.hatenablog.com/entry/2015/03/25/4 色型色覚チェックで自分に見える色をチェック！あ

17

視細胞

http://an-immortal-flower.hatenablog.com/entry/2015/03/25/4 色型色覚チェックで自分に見える色をチェック！あ

18



複数の視神経からの電気信号を統合、編集する

視覚像の境界線や光刺激の時間的変化を強調する働きがある→人間が物体認識をしやすくする

受容野の性質の違いなどによりいろいろな種類に分類される（約 20 種類）→オン型、オフ型　 M 型、 P 型

19


感覚系のニューロンの神経応答 ( 多くの場合、神経発火 )に変化を生じるような刺激が提示される空間の領域のこと

受容野

→ 次のスライドで詳しく説明します

20


　眼


ニューロンの活動

21


　眼



光

22


　眼



光

網膜神経節細胞は受容野が中心ー周辺拮抗型

23


　眼



光

網膜神経節細胞は受容野が中心ー周辺拮抗型

視覚像の境界線を強調↓

背景と物体の分離を促進

24


オン領域に比較的光刺激強く反応

オン領域とオフ領域うちけしあうため弱い反応

反応

反応

動いて見える？ストレスチェック出来る画像まとめ http://matome.naver.jp/odai/2133544395137711901

オフ領域にかかる光刺激が多い

↓暗くみえる

オフ領域にかかる光刺激が少ない

↓普通にみえる

27


網膜神経節細胞の分類

オン型、オフ型

網膜神経節細胞の受容野は中心ー周辺拮抗型

中心が興奮性、周辺が抑制性 : オン型中心が抑制性、周辺が興奮性 : オフ型

28


M 型、 P 型細胞

受容野が広く、反応が一過性：M 型細胞受容野が狭く、反応が持続的： P 型細胞

光刺激の時間的変化を強調↓

物体の動きを強調

29


光

P 型細胞 M 型細胞


30

網膜 ~ まとめ ~

視細胞が光を電気信号に変換しその後神経節細胞が編集

神経節細胞は視覚像の境界線光刺激の時間的変化を強調　中心ー周辺拮抗型の受容野 : 境界線を強調　 M 型細胞 : 刺激の時間的変化を強調　

31

目次




視神経


3. 視覚野での情報の統合

視覚野の概要

一次視覚野



32

視覚野での情報の統合

視覚野

下側頭皮質

　眼





視覚野の情報処理の概要



視覚野の情報処理の概要

輪郭統合、面分割

運動の空間情報

色や物体の形

物体表面の性質

背側経路：腹側経路：


35


視覚野は 6層構造

より上位の領野へ向かう2-3層 ( 一部 5-6層 ) から 4層への上行性接続

より下位の領野へ向かう2-3層、 5-6層から 1 、 5－ 6層への下行性接続

同層間における長距離の平行接続

https://www.nips.ac.jp/scinfo/kaisetsu.htm

36



より上位の領野へ向かう2-3層 ( 一部 5-6層 ) から 4層への上行性接続

より下位の領野へ向かう2-3層、 5-6層から 1 、 5－ 6層への下行性接続

同層間における長距離の平行接続

ベイジアンネットワーク

BESOMモデル

などでモデル化（前回の発表）

https://www.nips.ac.jp/scinfo/kaisetsu.htm

37

一次視覚野（ V1 ）

一次視覚野 (V1) 網膜からの情報を受け取り

視覚野内で最も低次の情報処理を担う

視覚皮質のニューロンはある特徴に対し選択的に反応するeg) 色、方位

似たような特徴選択性を持つニューロンが集まりコラム構造を形成している

38


コラム構造似たような性質を持つニューロンでコラムを形成→情報処理のスピードアップ　脳の容積の有効利用

eg) 方位コラム　眼優位性コラム

すべてのコラムが結合しハイパーコラムを構成


39


外側膝状体細胞（方位選択制無し）

V1 の方位コラムのニューロン

一次視覚野での情報処理　→“輪郭線の抽出”を例にあげて説明します

方位選択制


40


方位選択制細胞の分類

単純型細胞 (simple cell)　特定の位置における、　　特定の方位を持つ線状の刺激に反応

複雑型細胞 (complex cell)　複数の単純型細胞からの入力を受け、　受容野内のあらゆる範囲における　特定の方位を持つ線状の刺激に反応する

→ 複雑型細胞は特徴の位置ずれを吸収する役割　 eg)ネオコグニトロン


41


方位→輪郭線


42


方位→輪郭線


43


ある V1 の方位選択制ニューロンの受容野を　　で表す

受容野内の光刺激はほぼ同じ　　　　　↓しかし下の画像の方がニューロンの反応は強い

この現象は“コラム間の水平接続”によるもの


44


コラム間の水平接続

離れた位置にある（受容野の異なる）似た特徴選択性のあるニューロン同士を接続


45


同じ最適方位を持つニューロンの受容野を　　で表す

これらのニューロンは水平接続されている

それぞれが最適方位にあう光刺激により反応　　　　　　↓水平接続されているため反応を強め合う


46

視覚野の情報の統合～まとめ～

視覚野は V1～ V5 野の各領野に分かれていて、段階的により高次の情報処理を行っている


一次視覚野では同じような性質のニューロンが集まりコラム構造を形成している

視覚野の同層間の水平接続は比較的広い範囲の視覚情報の統合に関わっている

47

目次




視神経



視覚野の概要

一次視覚野



48

下側頭皮質と認知

視覚野

下側頭皮質

　眼




49


下側頭皮質の役割

視覚野で解析された視覚特徴（輪郭、色など）から物体の認知を行う→複雑なパターンに反応する

視覚野以外からも入力を受ける　他の感覚、記憶、注意などからも　認知機構は影響を受ける

50


下側頭皮質の構造

V1 と同様機能コラムを構成する　似たパターンのコラムは集まり　ハイパーコラムを構成

後部下側頭皮質と前部下側頭皮質に分類

52


下側頭皮質の領域の分類

後部下側頭皮質入力された視覚特徴を“感覚表現”に統合

前部下側頭皮質物体の“感覚表現”を物体の意味、機能等の知識、概念と結びつける

54

下側頭皮質と認知～まとめ～

コラム構造　似たような刺激特性をもつニューロンが集まる

後部下側頭皮質と前部下側頭皮質に分類　後部下側頭皮質は視覚要素を“感覚表現”に統合、　前部下側頭皮質は物体の“感覚表現”を物体の概念と　結びつける

55

目次




視神経



視覚野の概要

一次視覚野



56

視覚情報処理と工学

ガボールフィルタ

ガウス関数と正弦波の積

https://ja.wikipedia.org/wiki/ガボールフィルタ

57


ネオコグニトロン C 細胞層特徴の位置ずれを吸収

S 細胞層特徴を抽出

http://uran.donetsk.ua/~masters/2014/fknt/tkachuk/library/article6.htm

58


ネオコグニトロ

K. Fukushima, Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position, Biological Cybernetics, vol. 36, pp. 193-202, 1980

59


CNN(convolutional neural network)LeNet [LeCun et al. 1986~98]

60


CNN(convolutional neural network)畳み込み層

→ フィルタを畳み込んだ値を次の層の特徴マップへ送る

61


CNN(convolutional neural network)プーリング層

→ ある範囲内の情報を統合し次の層の特徴マップへ送る　（しばしば最大値を選択：maxプーリング）

→

62


CNN(convolutional neural network)

http://ohzawa-lab.bpe.es.osaka-u.ac.jp/resources/text/KisokouKoukai2009/Ohzawa2009Koukai04.pdf

63


Deep learningGoogle の猫 [2012]

Quoc V. Le Building et al. 2012High-level Features Using Large Scale Unsupervised Learning

64


Convolutional RBM

https://deeplearningworkshopnips2010.files.wordpress.com/2010/09/nips10-workshop-tutorial-final.pdf

ご清聴ありがとうございました

人工知能研究のための視覚情報処理

Science