画像処理系としての視覚系 受容野によるフィルタ処...

76
画像処理系としての視覚系 受容野によるフィルタ処理 受容野と点広がり関数 受容野の働き 空間周波数と受容野 受容野と空間周波数選択性 受容野と方位選択性 視覚認識と視覚の空間処理 錯視的知覚と空間処理

Upload: others

Post on 04-Jul-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

画像処理系としての視覚系 受容野によるフィルタ処理

受容野と点広がり関数 受容野の働き

空間周波数と受容野

受容野と空間周波数選択性 受容野と方位選択性

視覚認識と視覚の空間処理

錯視的知覚と空間処理

Page 2: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

画像処理系としての視覚系 受容野によるフィルタ処理

受容野と点広がり関数 受容野の働き

空間周波数と受容野

受容野と空間周波数選択性 受容野と方位選択性

視覚認識と視覚の空間処理

錯視的知覚と空間処理

Page 3: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

網膜の細胞の模式図 H:水平細胞 B:双極細胞 A:アマクリン細胞 G:神経節細胞 (Dowling et al 1966)

B B B

B B B

G G G G

神経節細胞の受容野: Receptive field of ganglion cell

Page 4: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

単一細胞記録

細胞の受容野の測定  受容野:信号を受けとる(網膜上の)ある範囲

各光刺激呈示位置に対する反応を測定して,受容野の特性を求める +:正応答,-負応答, N:応答無し

Page 5: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

受容野を探せ�

Page 6: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

細胞の受容野のモデル

+ -

- -

-

2次元表現

抑制

Page 7: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

点光源 点広がり関数(レンズのボケなど)

=2次元インパルス応答

入力画像 出力画像

点広がり関数

Page 8: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

網膜の受容野処理,フィルタ処理 に関連する視覚現象

ハーマン格子

Page 9: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

暗い帯 明るい帯

マッハバンド

Page 10: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

図4.12 マッハバンド

輝度

知覚

刺激輝度

位置

Page 11: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

側抑制と呼ばれる効果で説明可能

側抑制:隣の刺激によって、見にくくなる効果

Page 12: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

側抑制:隣の刺激によって、見にくくなる効果  周辺の刺激による抑制効果を作り出す過程

入力:光量->光受容体応答

出力:神経節細胞応答 (視神経への信号)

Page 13: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

図4.13 マッハバンドの受容野の特性による説明

-0.2 -0.2 1

5 5 5 5 5 10 10 10 10 10 10 10

3 2.6 4 6.6 6 6 3

光受容体

視覚ニューロン

5 7

Page 14: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

2次元フィルタ(空間フィルタ) 先鋭化フィルタ

( 1, 2 ) =

0 −1 0

−1 5 −1

0 −1 0

#

$

% % %

&

'

( ( (

周波数特性 フィルタ

出力画像 入力画像

Page 15: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

図4.11 先鋭化フィルター処理

a. フィルタ

c. 出力画像 b. 入力画像

−1 −1 −1−1 9 −1−1 −1 −1

Page 16: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

原画

帯域フィルター後

Page 17: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

原画

帯域フィルター後

Page 18: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

図4.14 ヘルマン(ハーマン)格子と受容野の特性による説明

Page 19: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

周波数領域

空間領域

受容野/フィルター と 周波数特性:周辺抑制と帯域通過特性は対応する

Page 20: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

周波数領域

空間領域

受容野/フィルター と 周波数特性:周辺抑制と帯域通過特性は対応する

Page 21: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

周波数領域 空間領域

Page 22: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

Cross section

Page 23: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

周波数領域 空間領域

 より低い周波数領域を考えた場合

Page 24: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

周波数領域 空間領域

 より高い周波数領域を考えた場合

Page 25: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

弱い効果

中心/周辺拮抗型受容野とハーマン格子

Page 26: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

周波数領域 空間領域

効果の弱い図形場合

Page 27: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

ハーマン格子と類似した現象

Page 28: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 29: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 30: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

画像処理系としての視覚系 受容野によるフィルタ処理

受容野と点広がり関数 受容野の働き

空間周波数と受容野

受容野と空間周波数選択性 受容野と方位選択性

視覚認識と視覚の空間処理

錯視的知覚と空間処理

Page 31: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

網膜像は眼球光学系により結像される受容野は空間フィルターと考えることができる

つまり,視覚の空間特性は空間フィルターと考えることができる。

その特性は、視覚実験によって周波数特性として調べられている。

空間周波数特性は、視覚の空間特性として利用される。

Page 32: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

周波数特性とは 三角波の振幅(と位相の)入出力比(差)

空間周波数の振幅の場合

Page 33: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

視覚系の周波数特性は、 コントラスト閾値の測定から求める

高コントラスト

低コントラスト

マイケルソンコントラスト:A/L0=(Lmax-Lmin)/(Lmax+Lmin) コントラスト閾値:ぎりぎり見えるコントラスト コントラスト感度:1/コントラスト閾値

Luminance

Luminance

Luminance

Lmax �

L0�

Lmin �

A �

Page 34: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

受容野の中心/周辺部が刺激の縞と一致すると感度が高い

Page 35: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

図4.7 空間周波数特性(明るい環境)

空間周波数(c/deg)

コントラスト感度(1/C)

視力

Page 36: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

視覚系の空間周波数特性、視角の単位で表現 Spatial frequency characteristics of visual system

Spatial frequency in terms of visual angle unit

5 cycles/degree�

1°�

2.5 cycles/degree�

1°�

Page 37: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

方位選択性:単純型細胞の受容野

Page 38: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

視覚1次野の方位(傾き)選択性:特定の傾きの線分に対して大きな応答が得られる。

方位(傾き)選択性 細胞の応答 刺激

Page 39: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

視覚野では,異なる特徴を異なる細胞が検出

Page 40: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

それぞれのフィルターの応答(細胞応答)から元の画像を再現可能である。

Page 41: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

V1の細胞の受容野は,2次元の周波数次元を広くカバーする。

もう一度�GaborWavelet: 大阪大学�大澤研�

Page 42: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

出席確認1次ぎに説明するフレーザー錯視について、錯視というべきかどうか述べなさい。

講義内容についての疑問,感想でもよい。

Page 43: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

フレーザー錯視は錯視か?

同心円が渦巻きに見える。 同心円が本当にあるか?

Page 44: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

同心円が本当にあるか? 輪郭抽出の結果

Page 45: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 46: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

出席確認1次ぎに説明するフレーザー錯視について、錯視というべきかどうか述べなさい。

講義内容についての疑問,感想でもよい。

Page 47: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

画像処理系としての視覚系 受容野によるフィルタ処理

受容野と点広がり関数 受容野の働き

空間周波数と受容野

受容野と空間周波数選択性 受容野と方位選択性

視覚認識と視覚の空間処理

錯視的知覚と空間処理

Page 48: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

周波数成分と見かけの曲線

空間パターン

曲線が見える

曲線は見えない

周波数パターン

曲線は画像中の斜め線成分に依存している Shioiri

Page 49: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 50: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 51: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 52: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

周波数成分と見かけの曲面 空間パターン

曲面が見える

見えない (弱い)

周波数成分

Page 53: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

空間周波数と奥行き

高周波ほど遠くに見える

Page 54: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

% sample program: bandpass filtering�clear all;�% read image data�A=imread('white.jpg','jpg');�% FFT the image�FA=fft2(A);�% get the image size�[m,n] = size(A);�% Cut off frequency�bandHsf=8;�bandLsf=0;� �% the midpoint for shifting data�mm=floor(m/2);�nn=floor(n/2);� �%data for x and y coordinates�xx=[1:n];�yy=[1:m];�xx=xx-nn;�yy=yy-mm;�xx=repmat(xx,m,1);�yy=repmat(yy,n,1);�yy=yy';�% calculate the distance from the origin�dd=(xx.^2+yy.^2).^0.5;�dd=abs(dd);�% set filter�filter0= and(dd>bandLsf,dd<bandHsf);�% shift the data to make the data range be between zero and N (data number)�C11=filter0(mm+1:m,nn+1:n);�C12=filter0(mm+1:m,1:nn);�C21=filter0(1:mm,nn+1:n);�C22=filter0(1:mm,1:nn);�filter=[[C11 C12]; [C21 C22]];�

figure;�subplot(2,2,1);�colormap(gray);�imagesc(A);�colormap(gray);�axis off;��% shift the data to make the data centgered at the origin�C11=FA(mm+1:m,nn+1:n);�C12=FA(mm+1:m,1:nn);�C21=FA(1:mm,nn+1:n);�C22=FA(1:mm,1:nn);�FAmod=[[C11 C12]; [C21 C22]];�% draw the spectrum�subplot(2,2,2);�colormap(gray);�imagesc(log(abs(FAmod)));�colormap(gray);�axis off;�% filter the input image with the the filter�FCA= filter .* FA;�% shift the data to make the data centgered at the origin�C11=FCA(mm+1:m,nn+1:n);�C12=FCA(mm+1:m,1:nn);�C21=FCA(1:mm,nn+1:n);�C22=FCA(1:mm,1:nn);�FCAmod=[[C11 C12]; [C21 C22]];�subplot(2,2,4);�imagesc(log(abs(FCAmod)));�colormap(gray);�axis off;�AC=ifft2(FCA);�subplot(2,2,3);�imagesc(real(AC));�colormap(gray);�axis off;

Page 55: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 56: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 57: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 58: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 59: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 60: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 61: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 62: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 63: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 64: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 65: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 66: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 67: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 68: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 69: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 70: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 71: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 72: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 73: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 74: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 75: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる
Page 76: 画像処理系としての視覚系 受容野によるフィルタ処 …網膜像は眼球光学系により結像される 受容野は空間フィルターと考えることができる

出席確認2ぼかしたことでなにかが見やすくなったなった経験があれば述べなさい。講義内容についての疑問,感想でもよい。