画像のフィルタリング処理 講義内容haneishi/class/iyogazokougaku/...3...

1画像のフィルタリング処理

講義内容

実空間フィルタリング平滑化(LPF)エッジ強調(HPF)Laplacian of Gaussian (LOG)フィルタ(BPF)

周波数空間フィルタリングＬＰＦ，ＨＰＦ，ＢＰＦ周波数選択的フィルタ

線形シフトインバリアントシステムと劣化画像復元線形システム劣化画像の復元

2

ノイズ除去（１）平滑化処理 －１次元－

・ノイズは減少

・波形はなまる

５つの値の平均値で置き換えていく1/5 1/5 1/5 1/5 1/5*

・・・

５点の平滑化の場合

)(xg35

15 2112

27

42

29

45 49

19処理後

x

処理前

ノイズフリーの連続信号

4538

15 141217

50

19

46 49)(xf

xKernel

∑−=

+++−− =++++=2

22112 5

1)(51

iinnnnnnn ffffffg

3デジタル画像に対するコンボリューション処理

k1

原画像１画素ずつずらしながら処理

コンボリューション核 (kernel)

k2 k3

k4 k5 k6

k7 k8 k9

f1 f2 f3

f4 f5 f6

f7 f8 f9

9922115 fkfkfkg +++= 処理画像

対応する画素ごとに積をとり，最後に和をとって処理画像の対応する位置に入れていく

4

ノイズ除去（１）平滑化処理 － ２次元－

コンボリューション核(kernel)

k1 k2 k3

k4 k5 k6

k7 k8 k9

×91

1 1 1

1 1 1

1 1 1

このエリアの平均値を用いる

３×３の平滑化の場合

5

エッジ強調 －１次元－

エッジやノイズを強調処理後

ノイズフリーの連続信号

3126

-21

5

28

-1

)(xg

x

-1 0 1

1

-1

*

11 −+ −= nnn ffg

差分フィルタ：近傍領域の差分値で置き換えていく方法

処理前

ノイズフリーの連続信号

4538

15 141217

50

19

46 49)(xf

xKernel

6

エッジ強調 －１次元－

差分フィルタ：近傍領域の差分値で置き換えていく方法

エッジやノイズを強調処理後

53 3

26

-1

)(xg

x

-1 1 0

-4

3

*

1−−= nnn ffg23

-24

2

処理前

ノイズフリーの連続信号

4538

15 141217

50

19

46 49)(xf

xKernel

7

エッジ強調 －１次元－

差分フィルタ：近傍領域の差分値で置き換えていく方法

エッジやノイズを強調処理後

53 3

26

-1

)(xg

x

-1 1 0

-4

3

*

1−−= nnn ffg23

-24

2

処理前

ノイズフリーの連続信号

4538

15 141217

50

19

46 49)(xf

xKernel

8

エッジ強調－１次元－ ラプラシアンフィルタ

差分フィルタ：近傍領域の２階微分（ラプラシアン）で置き換えていく方法

処理後

)(xg

x

処理前

ノイズフリーの連続信号

4538

15 141217

50

19

46 49)(xf

x

nnn

nnnnnfff

ffffg2

)()(11

11−+=

−−−=−+

−+

Kernelは？

9

ノイズ除去－１次元－ メディアンフィルタ

差分フィルタ：近傍領域の中央値(メディアン）で置き換えていく方法

処理後

)(xg

x

},,,,{ 2112 ++−−= nnnnnn fffffmediang

処理前

ノイズフリーの連続信号

4538

15 141217

50

19

46 49)(xf

x

注：この処理は線形演算ではなく，コンボリューション処理とは呼ばない

10

ノイズ除去－１次元－ メディアンフィルタ

差分フィルタ：近傍領域の中央値(メディアン）で置き換えていく方法

処理後

)(xg

x

},,,,{ 2112 ++−−= nnnnnn fffffmediang

処理前

ノイズフリーの連続信号

4538

15 141217

50

19

46 49)(xf

x

注：この処理は線形演算ではなく，コンボリューション処理とは呼ばない

15 17 19 19 45 46

11

0 1 0

1 -4 1

0 1 0

エッジ強調フィルタ －２次元－

Sobel filterLaplacian filter

-1 0 1

-2 0 2

-1 0 1

中央と周辺との差分

f1 f2 f3

f4 f5 f6

f7 f8 f9

)()( 2558 ffff −−−y方向の2回差分

x方向の2回差分 )()( 4556 ffff −−−

x

y

x

y

ｘ方向には差分ｙ方向には平滑化

12

Laplacian of Gaussian (LoG) フィルタ

１次元信号に対するLOG処理の模式的説明

原信号

Gaussianをコンボシューション

1次微分

さらに微分（計２次微分）

ぼかし処理によりノイズが低減する

エッジの立上がり，や立下りが，山や谷になる．

エッジの山や谷が０近辺の値になる．

⇒ ゼロクロス法を使って検出すればよい

1

-1

1

-1

1

-2

1参考：ラプラシアン演算子

13

3x3 kernel

5x5 kernel 7x7 kernel

平滑化 フィルタ（移動平均法）

Kernel:

11

111

2

n n

n

オリジナル画像

14

0

5

10

15

0

5

10

15

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

Sigma = 1

平滑化 フィルタ（Gaussian kernel）

オリジナル画像

フィルタ処理画像

15

0

5

10

15

0

5

10

15

0

0.002

0.004

0.006

0.008

0.01

0.012

0.014

0.016

0.018

0.02

0

5

10

15

0

5

10

15

0

0.005

0.01

0.015

0.02

0.025

0.03

0.035

0.04

Sigma = 2

Sigma = 3 フィルタ処理画像

フィルタ処理画像

平滑化 フィルタ（Gaussian kernel）

16

Laplacianフィルタ

オリジナル画像 フィルタ処理画像

（フィルタ処理の後，負の値も発生する．

画像として表示するために，値が０から２５５の範囲になるような階調変換を行っている）

17

GaussianKernel size:

7x7

ＬＯＧフィルタ後画像オリジナル画像

エッジ画像（ゼロクロス法） オリジナル画像＋エッジ画像（赤）

LOG フィルタ(Gaussian Kernel size: 7x7)

18

GaussianKernel size:

13x13

ＬＯＧフィルタ後画像

エッジ画像（ゼロクロス法） オリジナル画像＋エッジ画像（赤）

LOG フィルタ(Gaussian Kernel size: 13x13)

19

0

5

10

15

20

0

5

10

15

20

-4

-3.5

-3

-2.5

-2

-1.5

-1

-0.5

0

0.5

1

x 10-3

GaussianKernel size:

19x19

ＬＯＧフィルタ後画像

エッジ画像（ゼロクロス法） オリジナル画像＋エッジ画像（赤）

LOG フィルタ(Gaussian Kernel size: 19x19)

20Prewittフィルタ

-1 -1 -1

0 0 0

1 1 1

y

-1 0 1

-1 0 1

-1 0 1

y

オリジナル画像水平方向のエッジ強調画像

垂直方向のエッジ強調画像 ２方向強調画像を用いたエッジ抽出

21２次元フーリエ変換

講義内容

空間周波数の概念２次元フーリエ変換代表的な２次元フーリエ変換対２次元離散フーリエ変換

22画像のフィルタリング処理

講義内容

実空間フィルタリング平滑化(LPF)エッジ強調(HPF)Laplacian of Gaussian(LOG)フィルタ(BPF)

周波数空間フィルタリングＬＰＦ，ＨＰＦ，ＢＰＦ周波数選択的フィルタ

線形シフトインバリアントシステムと劣化画像復元線形システム劣化画像の復元

ＭＡＴＬＡＢを用いたデモ

23

フーリエ面での処理

周波数成分に対する自在なフィルタリングが可能

LPF，BPF,HPF, 部分的なフィルタ（特定周波数成分の除去，周期構造をもつノイズの除去）Wiener フィルタ （周波数ごとのSN比を考慮した復元フィルタ）

処理の流れ

特徴

フーリエ変換フーリエスペクトル

フィルタ演算

処理画像

原画像

フーリエ逆変換

),( yxf ),( vuF

),(),(),(

vuHvuFvuG

=),( yxg

例

24

コンボリューション定理

),(*),(),( yxhyxfyxg = ),(),(),( vuHvuFvuG ⋅=

実空間 フーリエ空間

コンボリューション 積

),( yxf

),( yxh

),( yxg

),(),(),( yxhyxfyxg ⋅= ),(*),(),( vuHvuFvuG =

積 コンボリューション

),( vuF

),( vuH

),( vuG

25

処理の等価性

Fourier Transform pair フーリエスペクトル

F(u,v)

フィルタH(u,v)

処理画像g(x,y)

フィルタ演算

G(u,v)

原画像f(x,y)

コンボリューション核

h(x,y)

Fourier Transform pair

Fourier Transform pair

26

平滑化フィルタ

×91

1 1 1

1 1 1

1 1 1

実空間でのフィルタ（コンボリューション核）

空間周波数フィルタ

uv

（フィルタ特性の絶対値をとって表示）

uv

27

0 10 20 30 40 50 60 70-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

Width = 3 Width = 5 Width = 7

Frequency

Mod

ulat

ion

Averaging filter

平滑化フィルタの周波数特性

Low pass filter

Width=3Width=5Width=7

28

Laplacianフィルタ

空間周波数フィルタ

uv

0 − α 0

− α 4 − α

0 −α 0

実空間でのフィルタ（コンボリューション核）

1=α

uv

29

ラプラシアンフィルタの周波数特性

0 10 20 30 40 50 600

0.5

1

1.5

2

2.5

3

3.5

4

alpha = 1

alpha = 0.5

alpha = 0.25

Frequency

Mod

ulat

ion

Laplacian filter

High pass filter

30

Sobel フィルタ

空間周波数フィルタ

uv

-1 0 1

-2 0 2

-1 0 1

実空間でのフィルタ（コンボリューション核）

x

y

uv

31

0 10 20 30 40 50 60 700

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

sigma = 1 sigma = 2 sigma = 3

Frequency

Mod

ulat

ion

Laplacian of Gaussian filter

LOGフィルタの周波数特性

Band pass filter

Sigma=3 Sigma=2 Sigma=1

32

空間周波数フィルタとコンボリューション核の例

空間周波数フィルタSharp-cut LPF

フーリエ空間

コンボリューション核

実空間

uvxy

33

周期性のあるノイズの低減

周波数空間の一部にノイズのパワーが集中しているようなとき

オリジナル画像 スペクトル画像

ノイズパターン 処理画像

Digital Image Processing, R. C. Gonzalez and R. E. Woodsから引用

),( yxf ),( vuF

)},(),({),( 1 vuGvuHyxp −ℑ= ),(),(),(),(ˆ yxpyxwyxgyxf −=重みw(x,y)は(x,y)の近

傍で推定画像の分散が最小になるように決定．

34画像のフィルタリング処理

講義内容

実空間フィルタリング平滑化(LPF)エッジ強調(HPF)Laplacian of Gaussian(LOG)フィルタ(BPF)

周波数空間フィルタリングＬＰＦ，ＨＰＦ，ＢＰＦ周波数選択的フィルタ

線形シフトインバリアントシステムと劣化画像復元線形システム劣化画像の復元

ＭＡＴＬＡＢを用いたデモ

35

x x

Linear,time-invariantsystem

In Out

ディラックのデルタ関数：インパルス関数

デルタ関数入力に対する応答：インパルス応答

x

入力信号

x

出力信号

τ x

0 0

出力信号は入力信号とインパルス応答とのコンボリューションで表される．

線形時不変システムまた線形シフトインバリアントシステム

)(xh)(xδ

)(xf)(xg

x

)(*)(

)()()(

xfxh

dfxhxg

=

−= ∫∞

∞−

τττ

36

シフトインバリアント：インパルス応答が，シフトによらないこと．

x0

)(xh

x0

)(xh

シフトインバリアントシステム

)( axh −

a

)( axh −≠

a

シフトインバリアント

シフトバリアント

２次元（画像）の場合 インパルス応答＝点光源に対するレンズによる像（点像分布関数point spread functionとよぶ）

レンズ物体面 像面

f x y x y( , ) ( , )= δ g x y h x y( , ) ( , )=

シフトインバリアント

シフトバリアント

レンズ物体面 像面

PSFが場所によって異なる場合

37

線形システム：重ね合わせの原理が成り立つこと

)}({)}({)}()({)(

)}({)(

)()(

2211

2211

xfSaxfSaxfaxfaSxg

xfSxg

xgxf

+=+=

=

ことである．以下の関係が成り立つ

あるとは，このシステムが線形で

に定義する．システムを以下のよう

を出力するに対して，入力

線形システム

x

入力信号)(xf

x

出力信号

τ

x

)(xg

+−+−+= )2()()()( 210 dxfdxfxfxf δδδ

)2()}2({)()}({

)()}({

22

11

00

dxhfdxfSdxhfdxfS

xhfxfS

−=−−=−

=

δδ

δ

+−+−+= )2()()()( 210 dxhfdxhfxhfxg

入力関数：

出力関数：

0

…

0f1f

2f

38

入力信号のスペクトル：

出力信号のスペクトル：

：伝達関数 Transfer function

コンボリューション 掛け算

F u( )

u

H u( )

u

G u( )

u

×

実空間 フーリエ空間

G u H u F u( ) ( ) ( )=

H u G uF u

( ) ( )( )

= =outputInput

)(*)()()()(

xfxhdfxhxg

=−= ∫

∞

∞−τττ

周波数空間で考える

∫∞

∞−−= dxuxjxfuF )2exp()()( π

[ ])()(

)2exp()()(

)2exp()()(

uFuHdxuxjdfxh

dxuxjxguG

=−−=

−=

∫ ∫∫∞

∞−

∞

∞−

∞

∞−

πτττ

π

∗)(xh

x

x

x

)(xf

)(xg

インパルス応答

39

Wiener Filter

劣化画像の復元などに用いられる

),( yxf

),(),(),(),( vuNvuHvuFvuG +=

),(),(),(),( yxnyxhyxfyxg +∗=

),( yxh理想画像：

劣化の点像分布関数：

劣化画像：),(

1vuH

),(/),(),(1

vuPvuPvuH SN+

u

)(uH

u

)(uF

Inverse filter:

Wiener filter:u

u

×

ノイズパワー 信号パワー

0

0

フーリエ変換は：

),(/),(),(),(/),(

vuHvuNvuFvuHvuG

+=

左辺（取得データ）GをHで割ると、