1

第一章光、影像、浮水印和抽樣原理

2

1.2 光與顏色 1.3 人眼與照像機的關係 1.4 彩色模式的轉換 - RGB、 YIQ、 HSV和

YUV

1.5 隱像術與浮水印

1.6 人臉的定位應用

1.7 影像抽樣原理

1.9 作業

1.5.1 影像的位元平面剖析 1.5.2 基本原理

1.6.1 形態學 1.6.2 離散餘弦轉換

1.7.1 傅利葉轉換 1.7.2 避免混疊效應

1.1 前言

3

光 (Light) 是一種粒子，也是一種波。人的眼睛只能看到可見光的部份，卻不能看見頻率 (Frequency) 低於可見光的紅外線和微波，也無法看見頻率高於可見光的紫外線和加瑪射線。

在影像處理中，像素的亮度 (Brightness) 和頻率的關係，如圖1.2.1 所示。低頻率的紅光和高頻率的紫光的亮度都不如比較中間頻率的黃綠光來的強。

紅

黃 綠

紫

亮度

頻率可見光

1.2 光與顏色

圖 1.2.1 亮度與頻率的關係

4

1.3 人眼與照像機的關係 除了利用掃描器 (Scanner) 外，影像處理前的輸入影像有很大的比

例是由照像機 (Camera) 拍攝而得。 瞳孔的功能很像照像機的光圈，是用來調節進入人眼內部的光通

量，光通量一般以流明 (Luminance) 為單位。

視網膜

睫狀肌

水晶體

視神經束

瞳孔

眼角膜

虹膜

圖 1.3.1 人眼示意圖

5

圖 1.3.2 　透鏡成像原理

圖 1.3.2 為透鏡成像的中央投影 (Central Projection) 示意圖。圖中的 f 代表鏡頭的焦距； f1 代表物距， f2 而代表像距。 f 、 f1和 f2

會滿足下列式子

21

111

fff

Q1 ：令 f1 = 3 cm和 f2 = 6 cm ，求算 f 。

ANS ：根據式 (1.3.1) ，我們得到

所以 f = 2 cm 。 EOA

2

1

6

1

3

11

f

(1.3.1)

6

1.4 彩色模式的轉換 在影像的彩色模式中，比較常見的有下列幾種：

(1)RGB ， (2)YIQ， (3)HSV， (4)YUV。

RGBYIQ

B

G

R

Q

I

Y

311.0528.0212.0

321.0275.0596.0

114.0587.0299.0

(1.4.1)

Q1 ：給一像素，其 (R , G , B)為 (100, 50, 30) ，試求其對應的灰階值。ANS ：由式 (1.4.1) 可得

故得灰階值 63 。EOA

6330114.050587.0100299.0 Y

7

Q2 ：給一 2×2 RGB 影像 請將 I由 RGB

彩色影像轉換成 YIQ 影像，這裡 (10,20,40) 代表 R=10,G=20和 B=40 。

ANS ：利用式子 (1.4.1) 可得

經過四捨五入後，所得到的 YIQ 影像為EOA

)120,250,50()200,150,100(

)20,30,40()40,20,10(I

)84,77,175()4,46,141(

)1,9,32()4,12,19(YIQI

8

圖 1.4.1 彩色 Lena 影像 圖 1.4.2 轉換的高灰階 Lena 影像

給一彩色 Lena 影像，如圖 1.4.1 所示，利用式 (1.4.1) 中 Y與RGB 的關係，我們可得到圖 1.4.2 所示的高灰階影像。

9

RGBHSV

255

),,(

),,(

),,(),,(

B if 360

B if

5.0cos

1

1

2

11

BGRMaxV

BGRMax

BGRMinBGRMaxS

GHH

GHH

BGBRGR

BRGRH

(1.4.2)

在 HSV 系統中， H=0 時代表紅色， H=120 時代表綠色， H=240 時代表藍色。當的 S=0 時，表示影像為灰階式的影像。當 H = 0且 S=1 時，影像為紅色。當 V=0 時，表示黑色。反之，當 V=1 時，表示白色的亮光。

10

HSV 系統可以圖 1.4.3 表示其座標系統。

HSV 彩色系統有時也稱作 HSB 彩色系統，這裡的 B 代表Brightness 。

HSV 有時更被稱作 HIS ，這裡的 I 代表 Intensity ，其實就是灰階值。

圖 1.4.3 HSV 彩色系統

11

)33sin()33cos( VUQ

)33cos()33sin( VUI

YUVYIQ

在 JPEG 系統中，我們第一步輸入 RGB 彩色影像。第二步將 RGB彩色轉換成 YCbCr 彩色系統。詳細的 Cb和 Cr 可由下式獲得

5.02/

5.02/

YRC

YBC

r

b

(1.4.3)

的 代表“ Blue Minus ‘Black and White’ ”; 代表“ Red Minus ‘Black and White’ ” 。

rbCYC bC rC

12

1.5 隱像術與浮水印1.5.1 影像的位元平面剖析 將 RGB 分解成 R 平面、 G 平面和 B 平面

(a) R 平面

(b) G 平面 (a) B 平面

圖 1.5.1.1 　彩色 Lena 影像的三張分解圖

13

(a) 第一張位元平面 (b) 第二張位元平面

(c) 第三張位元平面 (d) 第四張位元平面

(e) 第五張位元平面 (f) 第六張位元平面

(g) 第七張位元平面 (h) 第八張位元平面

將高灰階 Lena 影像中的灰階像素分解成八個位元平面

圖 1.5.1.2 　高灰階 Lena 影像的八張分解平面

14

圖 1.5.1.3圖 1.5.1.2(e) ~ (h) 的合成影像

我們把圖 1.6(e) ~ (h) 疊在一起可得到圖 1.5.1.3 。圖 1.5.1.3 中的Lena 和圖 1.4.2 中的 Lena 在肉眼上幾乎分辨不出什麼差異。

15

Q1 ：給一如下的 44 子影像，子影像的每一個像素之灰階值佔用 八個位元，請算出第三張位元平面。

8 7 6 5

32 31 30 29

10 11 12 13

0 1 2 3

ANS ：我們首先將上面的子影像轉換成00001000 00000111 00000110 00000101

00100000 00011111 00011110 00011101

00001010 00001011 00001100 00001101

00000000 00000001 00000010 00000011

將右邊第三位元全部收集起來，我們得到如下的第三位元平面： 0 1 1 1

0 1 1 1

0 0 1 1

0 0 0 0EOA

16

Q2 ：前述的隱像術之優缺點為何 ?

ANS ：

滿足上圖的函數也叫單程函數 (One Way Function) 。利用位元平面來植入影像的最大缺點為：一旦經過壓縮後，所植入的影像很容易受到破壞，解壓後所取出的影像常常已遭到很嚴重的破損。EOA

17

1.5.2 基本原理

給二張影像 A和 B ，所謂的隱像術就是把 A 影像隱藏在 B 影像並且讓人無法察覺 B 影像中藏了 A 影像。

1

0

1

0

22

2

10

)),(),('(1

255log10

N

x

N

y

yxByxBN

MSE

MSEPSNR

而所謂的浮水印，可把 A 看成標誌 (Logo) ，通常這個標誌可想成一種版權。

隱像術

PSNR令 B' 為將 A 隱藏在 B 後的結果。 PSNR (Peak Signal-to-Noise Ratio)

很常被用來評估 B'和 B 的相似性， PSNR 的定義如下

浮水印

18

一種 SVD結合 VQ 的隱像術方法已知有一 的灰階影像 A ，假設 A 的秩 (Rank)為 r，則 A的 SVD 可表示為

tVUA

NN

V和 U 為正交矩陣 (Orthogonal Matrix)且 ，其中 滿足 和 。這裏 等於 ， 為矩陣 At A 的第 i 個特徵值 (Eigenvalue) 。

),...,,( 21 ndiag

n ..., 21 0...21 r 0...21 nrr

iσi i

19

Q1 ：如何知道 ？ 0λ i

ANS ：利用

2

2

X

XXXX

AXAXAXAXAXtt

ttt

EOA

20

Q2 ：如何知道 A 可進行 SVD 分解？也就是，如何得到

t

t

tt

VU

V

VUUVUA

111

2

1121

00

0)(

ANS ：

(1.5.2.1)

21

22

22A

88

88AAt例如，令 ，則 。

的特徵值 (Eigenvalues) 為 和 。將特徵值開根號， A

的奇異值為 和 。特徵值為 16 的特徵向量為 而特徵值為 0 的特徵向量為 ，利用這二個特徵向量可建構出

AAt 161 02

41 02 tV 1,11 tV 1,12

11

11

2

1),( 21 VVV

UAV jjj uAV 利用 可得

所以

2

12

1

2

12

1

22

22

4

111

1

AVul

22

又由 ，可得 。利用 可找出UAV tt VUA 0jtuA

t

u

2

1,

2

12 tu 1,0,03 和 來。所以 A的 SVD 可表示為

我們可利用前人提出的結合 SVD及 VQ 之方法，在壓縮效果和失真之間得到一個較好的平衡 。

2

1

2

12

1

2

1

00

04

2

1

2

12

1

2

1

tVUA

23

圖 1.5.2.1(a) 為待植入的 F16 影像，圖 1.5.2.1(b) 為將 F16 植入圖 1.4.2 後的結果。 F16 經隱像後，效果的確蠻好的，畢竟在圖 1.5.2.1(b) 中，用肉眼實在看不出 F16 隱藏其中。

(a) 待植入的 F16 (b) 將 F16 植入圖 1.4.2 後的結果

圖 1.5.2.1 　隱像後的效果

24

Q3 ：一般而言，怎樣分辨浮水印和資料隱藏 ?

ANS ： 用浮水印所加入的影像，主要是想確定誰是影像的真正所有者；而資料隱藏只是想透過隱像術的技巧將資料隱藏起來。

EOA

25

1.6 人臉的定位應用

圖 1.6.1.1 輸入的影像 圖 1.6.1.2 皮膚色所在

封閉 (Closing) 算子 開放 (Opening) 算子

1.6.1 型態學

26

bABABADBb

),(

1 2 3 4 5

1

2

3

4

5

11

B

A

x

y

1 2 3 4 5

1

2

3

4

5

11

x

y

1 2 3 4 5

1

2

3

4

5

11

x

y

圖 1.6.1.3 集合 A和B

圖 1.6.1.4 D(A,B) 圖 1.6.1.5 E(A,B)

令 A 為待處理的區塊集而 B 為結構化元素集 (Structuring Elements) ：

擴張 (Dilation) 和侵蝕 (Erosion)

擴張運算

侵蝕運算

bABABAEBb

)(),( Θ

27

Q1 ：今將圖 1.11 的區塊集改成下圖所示的區塊：

ANS ：根據前面 D(A, B)和 E(A, B) 的定義，我們有

試求 D(A, B)和 E(A, B) 。

BAD ,

BAE ,

EOA

28

X

Y

1 2 3 4 5 6 7 8 9 10

1

2

3

4

5

6

7

8

9

10

Q1.1 ：給以下三區塊集，如下圖所示，延用圖 1.6.1.3 的結構化元素 集 B ，請分別算出此三區塊集經開放算子及封閉算子運算後 的結果，並加以說明。

29

X

1 2 3 4 5 6 7 8 9 10

1

2

3

4

5

6

7

8

9

10

Y

ANS：開放算子先進行擴張運算再進行侵蝕運算，經由擴張運算可以得到下圖的結果。

再將擴張運算所得區塊集進行侵蝕運算，最後可得下圖的結果。

X

Y

1 2 3 4 5 6 7 8 9 10

1

2

3

4

5

6

7

8

9

10

封閉算子先進行侵蝕運算再進行擴張運算，經由侵蝕運算可以得到下圖

再將侵蝕運算所得區塊集進行擴張運算，最後可得下圖的結果。

X

Y

1 2 3 4 5 6 7 8 9 10

1

2

3

4

5

6

7

8

9

10

此即為封閉算子運算後的結果。EOA

30

Q2 ：如何利用擴張運算子 D 和侵蝕運算子 E 以求得影像中輪廓 的外圍？ANS ：令 I 代表原影像，而 B 代表結構化元素集。 D(I, B) 將影像的輪 廓擴張； E(I, B) 可將影像的輪廓侵蝕及縮減。因此 D(I, B)- E(I, B) 可得到影像中物體的輪廓外圍，這裏的‘ -’ 代表兩影像 相減。下面的圖為測輪廓的示意圖：

介於 D(I,B)和 E(I,B) 之間的環形區域可視為物體 I 的輪廓。 EOA

31

Q4 ：如何利用色調範圍來過濾皮膚色 ?

ANS ： 首先利用人工點選的方式，將所有訓練影像中的皮膚色予以框出來，然後將色調抽取出來，並且將統計出來的平均值 和標準差 用於濾波器的設計，下面為其示意圖：

32

令 f(x,y) 為框框內位於 (x,y) 的灰階值減去 128 ，則 DCT 的計算公式如下

N

jy

N

ixyxfjCiC

NjiD

N

x

N

y 2

)12(cos

2

)12(cos),()()(

2

1),(

1

0

1

0

otherwise

iic

,1

0,2/1)(

otherwise

jjc

,1

0,2/1)(

f(x,y) 也可透過 IDCT(inverse DCT) 得到，公式如下

 

透過式子 (1.4) 求得 f(x,y) 後再加上 128即可得到位於影像中 (x,y) 位置的原始灰階值。

N

jy

N

ixjiDjCiC

Nyxf

N

i

N

j 2

)12(cos

2

)12(cos),()()(

2

1),(

1

0

1

0

1.6.2 離散餘弦轉換 (Discrete Cosine Transform) DCT

IDCT

(1.3)

(1.4)

33圖 1.6.2.1 8x8 的灰階圖案及其灰階值

圖 1.6.2.2 DCT 後的結果

DC(Direct Current 、直流值 )

此處 N=8 ，則

AC(Alternative Current 、交流值 )

1

0

1

0

1

0

1

0

),(22

10cos0cos),(

2

1

2

1

2

1)0,0(

N

x

N

y

N

x

N

y

yxfN

yxfN

D

7

0

7

0

),(8

1)0,0(

x y

yxfD

34

Q2 ：當 D(0, 0)>1000 時，原 88 灰階影像為何種影像？ANS ：令全黑的灰階值為 0 ，而全白的灰階值為 255 。已知

1000),(64

18)0,0(

7

0

7

0

x yyxfD

很容易推知原 88 灰階影像可能為一幾近全白的平滑影像。不過，有時為保險起見，除了 D(0, 0) 的值外，還得看看其餘的 63 個值。EOA

圖 1.6.2.3DCT 頻率域的紋理方向示意圖

圖 1.6.2.3為 DCT 後的頻率域之紋理方向示意圖。通常若框住皮膚色的框框是臉部時，在高頻區會有一些較大的係數表現。當 DC 值過小時和 AC 值過大，可進一步判斷有臉部的框框。

35

Q3 ：如何在臉部上找出眼睛和嘴巴的部位？ANS ：假設找到的臉部如下所示：

利用水平投射法 (Horizontal Projection)

我們可發現在 (a, b)和 (c, d)兩區間有頻率較高的波峰 (Peak) ，依位置而言，可合理推估(a, b)區間為眼部所在，而 (c, d)區間為嘴巴所在，畢竟這兩個部分的邊點數是較多的。EOA

36

1.7 影像抽樣原理

給一週期函數 (Periodic Function) g(θ) ， ，傅利葉原先的想法是將 g(θ) 用有正交性 (Orthogonality) 的傅利葉基底(Basis) 來表示。這些正交的基底為 cosθ、 cos2θ、 cos3θ、…、 sinθ、 sin2θ、 sin3θ ， 。

20

20

正交性 )cos()cos(

2

1coscos nmnmnm

時，當 nm 0coscos2

0

dnm

時，0nm

2

0coscos dnm

時，0nm

2coscos2

0 dnm

1.7.1 傅利葉轉換

37

求解傅利葉係數 有了傅利葉基底後， g(θ) 可表示成

1

0 sincos2 k

kk kbkaa

g

則從

可推得

從

可推得

0,

0,cos)(

0

2

0 ma

madmg m

,...2,1,0,cos)(1 2

0 mdmgam

)0(sin)(2

0 mbdmg m

,...3,2,1,sin)(1 2

0 mdmgbm

(1.5)

38

Q1 ：我們來看個例子吧！ ANS ：令 ,g π

π-π 2 π- 2 π 3 π- 3 π-π

g ( )

圖 1.7.1.1 g(θ)

0cos1

dkak

0

)cos

(2

sin1

k

kddkbk

0

1 sin)1(2

)(k

k kk

g

sin21 S

]2sin2

1[sin22 S

]3sin3

12sin

2

1[sin23 S

1)1(2

cos2 k

kk

k

...]4sin4

13sin

3

12sin

2

1[sin2

只取第一項

只取前二項

只取前三項

1

1

- 1

- 1

2

2

- 2

- 2

3

3

- 3

- 3

g ( )

S 1S 2S 3

圖 1.7.1.2 g(θ) 的三個近似圖EOA

39

FFT

令 為 1 的基本根 (Primitive Root)且滿足 。若N=8 時，傅利葉矩陣為

iN

iii eWN

2

1NNW

1234567

246246

3614725

4444

5274163

642642

7654321

8

1

11

1

1111

1

11

1

11111111

WWWWWWW

WWWWWW

WWWWWWW

WWWW

WWWWWWW

WWWWWW

WWWWWWW

F

2

4

2

0

:

N

e

X

X

X

X

X

1

5

3

1

:

N

o

X

X

X

X

X

X

)log( NNOFFT 可在 時間內完成，首先將 分成偶半部和奇半部，分別表示成

40

令 和 。利用算出的 和 ，可得 eN XFu

2/ oN XFv

2/ u

v

NiN

vWu

NivWu

y

Nii

NNi

ii

Ni

i

2 ,

20 ,

2/2/(1.5.1)

當 2/0 Ni

ii

Ni

Nkk

ikN

iN

Nkk

ikN

Nkk

kiN

Nkk

kiN

Njj

ijN

Njj

ijN

Njj

ijNi

vWu

XWWXW

XWXW

XWXW

XWy

2/0122/

2/022/

2/012

)12(

2/02

2

j

0

j

0

0

奇數偶數

NiN 2/

2/2/

2/012

)2/(2/

2/02

)2/(2/

2/0122/

2/022/

Nii

NNi

Nkk

kNiN

iN

Nkk

kNiN

Nkk

ikN

iN

Nkk

ikNi

vWu

XWWXW

XWWXWy

當

41

Q2 ：可否利用替代法證明 。 ANS ：已知 ，可推得

)log()()2/(2)( NNONNTNT

)()2/(2)( NNTNT

)log(

log2

)1(log)2(2

)11...1()2/(2

...)2/(2

.

.

.

)4/(2

)2/(2

)()2/(2)(

2

NNO

CNNCNN

CNNTN

CNNT

CNCNCNNT

CNCNNT

CNNT

NNTNT

kk

kk

EOA

42

分開性 (Separability)

回到二維的 FT ，假設一張影像位於 (x,y) 的灰階值為 f(x,y) ，則二維的 FT 定義為

1

0

1

0

])(

[2),(

1),(

N

x

N

y

N

vyuxj

eyxfNN

vuF

IFT(Inverse FT)依下式求得

1

0

1

0

])(

[2),(

1),(

N

u

N

v

N

vyuxj

evuFN

yxf

式子 (1.7.1.4) 可改寫成下列的型式

1

0

2

1

0

1

0

22

),(1

),(1

),(

N

x

N

uxj

N

x

N

y

N

uyj

N

uxj

evxFN

eyxfeN

vuF

式子 (1.7.1.5)中 F(x,v) 可看成先對 y軸進行 FT再對 x軸進行 FT。 (1.1.7.1.5) 式顯示的是 FT 的分開性 (Separability) 。

(1.7)

(1.8)

(1.9)

43

)2

,2

(),(

),(),(

)2

()2

(2

1

0

1

0

)(21

0

1

0

)22

(21

0

1

0

)(2

)(

Nv

NuFeyxf

eeyxfeeyxf

N

yN

vxN

uj

N

x

N

y

N

vyuxjN

x

N

y

N

yN

xN

jN

x

N

y

N

vyuxj

yxj

Q3 ：假如我們想把 FT 後的結果從原點 (Origin)移到中央(Center) ，該 如何辦到呢？

ANS ：首先將乘上 ，則 的 FT 如下所算yxyxf )1)(,(yx )1(

(1.10)

1

0

1

0

)(2

)1)(,(N

x

N

y

N

vyuxj

yx eyxf

由 f(x, y)(－ 1)x+y的 FT等於 ，可得知已將 FT 的結果從原點移至中央處了。式 (1.10) 顯示了 FT 的平移性 (Translation) 。

)2

,2

(N

vN

uF

EOA

44

f ( x )

x- 1 / 2 1 / 2

f ( x )

x- 1 / 4 1 / 4

F ( u )

u- 4π - 4π

F (u )

u2π- 2π- 4π 4π

f(x) F(u)

1/2f(u/2)f(2x)

放大性 (Scaling)

若將 乘上一個係數 C ，則 經 FT 作用後得 到 ，這個性質稱作放大性質。令 ，則

和 。可推得 和 為傅利葉配對 (Fourier Pair ) ，具有倒數放大性質 (Reciprocal-Scaling) 。

),( yxf ),( yxfC

),( vuCF zx z

x

dzdx1

)( xf )(||

1

u

F

45

迴積定理 (Convolution Theorem)

兩函數 f(x) 和 g(x) 的迴積定義為

1

0

)()()()(N

m

mxgmfxgxf

1

0

)()(1

)(N

m

mxgmfN

xz

)()(

)(1

)(1

)(1

)(1

)()(1

)(1

1

0

1

0

1

0

1

0

1

0

1

02

1

0

uGuF

WxgN

WmfN

WmxgN

mfN

WmxgmfN

WxzN

N

x

kxN

m

km

N

x

kxN

m

N

x

N

m

kxN

x

kx

令

則所有 z(x) 經 FT 作用後得

46

取樣間距 (Sampling Interval)

必須滿足 ，如此才不會造成混疊效應 (Aliasing)。

x

uWx

2

1

F (u )

uW u- W u

P (u )

u- 1 / x 1 / x

F (u ) * P ( u )

uW u 3 W u- W u- 3 W u

T ( u )

u- W u W u

某函數 取樣函數

F(u)和 P(u) 進行迴積運算 將 T(u)乘上 F(u)*P(u) 可得F(u)

1.7.2 避免混疊效應

47

圖 1.7.2.1 　輸入的影像

圖 1.7.2.2 　傅利葉頻譜圖

最後我們來看一個 FT 的實作結果。給一影像如圖 1.7.2.1所示，經 FT 作用後，其傅利葉頻譜顯示於圖 1.7.2.2 。

48

1.9 作業

100 101

102 103

15 16

習題一： 給一 影像如下所示22

　　A=

21 B=

另外給一 機密影像如下所示

今打算將 B 隱藏在 A ，試問如何做且列出隱像後的結果。

習題二： 利用 XOR 算子將十進位的數字轉換成二進位的位元字串，但

需滿足鄰近的二個十進位的數字經轉換後的二進位字串之漢明距離 (Hamming Distance) 為最小。