1

第七章形狀與紋理描述

2

內容 7.1 前言 7.2 鍊碼 7.3 多邊形估計

7.4 對稱軸偵測 7.6 利用小波係數進行三角化 7.7 細化和 Co 矩陣描述法

7.9 作業

7.3.1 PA-# 7.3.2 PA-ε

7.7.1 細化 7.7.2 Co 矩陣描述法 7.7.3 SVM 式的紋理分類

3

7.1 前言 描述一張影像內物體的形狀和其紋理是很

難的工作，影像的形狀和紋理描述在影像資料庫的檢索和圖形識別上都直接的影響其方法的適用性。

4

7.2 鍊碼 鍊碼 (Chain codes) 很適合用來描述影像中物體的外圍。 常用的方位有四方位和八方位。

1

02

3

1

0

2

3

7

4

6

5

圖 7.2.1 四方位鍊碼 圖 7.2.2 八方位鍊碼

5

差分鍊碼 差分鍊碼上的第 i 個碼為原先得到的鍊碼上之第 i 個碼減去第

(i-1) 個碼而得到。 形狀數 (Shape Number)

將差分鍊碼看成環型的鍊碼，針對每一個碼將環型鍊碼剪開，比較每一個鍊碼的大小，最小的鍊碼謂之。形狀數是唯一的。

1

0

2

3

S

7

6

5

6

6

6

5

3

1

2

2

圖 7.2.3 一個鍊碼的例子

一個鍊碼的例子：　 八方位鍊碼的字串為 21212076666553

3

　 差分鍊碼為 771716770007060

形狀數為 000706077171677

6

7.3. 多邊形估計7.3.1 PA-# 問題定義 只允許用最少量的連續線段來表示該物體的外緣，但必需滿足

事先設定的誤差。這個多邊形估計的問題叫 PA-# 問題。 誤差量度 區域平方累積誤差 (Local Integral Square Error) ，簡稱 LISE 。

LISE 也可以看成所有， ，到 line 的距離平方和。

Pi

Pi+1

Pj-1

Pj

11 jki ),( ji PP

7

假設在二維空間上有 n 個點形成的物體外緣，我們以集合 {Pk = (xk, yk), k = 1, 2, 3,…, n} 代表之。令

1

1

2 ),(j

ikjikij PPPdd

上式中的距離量度就是 LISE 。

8

*Construct a graph such that the LISE of each edge (denoting the possible segment) is less than the specified error bound. (see pp. 258)

*For open object boundary, find the shortest path from the starting point to the ending point. The determined path is the constructed polygonal approximation.

*For closed object boundary, for each point we find its own shortest path. Among these found shortest pathes, we find the minimal one as the solution.

9

圖 7.3.1.2 PA-# 的實作結果

(a) = 10 ，＃ =27 (b) = 20 ，＃ =19

10

7.3.2 PA-ε

問題定義 如何在事先設定的線段數量下，找出一個多邊形估計以便達到

最小誤差的要求。這個問題叫 PA- 問題。 實驗結果

圖 7.3.2.1PA- 的實作結果

(a) ＃ =6 ， = 650.6 (b) ＃ =11 ， = 70

11

7.4 對稱軸偵測 梯度方向柱狀圖 (Gradient Orientation Histogram)

利用測邊時　　和　　二個梯度量。二個梯度量的合成大小為

二個梯度的夾角又可表示為

針對每一個　，它代表物體表面的走勢。將　　 分割成若干份，找到　對應的角度 i ，然後在柱狀圖中投下一票，即完成h[i]=h[i]+1 的動作。影像上，每一個像素的皆在 h 陣列投票。

fx fy22 )()( ffm yx

f

f

x

y

arctan 20 ，

2,0

12

圖 7.4.1 一物體的二個對稱軸

對稱軸偵測 有一物體如圖 7.4.1 所示，這物體在 α 角度和 β 角度有二個對稱軸。

我們針對每一個 x ，求出其得到的 S(x) 。若將　　 分成 1024 份，這時，可得 S(0) 、 S(1) 、…和S(1023) 共 1024 個分數，從這 1024 個分數中，挑出最高的二個分數，其對應的角度就是我們要的 α 和 β 。

0

)()()( xhxhxS

20 x

定義一得分函數

)2()( nxhxh }0{Nnh(x) 以 為週期循環2

2,0

13

圖 7.4.2 輸入的影像

圖 7.4.3梯度方向柱狀圖

圖 7.4.4所得對稱軸

14

7.6 利用小波係數進行三角化 小波轉換 ( 以 Haar 為基底 )

步驟一：小波轉換

步驟二：產生 EWC

三角化小波係數

EWC

三角化的結果

輸入地形影像

圖 7.6.1 流程圖

給一個 2×2 影像如下：

我們先對列做小波轉換，得

再來對行做小波轉換，得

35

79

14

18

2

35

2

352

79

2

79

02

16

2

11

2

482

11

2

48

15

2)(wH

)(wG 2

2

1mLL

2)(wH

2

2)(wH

2)(wG

)(wG

mLL

mLH

mHL

mHH

2LL 2HL

2LH 2HH1HL

1LH 1HH

(a) 二維小波轉換 (b) 七個頻帶 圖 7.6.2 二階段小波轉換

p q

M

mmpq

mpqmpq

mpqmpq

mpqMpq

Mpq yxcyxcyxcyxayxf

1

3,23,2,22,1,21,2 ),(),(),(),(),(

)2()2(2

)2()2(2

)2()2(2

)2()2(2

3,2

2,2

1,2

2

qypx

qypx

qypx

qypx

mmmmpq

mmmmpq

mmmmpq

mmmmpq

其中 M 代表小波轉換的總階段數m 代表階數p 和 q 代表水平和垂直方向的下標

16

+

2, mpqmpq fa

+ －

1,21, , mpqmpq fc

+

－

2,22, , mpqmpq fc

+

－

3,23, , mpqmpq fc

+

－

無邊訊息 垂直邊訊息

水平邊訊息 對角邊訊息

ma LL

mpq

mc HL

mpq

1,

mc LH

mpq

2,

mc HH

mpq

3,

(a) 四個基底函數

(b) 邊訊息 圖 7.6.3 四個基底函數與邊訊息

211a 2

12a 1,211c 1,2

12c

1,221c 1,2

22c221a 2

22a

2,211c 2,2

12c

2,221c 2,2

22c

3,211c 3,2

12c

3,221c 3,2

22c

1,111c 1,1

12c 1,114c1,1

13c

1,121c 1,1

22c 1,124c1,1

23c

1,131c 1,1

32c 1,134c1,1

33c

1,141c 1,1

42c 1,144c1,1

43c

2,111c 2,1

12c 2,114c2,1

13c

2,121c 2,1

22c 2,124c2,1

23c

2,131c 2,1

32c 2,134c2,1

33c

2,141c 2,1

42c 2,144c2,1

43c

3,111c 3,1

12c 3,114c3,1

13c

3,121c 3,1

22c 3,124c3,1

23c

3,131c 3,1

32c 3,134c3,1

33c

3,141c 3,1

42c 3,144c3,1

43c

211a 2

12a

221a 2

22a

1,111c 1,1

12c 1,114c1,1

13c

1,121c 1,1

22c 1,124c1,1

23c

1,131c 1,1

32c 1,134c1,1

33c

1,141c 1,1

42c 1,144c1,1

43c

2,111c 2,1

12c 2,114c2,1

13c

2,121c 2,1

22c 2,124c2,1

23c

2,131c 2,1

32c 2,134c2,1

33c

2,141c 2,1

42c 2,144c2,1

43c

3,111c 3,1

12c 3,114c3,1

13c

3,121c 3,1

22c 3,124c3,1

23c

3,131c

3,132c 3,1

34c3,133c

3,141c 3,1

42c 3,144c3,1

43c

2,211c 2,2

12c

2,221c 2,2

22c

1,211c 1,2

12c

1,221c 1,2

22c

3,211c 3,2

12c

3,221c 3,2

22c

(a) 小波係數值

(b) 重新安排後的小波係數值

圖 7.6.4 重新安排後的小波係數

17

產生 EWC

0 1,111c 1,1

12c 1,114c1,1

13c

1,121c 1,1

22c 1,124c1,1

23c

1,131c 1,1

32c 1,134c1,1

33c

1,141c 1,1

42c 1,144c1,1

43c

2,111c 2,1

12c 2,114c2,1

13c

2,121c 2,1

22c 2,124c2,1

23c

2,131c 2,1

32c 2,134c2,1

33c

2,141c 2,1

42c 2,144c2,1

43c

3,111c 3,1

12c 3,114c3,1

13c

3,121c 3,1

22c 3,124c3,1

23c

3,131c

3,132c 3,1

34c3,133c

3,141c 3,1

42c 3,144c3,1

43c

2,211c 2,2

12c

2,221c 2,2

22c

1,211c 1,2

12c

1,221c 1,2

22c

3,211c 3,2

12c

3,221c 3,2

22c

0

00

0

0

0

0

0

0

0

0

000000000

5

5

3

3

決定點

圖 7.6.5 修正後的小波係數

LLm 頻帶上並無邊的訊息，放零的值。其餘頻帶上的小波係數值一律取絕對值。 為了讓邊的訊息被相鄰兩塊區塊分享，我們將原圖最後一列和最後一行補零。原地形影像大小為 2n×2n, 補零於最後一列和最後一行後，大小變為(2n+1)×(2n+1) 。由於鄰近兩區塊分享彼此的邊緣，所以小波轉換後，每個區塊大小為(2m+1)×(2m+1) ， 1m<n 。一個區塊的四個邊之中心所在的小波係數稱為決定點。

18

EWC 將從所有 3×3 大小的區塊中得到，接著從所有 5×5 大小的區塊中得到上一層的 EWC；依此由下往上的方式，直到 (2n+1)×(2n+1)的區塊之 EWC被得到。

nw ne

sw se

p1

p3

p2 p4

nw1 ne1

ne2

se2

ne3/se1

se3

sw2/se4

nw3/sw1

nw2/ne4

nw4

sw4

sw3

圖 7.6.6 決定點

/* for nw sub-block */let l be max(nw1, nw2, nw3,nw4);if p4 < l then p4 := l;if p1 < l then p1 := l;/* for ne sub-block */let l be max(ne1, ne2, ne3,ne4);if p1 < l then p1 := l;if p2 < l then p2 := l;/* for se sub-block */let l be max(se1, se2, se3,se4);if p2 < l then p2 := l;if p3 < l then p3 := l;/* for sw sub-block */let l be max(sw1, sw2, sw3,sw4);if p3 < l then p3 := l;if p4 < l then p4 := l; 圖 7.6.7 EWC 的決定

在任一區塊中，有了這四個決定點後，我們再從中挑出最大者。之後和父親層的決定點比較，留下較大的值給父親層的決定點以便層層上傳邊變化的訊息。

19

0 12 1 0 0 4 1 4 0

5 9 1 0 16 2 2 5 0

4 2 1 10 17 4 2 8 0

8 1 0 11 6 6 5 4 0

0 20 12 10 0 8 4 7 0

3 9 29 14 20 5 15 7 0

6 1 7 29 1 0 12 19 0

5 10 35 1 9 11 8 15 0

0 0 0 0 0 0 0 0 0

12

12

16

12 17

16

20 17

20

16 16

20 17 8

29 20

35 35 19

35 19

29

35 35

35

(a) (b) (c) (d)

(e) (f)

圖 7.6.8 產生 EWC 的模擬過程

0 12 16 0 29 4 16 4 0

5 9 1 0 16 2 2 5 0

20 2 1 10 17 4 2 8 8

8 1 0 11 6 6 5 4 0

35 20 29 10 0 8 20 7 35

3 9 29 14 20 5 15 7 0

35 1 7 29 35 0 12 19 19

5 10 35 35 9 11 8 15 0

0 0 35 0 35 0 19 0 0

(g)

20

0 12 16 0 29 4 16 4 0

5 9 1 0 16 2 2 5 0

20 2 1 10 17 4 2 8 8

8 1 0 11 6 6 5 4 0

35 20 29 10 0 8 20 7 35

3 9 29 14 20 5 15 7 0

35 1 7 29 35 0 12 19 19

5 10 35 35 9 11 8 15 0

0 0 35 0 35 0 19 0 0

>=25

圖 7.6.9 留下重要的 EWC

(a) (b)

四分樹式三角化程序

1a 2a 3a 4a 5a

6a 7a 8a 9a重要EWC

1b 2b 3b 4b 5b

6b 7b 8b 9b

(a) 九個外部節點的組合 (b) 九個內部節點的組合 圖 7.6.10 十八個三角化的法則

21

(a) (b) (c) (d)

(e)

圖 7.6.11 三角化過程

四分樹三角化的過程是採由上而下的方式。從第一層 ( 最上層 ) 的四個重要 EWC著手。重要EWC顯示於圖 7.21(a) ，圖 7.21(a) 上的四個重要EWC顯示於圖 7.21(b) 。依照圖 7.20 的 b-9 法則，將圖 7.21(a) 分成四個較小區塊。在第二層時，左上角的小區塊有一個重要 EWC ，依據 a-6 的法則，將該小區塊再細分成五個小的三角形。依此方式，一直往下層進行三角化的動作，最後得到圖7.21(e) 的三角化結果。

22

實驗結果

(b) 河流的影像(a) 山的影像

圖 7.6.12 二張測試影像

(b) 共有 17490 個三角片 (山的影像 ) (d) 共有 20960 個三角片 (河流的影像 )

圖 7.6.13 用我們的方法得到的實驗結果

23

7.7 細化和 Co 矩陣描述法 7.7.1 細化 細化 (Thinning) 其實就是在找物體的骨架 (Skeleton) 。 骨架的定義

令物體表示為 O且物體的外圍輪廓為 B 。在 O 內，若能找到一個像素 t且在 B 上能找到二個邊點， e1 和 e2 ，使得d(t,e1)=d(t,e2) ，則 t 就可為 O 的骨架中之一個元素。這裡距離函數 d(t,ei) ， 1i2 ，表示像素 t 和邊點 ei 的距離。

圖 7.7.1.2 輸入之影像 圖 7.7.1.3 細化後的結果

24

細化

Z7 Z8 Z9

Z4 Z5 Z6

Z1 Z2 Z3 0 0 1

1 Z5 1

1 0 1

考慮黑白影像的 O ，以圖 7.7.1.1 為例

圖 7.7.1.1 3×3 子影像

N(Z5) 為非零像素個數T(Z5) 為灰階由 0(1)變到 1(0) 的個數

N(Z5)=5

T(Z5)=2

(1) 2 N(Z5) 6

(2) T(Z5) = 1

(3) Z2Z6Z8 = 0

(4) Z2Z4Z6 = 0(7.7.1.1)

當 N(Z5)=0或 1 時， Z5 可能為孤立點或最外圍的端點， Z5不必改為 0 。以東南方的方向進行細化：

(1) 2 N(Z5) 6

(2) T(Z5) = 1

(3) Z4Z6Z8 = 0

(4) Z2Z4Z8 = 0(7.7.1.2)

利用 (7.3) 式和 (7.4) 式在物體O 的外圍不斷地進行細化工作，直到無法再細化為止。

以東南方的方向進行細化：

25

給定如下所示的小影像

0 1 1 1

1 1 1 0

1 0 0 0

試問上述小影像中間的兩個像素經細化後可否被移除？

Q1：

Ans ：先檢查下面的 33 子影像

0 1 1

1 1 1

1 0 0

5)( 5 ZN

2)( 5 ZT

26

12)( 5 ZT 33 15 Z 05 Z由於 ，所以 子影像中的 不可改為 。

我們檢查下面的 33 子影像

1 1 1

1 1 0

1 0 0

4)( 5 ZN1)( 5 ZT

0862 ZZZ

0642 ZZZ

由於滿足移除的四個條件 3315 Z 05 Z

所以上述的 子影像中的可改為 。

EOA

27

7.7.2 Co 矩陣描述法 同時出現矩陣 (Co-Occurrence Matrix) 是一種用來表示紋理的方

法。 Co 矩陣可表示為 Co[i,j,d,] ， i 和 j 代表灰階值； d 代表 i 和 j 的

距離而表示 i 到 j 的角度。 1 1 0 0

3 0 0 3

3 2 2 3

1 1 0 0

7.7.2.1 輸入的影像 d=1 和 =0 時的 Co 矩陣

1 1 0 0

3 0 0 3

3 2 2 3

1 1 0 0

0 1 2 3

0

1

2

3

1 1 0 0

3 0 0 3

3 2 2 3

1 1 0 0

d=1 和 =90 時的 Co 矩陣

0 1 2 3

0

1

2

3

Co 矩陣可描述出影像中有等距離且呈某種角度走向的規則紋理。

28

7.7.3 SVM 式的紋理分類

利用 Support Vector Machine (SVM) 的方法來進行紋理分類 (Texture Classification) 。

給二張訓練用紋理影像如圖 7.7.3.1(a) 和圖7.7.3.1(b) 所示。

(a) A 類 (b)B 類圖 7.7.3.1 訓綀用的二類影像

29

首先在訓綀用的二張影像上，將其分割成 L份，假設每份的訓綀小模組爲 -

MM 的子影像，則可先將其轉換成 LiRyX Mii ,,1,1),(

。 N

N M

M

圖 7.7.3.2 抽樣

30

接著，我們將這些為數 L個的小模組代入下列的二次數學規劃的問題 (Quadratic Programming Problem)上以解得係數

。L21 ,,, 。

)(2

1)(

1,1j

L

jiijiji

L

ii XXyyDMax

滿足

Cy i

L

iii

0,01

這些解出的正係數所對應的小模組向量集也稱作Support Vectors。

31

圖 7.7.7 分類後的結果

(a)中值法後的分類結果

(b) 二類的分割結果圖 7.7.3.4 後處理的結果

32

7.9 作業習題一：

　　給一物體的外圍如下

　　求其鍊碼、差分碼和形狀數。

習題二：

　　假設物體的外圍已用鍊碼表示，討論物體外圍的周長如何　　計算。