使用邊緣特徵改善 CAMSHIFT的物件追蹤方法

指導教授：洪 國 寶　研 究 生：林 易 增　

2

大綱 前言 CAMSHIFT 的架構 CAMSHIFT 的缺點 提取邊緣特徵 加入邊緣特徵的新架構 實驗 未來研究

3

大綱 前言 CAMSHIFT 的架構 CAMSHIFT 的缺點 提取邊緣特徵 加入邊緣特徵的新架構 實驗 未來研究

4

前言 物件追蹤的應用非常的實際而且廣泛。 從基本的圖形比對、安全監控，到行車輔助系統，甚至是更進階的無人駕駛載具或機器人應用。

5

前言

簡單的電腦視覺運作流程示意圖

6

大綱 前言 CAMSHIFT的架構 CAMSHIFT 的缺點 提取邊緣特徵 加入邊緣特徵的新架構 實驗

7

CAMSHIFT 的架構 CAMSHIFT 是 Mean Shift 的改良。 Mean Shift 每次搜索的範圍是固定的。 CAMSHIFT 會更新每次搜索的範圍，更適合在連續的影像中做物件追蹤。

8

CAMSHIFT 的架構 CAMSHIFT 的幾個主要步驟 ：

1. 轉換成 HSV 色彩空間 2.Back Projection 3.Mean Shift 4.CAMSHIFT

9

CAMSHIFT 的架構 1. 轉換成 HSV 色彩空間

10

CAMSHIFT 的架構 1. 轉換成 HSV 色彩空間

取得色彩直方圖

左邊為選定的物件，右邊為左邊物件的色彩直方圖。

11

CAMSHIFT 的架構 2.Back Projection

12

CAMSHIFT 的架構 3.Mean Shift

計算中心點旋轉的角度

13

CAMSHIFT 的架構 4.CAMSHIFT

將新得到的搜尋視窗，當作第三步驟的初始搜尋視窗。如此重複的執行，就可以達到連續追蹤物件的效果。

選擇要追蹤的物體

建立物體的色彩直方圖

計算得到整個場景的反向投影圖

搜尋視窗對準物件的中心

重新對場景搜尋

14

大綱 前言 CAMSHIFT 的架構 CAMSHIFT的缺點 提取邊緣特徵 加入邊緣特徵的新架構 實驗 未來研究

15

CAMSHIFT 的缺點一、 背景過度複雜或是有類似顏色的時候效果會降低。二、 物體本身就很複雜，導致辨識困難或誤判。三、 一但物體因為某些原因脫離搜尋視窗，就沒有辦法再正確找到物體。

16

CAMSHIFT 的缺點

17

CAMSHIFT 的缺點

18

大綱 前言 CAMSHIFT 的架構 CAMSHIFT 的缺點 提取邊緣特徵 加入邊緣特徵的新架構 實驗 未來研究

19

提取邊緣特徵 邊緣範例

過於抽象

20

提取邊緣特徵 一個優秀的特徵：

獨特性高容易被匹配對各種破壞（旋轉、縮放）具不變性

21

提取邊緣特徵 1. 取邊緣 2. 對邊緣圖做膨脹運算 3. 將影像做分格處理 4. 零檢查 5.PCA(Principal component analysis)

22

提取邊緣特徵 1. 取邊緣特徵

使用 Canny 邊緣檢測 2. 對邊緣圖做膨脹運算

在矩陣中若是外圍的 P2 到 P9 有一個像素的值是 1 ，則將 P1 設為 1 。

使它獨特性高

P9 P2 P3

P4P1P8

P7 P6 P5

9876543211 PPPPPPPPPP

23

提取邊緣特徵

左圖為 Canny 邊緣偵測所得的結果，右圖為左圖經過膨脹與侵蝕運算後得到的結果

24

提取邊緣特徵 3. 將影像做分格處理

使它容易被匹配0

26406745

2469956

5922

127

4014816844

79815467

225343

8219012196

4510123467

11116713264

8410714788

22114218740

25

提取邊緣特徵 4. 零檢查

預先排除可能性低的地方

26

提取邊緣特徵 5.PCA

藉由主要的成分投影過後得到的資料，用來做比對的資料。優點：降低資料的維度，保持資料的解釋度。缺點：失去部分資料特性。

27

提取邊緣特徵 為什麼要做 PCA?

28

提取邊緣特徵 簡單的降維方法

資料的解釋度不足失去部分資料特性

(1,3)

(1,0)

(2,3.5)

(2,0)

29

提取邊緣特徵 5.PCA

DATA =

Cov(DATA) =

n

n

YX

YX

YX

2

2

1

1

YYXX

YYXXYYXX

YYXX

YYXX

YYXX

nn

n

n

12

11

2

2

1

1

30

提取邊緣特徵 5.PCA

Cov(DATA) ( 方陣 ) Eigenvalue ,Eigenvector

2

1

VV

V

越大的 Eigenvalue 所對應的 Eigenvector ，表示是越能夠在新特徵空間中代表 DATA 組成的一組 Eigenvector （主成份）。

2

1

31

提取邊緣特徵 5.PCA

32

提取邊緣特徵 5.PCA

33

提取邊緣特徵 PCA Eigenvalue ,Eigenvector

第一主成分約佔 75.372％

5025.06

1019.84

462.93

159.12

0

1211014227

0107500

02216

5`

2018010430

501128826

1249100

2016516851

2512519922

8214817879

26588223

7212819146

-0.22 -0.54

0.51-0.010.09-0.85

-0.79-0.090.43-0.43

0.23-0.840.450.2

-0.24-0.77

34

Proj(DATA) = DATAT

6745605467952281406997926245

24.054.077.022.0

76.10559.24304.25448.23457.231

68.18896.14544.10756.17728.962.24

35

大綱 前言 CAMSHIFT 的架構 CAMSHIFT 的缺點 提取邊緣特徵 加入邊緣特徵的新架構 實驗 未來研究

36

加入邊緣特徵的新架構 先使用邊緣特徵對畫面搜索

37

加入邊緣特徵的新架構 再對部分的範圍做 CAMSHIFT

38

加入邊緣特徵的新架構由攝影機讀入影像

經過前置處理與PCA投影

選擇追蹤物件

經過前置處理與PCA投影取得比對樣本 比對

經過邊緣特徵篩選過後的部份場景

計算色彩直方圖

反向投影

反向投影圖

CAMSHIF比對

結果

39

大綱 前言 CAMSHIFT 的架構 CAMSHIFT 的缺點 提取邊緣特徵 加入邊緣特徵的新架構 實驗 未來研究

40

實驗

41

實驗

42

實驗 實驗數據

方法 辨認 Frame數 平均每張所需時間 未加入零檢查 20張 110.15ms

加入零檢查 20張 96.85ms

方法 辨認 Frame數 平均每張所需時間 未使用 PCA減少比對資料 20張 131.75ms

使用 PCA減少比對資料 20張 119.04ms

43

實驗 實驗數據

方法 Frame數 辨識成功 成功率 速度 CAMSHIFT 346張 296張 85.5% 17FPS

CAMSHIFT+ 邊緣特徵 346張 335張 96.8% 7.5FPS

44

實驗 影片

200907A0\good.mp4

45

大綱 前言 CAMSHIFT 的架構 CAMSHIFT 的缺點 提取邊緣特徵 加入邊緣特徵的新架構 實驗 未來研究

46

未來研究 一個優秀的特徵：

獨特性高容易被匹配對各種破壞具不變性

我們選進來的樣本是固定的

47

未來研究 更新樣本的方法

取得新的樣本考慮大小考慮角度

48

未來研究 困難處

物體移動所取得的邊緣特徵效果不好

49

Thanks for your attention!