財團法人自行車工業研究發展中心 委託學術機構研究計畫書結案報 … ·...

財團法人自行車工業研究發展中心

委託學術機構研究計畫書結案報告

計劃名稱 :

以機器視覺整合復健運動系統之開發 II

Development of the rehabilitation

systems with the machine vision

technology II

執行期間：97 年 1 月 至 97 年 12 月

計劃主持人： 林宸生

研 究 生 ： 陳佳澤

執行機構：逢甲大學

中華民國九十七年十一月二十六日

目錄

目錄................................................................................................................................. i

圖目錄.......................................................................................................................... iii

表目錄........................................................................................................................... vi

ㄧ、摘要........................................................................................................................ 1

二、前言........................................................................................................................ 2

2.1 研究背景與動機.............................................................................................. 2

2.2 研究目的及其重要性...................................................................................... 3

2.3 研究範圍......................................................................................................... 5

三、研究方法.............................................................................................................. 10

3.1 理論基礎........................................................................................................ 10

3.1.1 顏色分割(color segmentation) .......................................................... 10

3.1.2 動態影像分割.................................................................................... 12

3.1.3 空間位置偵測裝置............................................................................ 13

3.2 顏色手套追蹤............................................................................................... 16

3.2.1 感應框設定........................................................................................ 16

3.2.2 監控顏色設定.................................................................................... 17

3.2.3 動作判別............................................................................................ 17

3.3 手勢操作人機介面........................................................................................ 18

3.3.1 膚色偵測............................................................................................ 19

3.3.2 定義手勢移動範圍............................................................................ 22

3.3.3 手勢標記流程..................................................................................... 22

3.4 系統架構....................................................................................................... 26

四、研究成果.............................................................................................................. 29

4.1 顏色手套追蹤............................................................................................... 29

ii

4.2 手勢操作人機介面....................................................................................... 31

五、成果評估與應用.................................................................................................. 41

六、結論...................................................................................................................... 42

七、參考文獻.............................................................................................................. 42

iii

圖目錄

圖 2.1 電腦視覺結合遊戲畫面.................................................................................... 3

圖 2.2 鐘擺復健運動示意圖......................................................................................... 3

圖 2.3 爬牆復健運動示意圖........................................................................................ 4

圖 2.4 肩膀牽張復健運動示意圖................................................................................ 4

圖 2.5 (a)手部復健系統(b)運動健身系統 ................................................................... 6

圖 2.6 虛擬遊戲畫面.................................................................................................... 6

圖 2.7 (a)原始影像(b)進行顏色分割影像(c)將雜訊濾除 ........................................... 7

圖 2.8 各種色彩影像的顏色分割(a)(b)(c) .................................................................. 8

圖 2.9 從手部影像中取出團狀與狹長脊狀之特徵.................................................... 9

圖 2.10 手勢操控電視系統.......................................................................................... 9

圖 3.1 (a)原始影像(b)運用顏色分割並分類 ............................................................. 10

圖 3.2 灰階分布圖...................................................................................................... 13

圖 3.3 經過二值化的灰階分布圖.............................................................................. 13

圖 3.4 磁力式感應裝置.............................................................................................. 14

圖 3.5 超音波式感應裝置.......................................................................................... 15

圖 3.6 機械式感應裝置.............................................................................................. 15

圖 3.7 影像式感應裝置.............................................................................................. 16

圖 3.8 當點擊擷取畫面所計算的九個 Pixel 點 ....................................................... 17

圖 3.9 由左而右(a)滑鼠游標(b)滑鼠左鍵(c)滑鼠右鍵 ............................................ 18

圖 3.10 光頻譜............................................................................................................ 19

圖 3.11 色彩三原色 .................................................................................................... 20

圖 3.12 色相環............................................................................................................ 20

圖 3.13 手勢膚色偵測結果........................................................................................ 21

圖 3.14 手勢操作範圍................................................................................................ 22

iv

圖 3.15 手勢標記之重心法........................................................................................ 23

圖 3.16 指尖偵測........................................................................................................ 24

圖 3.17 左鍵標記........................................................................................................ 25

圖 3.18 右鍵標記........................................................................................................ 26

圖 3.19 硬體環境配置圖............................................................................................ 26

圖 3.20 顏色手套追蹤系統流程圖............................................................................ 27

圖 3.21 手勢辨識流程................................................................................................ 28

圖 4.1 將畫面分割成 25 組........................................................................................ 29

圖 4.2 設定感應框對應按鍵...................................................................................... 29

圖 4.3 選擇特定顏色進行監控.................................................................................. 30

圖 4.4 系統進行動作判別.......................................................................................... 30

圖 4.5 手勢辨識原始圖.............................................................................................. 31

圖 4.6 RGB 系統 以黑色為背景閥值為 62 .............................................................. 31

圖 4.7 YCbCr 系統 以黑色為背景 rC > 5 .................................................................. 32

圖 4.8 放入其它較複雜之背景圖.............................................................................. 32

圖 4.9 RGB 系統閥值為 62 時，無法去除複雜之背景 ........................................... 32

圖 4.10 YCbCr 系統 rC >5 時，即可去除複雜之背景.............................................. 32

圖 4.11 周圍光線較暗之影像原圖 ............................................................................ 33

圖 4.12 光線較暗之影像 RGB (a)閥值為 45(b)閥值為 55(c)閥值為 65 ................. 34

圖 4.13 光線較暗之影像 YCbCr (a) rC >1(b) rC >4(c) rC >6 .................................... 34

圖 4.14 周圍光線較亮之影像原圖............................................................................ 35

圖 4.15 光線較亮之影像(a)閥值為 110(b)閥值為 125(c)閥值為 140 ..................... 35

圖 4.16 光線較亮之影像(a) rC >1(b) rC >5(c) rC >10 ............................................... 36

圖 4.17 手勢滑鼠游標偵測結果................................................................................ 37

圖 4.18 手勢滑鼠左鍵偵測結果................................................................................ 37

圖 4.19 手勢滑鼠右鍵偵測結果................................................................................ 37

v

圖 4.20 測試滑鼠準確度圖........................................................................................ 38

圖 4.21 座標差異度比較............................................................................................ 39

vi

表目錄

表 2.1 互動式系統與傳統復健運動比較.................................................................... 5

表 3.1 滑鼠相關應用之 Windows API 函數 ............................................................. 22

表 4.1 準確率及穩定度結果...................................................................................... 38

1

ㄧ、摘要

本計畫係開發以機器視覺整合復健運動系統之電腦遊戲之研究，主要功能之

一，可讓使用者透過機器視覺整合手部的動作，形成輸入介面，與電腦之巧妙結

合，讓一使用者在電腦遊戲進行中可以運用手部動作，搭配電腦遊戲之控制指

令，進而達到更身歷其境之境界。本年度工作之整體成效如下：

1. 研究姿勢辨識，手勢辨識的功能開發、姿勢運動的開發，利用手部的動作

與遊戲做互動。或用手代替滑鼠或鍵盤來控制游標左右上下移動。

2. CCD 能夠達到每秒 10 張的手部偵測畫面。

3. 透過機器視覺整合手部動作，形成輸入介面，結合遊戲模式，背景不需單

一色系，仍舊可以偵測手部動作。

4. 在 CCD 追蹤方面，利用有顏色的手套或反光貼片貼至手部做追蹤。

5. 將軟體模組化，可直接使用在載具上。

由於傳統的遊戲控制介面皆利用滑鼠、鍵盤、搖桿來達到與遊戲達到互動的

功能，但是這種缺乏臨場感的互動方式，卻已經無法滿足追求刺激、擬真的使用

者。所以運用肢體動作與遊戲互動的遊戲漸漸受到使用者的青睞，本系統利用此

互動方式結合手部復健運動，別於傳統單純地使用復健器材進行復建，改以運用

電腦視覺技術將復健動作融入互動式遊戲中，邊享受遊戲樂趣邊進行復健，能夠

同時擁有趣味性及確保復健的功效。

研究中運用多種影像處理技術與電腦視覺系統，手部復健運動系統以數位攝

影機結合 Borland C++ Builder 軟體來進行開發，即運用影像處理技術進行顏色分

割，讓使用者做出手臂揮動、手腕拍擊、手掌張合的復健動作，並經由影像處理

技術轉換後達到控制電腦進行互動式遊戲操作之功能。

關鍵字︰復健運動、電腦視覺、顏色分割

2

二、前言

2.1 研究背景與動機

近年來復健(Rehabilitation)醫學發展隨著高科技的進步、人類的壽命變長、

慢性病、文明病的增加、殘障照顧漸漸受到人們的重視、政府社會福利的推展等，

逐漸受到重視與推展，在復健醫療需求的逐漸增加之下，在全世界大多數的先進

國家都會成立復健醫療機構，且大多數國家對於復健專業人員的教育程度十分重

視，進而成立培練機構。國家的先進與否，從社會福利的重視程度得知，而社會

福利的進步又與復健醫療的水準有相當緊密的關聯。

復健治療與全方位的復健是極為重要的，病人對於環境的適應、心智的狀

況、體能狀況、復健動作的正確性等都需要全方位的分析評估，在醫師的指導與

病人及家屬的參與，加上復健治療師和其他專業人員的合作，才能達成復健的目

標與完整的復健醫療。復健運動的內容[1]，如關節運動、牽張運動、關節鬆動

術及肌力的增強等，在防止肢體的變形與姿勢的校正。

然而在復健的過程中是非常單調無趣的，往往會使復健病人產生不耐煩的情

緒，如此一來復健運動就達不到功效。如果我們將具有聲光效果的互動娛樂遊戲

加入復健運動裡，使得復健運動不再枯燥乏味，不僅僅增加了復健運動的趣味

性，最重要的是讓使用者能夠接受完整的復健療程，獲得最佳的復健效果，使病

人的復健醫療達到最好的程度與最終的目標。

在未來的醫療復健裡，為了讓復健師的復健運動更加完善，及減輕復健病人

的痛苦，及達到有效的復健療程，本研究開發了一套將電腦視覺應用於互動式手

部復健運動的系統，此系統運用手部的特徵識別，結合了影像處理技術，形成輸

入介面來控制電腦之巧妙結合(圖 2.1)[2]，讓使用者可以利用復健運動時的手部

3

動作來控制電腦遊戲，達到一邊復健順便能夠享受電腦遊戲所帶來的聲光娛樂效

果。

圖 2.1 電腦視覺結合遊戲畫面

2.2 研究目的及其重要性

以復健醫療來看可分為運動治療 (Physical Therapy)、物理治療 (Physical

Medicine)、職能治療(Occupational Therapy)，而運動治療也可以稱做為復健運

動，主要為訓練肌肉收縮，動作協調性。運動方式可分成被動運動、輔助自動運

動、主動運動、阻力自動運動，也可利用電腦遊戲的操控，來訓練使用者手部控

制能力及復健。

圖 2.2 鐘擺復健運動示意圖

4

圖 2.3 爬牆復健運動示意圖

圖 2.4 肩膀牽張復健運動示意圖

以常常發生於中老年人身上的五十肩又稱冷凍肩或粘黏性肩關節囊炎

(adhesive capsulitis)為例，患者肩膀的主動(自己抬舉)及被動(由別人或另一手協

助抬舉)活動範圍均有所受限，其嚴重度因人而異。所以需要進行復健運動治療

[3]，其可分為鐘擺運動(圖 2.2)、爬牆運動(圖 2.3)、肩膀牽張運動(圖 2.4)

如果針對結合了電腦遊戲的復健運動及傳統的復健訓練，能發現前者有幾項

優點，如表 2.1 所示︰

5

表 2.1 互動式系統與傳統復健運動比較

互動式復健運動系統 傳統復健運動

能夠結合現有的電腦遊戲 單純的進行復健動作

依受傷程度選擇不同的遊戲進行復健 重複復健師安排的復健動作

訓練具吸引力，可記錄復健過程 訓練過程單調無趣

較不會排斥復健運動，增加復健成效 容易不耐煩，導致復健成效不彰

2.3 研究範圍

(1)虛擬實境運用於復健運動[4][5]

中央大學利用虛擬實境的技術，去建構電腦互動式復健系統與健身運動系

統。其中包括空間定位器（Tracker）、頭盔顯示器（Head-Mounted Display）、

感應手套（Glove）、觸覺回饋裝置（Tactile Feedback）等。手部復健系統(圖2.5(a))

使用了上述的硬體，來當作操作介面。感應手套可以動態擷取手部的位置和彎曲

度並加以儲存。也設計了一個虛擬療程，讓使用者與電腦裡的虛擬畫面(圖2.6)

產生互動效果，進行較有效的復健。最後這套系統在醫院對復健患者進行測試，

其操作之數據分析，與正常人比較。復健患者剛開始會有較大的偏差量，若經過

一段時間的練習之後，操作偏差量減少，則可得知此復健患者的手部穩定度有得

到改善。如果最後的操作偏差量與正常人的誤差標準一樣時，則可判斷此復健患

者的手部穩定度恢復正常。運動健身系統(圖2.5(b))使用超扭轉向列型液晶顯示

器、健身腳踏車及心跳模組組合，藉著週邊設備搭配，可隨時在LCD上顯示使用

者踩動的速度、消耗卡路里及心臟跳動量，再配合電腦裡的虛擬腳踏車，隨著踩

動速度及操作方向達到即時互動的娛樂效果，充分將健身與娛樂效果整合。

6

(a) (b)

圖 2.5 (a)手部復健系統(b)運動健身系統

圖 2.6 虛擬遊戲畫面

(2)顏色分割應用[6][7]

將顏色分割應用於自動導航車，使得自動導航車能夠有效的閃避障礙物並估

測出物體的距離，論文中提到運用一套雙眼立體視覺系統，找出實際環境中障礙

物的實際深度(攝影機與障礙物之間的距離)，來當成自動導航車的行進方向距離

7

依據。首先先建立一個環境顏色database，再利用環境與障礙物的顏色差異，運

用顏色分割將障礙物切割出來(圖2-7(a)(b)(c))，求出切割出來後的障礙物對應

點，進而得到對應點的位移差，在換算成距離。

(a)

(b)

(c)

圖 2.7 (a)原始影像(b)進行顏色分割影像(c)將雜訊濾除

顏色分割應用於人眼對於顏色對比的感受。在包含較少紋理的彩色影像中，

低彩色對比的相鄰像素往往被視為相同的影像區塊，而相鄰高色彩對比的像素位

置則為影像區塊的邊界(圖2.8(a)(b)(c))。針對顏色分割，人眼對於過度分割

(over-segmentation)的程度以及不足分割(under-segmentation)的程度感受，應用在

客觀的顏色分割結果評量以及發展顏色分割演算法的應用上，以估測人眼在不同

影像分析應用中的主觀視覺因子，得到近似人類分析影像方法及結果的影像分析

技術。

8

(a)

(b)

(c)

圖 2.8 各種色彩影像的顏色分割(a)(b)(c)

(3)手勢辨識系統

此研究中，提出一個手勢辨識法及手部動作追蹤，並將此辨識方法實作出電

視的操控系統[8](圖2.10)。其作法是將攝影機擷取之RGB彩色影像轉成灰階、R-G

和G-B三種影像，如下列式子所示：

3

BGR1f

(2.1)

GR2f (2.2)

BG3f (2.3)

並透過摺積計算，並取出之團狀和狹長脊狀資訊辨別成手掌、手指、及指尖，

9

進行手部追蹤和手勢辨識(圖2.9)。為使在複雜環境下仍能辨識成功以及提高辨識

率，設計一判斷程序，作為判斷此色點是否為膚色區域之依據。

圖 2.9 從手部影像中取出團狀與狹長脊狀之特徵

圖 2.10 手勢操控電視系統

10

三、研究方法

3.1 理論基礎

3.1.1 顏色分割(color segmentation)

顏色分割[9]簡單來說就是判斷出影像中的所有顏色(圖 3.1(a))，並做出分類

(圖 3.1(b))，最基本的方式就是將影像的顏色長條圖(Color histogram)裡作多重閥

值設定，根據顏色的分佈做出選擇，將所要偵測的特定顏色區域從影像中擷取出

來。對於設定想要偵測之特定顏色分析來說，要找出特定顏色的區域就必頇定義

其顏色閥值範圍為何。

(a) (b)

圖 3.1 (a)原始影像(b)運用顏色分割並分類

但在 RGB space 裡定義的影像顏色會因為環境光源強弱影響的關係而有深

淺的變化，所以直接在 RGB space 上作顏色的分割會有非常大的誤差，因此許多

研究就採用對環境光線強弱影響較不敏感的色彩空間(Color space)來對顏色做分

割，如：正規化 RGB、HSL、YCrCb、YIQ…等，以下是顏色偵測常用的色彩空

間：

1. 正規化RGB (Normalized RGB)

11

由於在 RGB space 表示的影像，會因環境光源亮度分布不均勻的關係，使得

物體本身相同顏色的地方，在影像中所呈現的顏色卻有所差異，所以我們針對 R

與 G 予以正規化，就能使 R 與 G 對光線的靈敏度減少，其公式為：

BGR

RrN

(3.1)

BGR

Gg N

(3.2)

只要將正規化所得到的 rN 與 gN 與原本的 B，代替原先的 RGB space，就能

使顏色對環境光源的影響度減少，針對特定顏色做適當的閥值選取，就能把特定

顏色的範圍從影像中分離出來，由於 B 對環境光源的影響度較小，在此可以忽

略。

2. HSL

在 HSL 色彩空間中，H 代表色度(Hue)，S 代表飽和度(Saturation)，L 則代表

亮度(Luminance)。HSL 最大的優點為分離了影像中色彩和亮度的部分，對於顏

色分割有很好的效果，因此有些人臉偵測的系統都會運用此 HSL 色彩空間[10]，

但 HSL 系統最大的缺點為電腦運算複雜度較高，所以不適合需要即時運算的系

統。由於亮度已經被獨立出來，彼此之間的關聯性很小，故適合拿來做影像前處

理，但由於電腦絕大部分都是以 RGB 色彩空間來表示，所以必頇經由 RGB 色

彩空間轉換到 HSL。轉換過程較為複雜，其公式如下：

))(()(

)()(2

1

cos2

1

BGBRGR

BRGR

H (3.3)

),,min(3

1 BGRBGR

S

(3.4)

3

BGRL

(3.5)

3. YCbCr

YCbCr 為修改 YUV 色彩空間所得到的，JPEG 圖檔壓縮用的即為 YCbCr 模

12

型。Y、Cb、Cr 分別為一個亮度元素(Luminance)Y 以及兩個彩色素 Cb(Blueness)

與 Cr (Redness)，YCbCr 與 R、G、B 之間的關係如下：

128

128

16

B

G

R

0.0710.3680.439

0.4390.2910.148

0.0980.5040.257

C

Y

r

bC (3.6)

4. YIQ

YIQ 跟 YCbCr 差異不大，為 NTSC(National Television Standards Committee)

傳送影像時所使用的標準規格。跟 YCbCr 一樣，YIQ 與 RGB 也是屬於線性關係，

公式如下：

B

G

R

0.3130.523212.0

0.3270.275594.0

0.1140.5870.299

Q

I

Y

(3.7)

顏色偵測中顏色分割的主要目的就是要把選擇的特定顏色與背景分離開

來，但在畫面中若含有類似特定顏色的物體，則單純使用顏色偵測會產生些許誤

差，所以在顏色分割處理完後還需搭配其他的方式才能增加系統的可靠度。

3.1.2 動態影像分割

動態影像分割是利用動態物體在不相關的靜止背景移動過程中取出移動物

體的技術。在動態影像處理中，運動是由偵測系統與被偵測的影像之間的相對位

移產生的。

簡單來說偵測前後的兩幅畫面分別發生於時間 st 和 1st 的影像),,( styxf

和),,( 1styxf之間的差異變化，最簡單的方式就是針對前後兩幅影像的各 Pixel

點逐一做比較。這樣一個程序就形成一幅差值影像，就是前一張影像與後一張影

像做相淢的結果。假設我們有一個僅包含靜態成分的參考影像，將具有相同背景

但包括一移動物體的影像做比較，兩影像抵消掉靜態成分的差值後，只留下對應

於非靜態影像成分的非零 Pixel 點。在時間 st 和 1st 時所取得的兩幅影像的差值

13

影像定義成[11]:

otherwise

TtyxftyxfyxD

ss

,0

),,(),,(,1),(

1

(3.8)

公式 3.8 中T 為臨界值，當前後兩幅影像的灰階值在座標 ),( yx 點差異量大於

臨界值T 時， ),( yxD 在座標 ),( yx 為 1，其他情況皆為 0。其實就類似於二值化一

樣，於灰階分布圖上決定閥值後(圖 3.2)，就轉換成只有黑(0)跟白(255)兩種顏色

(圖 3.3)。

圖 3.2 灰階分布圖

圖 3.3 經過二值化的灰階分布圖

3.1.3 空間位置偵測裝置

在互動式機制裝置中，有許多的應用都需要及時的空間位置偵測。如機器手

14

臂、模擬飛行、虛擬開刀手術訓練，都需要空間座標的即時偵測，以便判斷出虛

擬與真實之間的空間座標關係。目前為止，已經有許多空間位置偵測裝置發展得

相當成熟，並有相關的產品在市面上販售，依照原理來區分的話，大致可分為以

下四種空間位置偵測裝置︰

1. 磁力式感應器[12][13] (Magnetic Sensors)

如圖 3.4 所示，磁力式感應器[14]是利用一個磁場發射器(Transmitter)，與 16

組接收器(Receivers)所組成，磁力式感應器能夠利用低頻的磁場來偵測裝上 16

組接收器的移動物體在三度空間裡的位置。低頻的磁場由磁場發射器所產生的，

偵測移動物體的位置則由 16 組接收器感應發射器所發射出來的磁場，再計算磁

力的大小，來判斷移動物體在三度空間的位置。計算後的數據可以透過 USB 傳

送到電腦上。

圖 3.4 磁力式感應裝置

2. 超音波式感應器(Ultrasound Sensors)

超音波感測裝置[15]其原理為感測裝置所發射的是超音波(圖 3.5)。在音波傳

遞的過程中，若是受障礙物遮蔽時，容易影響其準確性，這也是超音波式的感應

15

器與磁力式感應器類似的缺點。

圖 3.5 超音波式感應裝置

3. 機械式感應器(3-D Probes)

機械式的感應裝置[16][17]其原理是利用連桿、齒輪、彎曲感應器(Bending

Sensor)、及其他一些機械結構所構成的，其特色就是位置準確度高，能夠正確的

得到待測物的位置，每秒可以偵測 100 個位置以上。

圖 3.6 機械式感應裝置

4. 影像式感應器(Image Sensors)

影像式感應器的工作原理[18]，是利用 CCD(Charge Coupled Device)或是 PD

(Photo Diode)等光電元件來抓取影像訊號，再將影像訊號進行影像處理，以判斷

16

所要偵測物件在空間中的位置。不過判斷的方式需要處理速度比較好的電腦配

備，是其缺點。若是要判斷三度空間中的座標，則需要兩台以上的攝影機，或是

配合其他的裝置，移動物體的位置資訊才能準確的被偵測到。但是利用影像來定

位的方式仍有其存在的缺點，即其背景需要單一化，若是太過於複雜的背景，容

易會造成誤判的情形。

圖 3.7 影像式感應裝置

所以本研究主要是利用影像式感應器，偵測移動物體來測量移動物體的位置，以

應用於復健運動系統。

3.2 顏色手套追蹤(研究步驟)

3.2.1 感應框設定

以 XF代表感應框編號，其中 251 X ， 254321 ,,, FFFFF

分別

代表 25 組感應框，而 actionM代表對應的電腦按鍵，可以表示成以下公式。

actionXXXX MFFFF (3.9)

公式 3.9 為一個事件集合，代表只要 254321 ,,, FFFFF 任何一個感

應框事件符合，就會執行 actionM 對應的電腦按鍵。再將公式 2.9 整理可得公式

3.10，True 表示將執行 actionM 對應的電腦按鍵。

17

otherwiseFalse

FFFFTrueM

XXXX

action,

,

(3.10)

3.2.2 監控顏色設定

當滑鼠點擊擷取畫面時，會紀錄所點擊的 ]][[ YXP 的座標及 R、G、B 值，這

時候系統會自動以 ]][[ YXP 為中心點，將包含中心點周圍九個點的 R、G、B 值帄

均計算出來，如圖 3.8 所示。

P[X-1][Y]

P[X-1][Y+1]

P[X-1][Y-1] P[X][Y-1]

P[X][Y]

P[X][Y+1] P[X+1][Y+1]

P[X+1][Y]

P[X+1][Y-1]

圖 3.8 當點擊擷取畫面所計算的九個 Pixel 點

系統同時會依據帄均計算出來的 R、G、B 值進行設定顏色分割所需要的顏

色範圍值，R 的上下限值以 maxR 、 minR 表示，G 的上下限值以 maxG 、 minG

表示，B 的上下限值以 maxB 、 minB 表示。

3.2.3 動作判別

在動作判別時，系統會個別計算出 25 組感應框內偵測到特定顏色的 Pixels

數，如果某感應框偵測到的 Pixels 數大於設定的觸發閥值 T，則執行該感應框所

對應的電腦按鍵 actionM ；如果小於觸發值，則停止執行對應的電腦按鍵 actionM 。

18

假設感應框 XF 總共有 m 個 Pixel 點，則 mP 代表為 XF 內的某一 Pixel 點，

而 mR 、 mG 、 mB 分別為 mP 的 RGB 值。可得

otherwise

BBBGGGRRRP

mmm

m,0

)()()(,1 minmaxminmaxminmax (3.11)

TPF,False

TPF,True

Fm

i

i

m

i

i

X

1

1

(3.12)

從公式 3.11 判斷 mP 的 RGB 值計算得到 mP 是為 1 或者 0，將公式 3.11 求

得答案代入公式 3.12 可以計算出 XF 內特定顏色的 Pixels 數大於或小於 T，決定

XF 是否為 True，而 iPF 為 XF 感應框內的其中ㄧ Pixel 點。

3.3 手勢操作人機介面(研究步驟)

系統中定義了三種手勢：拳頭緊握伸出食指代表滑鼠指標，拳頭緊握伸出食

指和大姆指代表滑鼠左鍵，拳頭緊握伸出食指和小姆指代表滑鼠右鍵，即由手勢

來取代桌面滑鼠點選操作[19]，如圖3.9。

圖 3.9 由左而右(a)滑鼠游標(b)滑鼠左鍵(c)滑鼠右鍵

19

3.3.1 膚色偵測

人眼可見光的波長從 400nm – 700nm，頻率為 750TeraHZ – 430THZ。這段

光譜色彩表現，正好呈現了由紅到紫的七色彩虹。在這道彩虹的兩端雖也是光

線，但為不可見光，我們所熟知的紅外與紫外線就是這兩種光。所有色彩的表現

正是集中在這短短的波長範圍之中。

圖 3.10 光頻譜

英國心理學家楊格(Thomas Young 1773-1829)於 1802 年提出三原色說。他發

現混合紅、綠、藍三色光可得到各種不同的色彩。三原色學說假設在視網膜上有

三種錐狀細胞，各自和腦皮層中的三種神經纖維連結。各種細胞若受到刺激便產

生各一種不同的色覺，分別為紅、綠、藍。由於光波長有異，三種細胞所受到刺

激的比例不同，所總合得到的色彩便不相同。例如：等量紅與綠刺激產生黃色覺，

等量綠與藍刺激產生青色覺，等量藍與紅刺激產生紫紅色覺。

由圖 3.11 色彩三原色可看出橙色之 RGB 值，R、G 所佔的彩色資訊較多，

而 B 相對較少，在圖 3.12 所知，橙色是由紅色和綠色分配比例所呈現之顏色。

20

圖 3.11 色彩三原色

圖 3.12 色相環

一般用於區別彩色的特徵有 : 亮度 (brightness) 、色調 (hue) 、飽和度

(saturation)。色調和飽和度合稱為色度(chromaticity)，因此，一種色彩可以用它

的亮度和色度來表示。三色係數(Trichromatic Coefficient)之定義: CIE 制定紅光波

長為 R( ) = 700 nm，綠光波長為 G( ) = 546.1 nm，藍光波長為 B( ) = 435.8 nm。

三色係數可以用來表示 R.G.B 三種顏色的光量在某點素之顏色中所佔的比例。而

三色係數之總和為 1。其關係式為(3.13) 其中 R、G、B 是三原色 ，r、g、b 是

21

三原色的分量，C 是混合後的顏色。

)()()( BbGgRrC (3.13)

將 r 分量取 0.2 到 0.6、g 分量取 0.2 到 0.4 之間為偵測膚色之範圍值，本係

統之膚色偵測採用 YCbCr 色彩模型，Y 為亮度元素、Cb 和 Cr 為色彩元素，為

了降低受光線影響，RGB 轉 YCbCr 過程中只取 CbCr 兩個色彩元素。

W 所算出的值為在 r 與 g 中之白色分量，即光線分量。將W 取 0.002 可降

低膚色偵測取像過程中所受雜訊之影響， bC 取-35 到 40、 rC 在膚色所佔之分量

較多，故設一個閥值 TC 來調整膚色影像之完整度，當(3.15)條件皆成立時，RGB

值就設為 255，即為白色;反之，RGB 為 0、黑色。所擷取出來白色之像素點即為

膚色物體[20]，如圖 3.13。

RGB 轉 YCbCr

}

)330()330(

08131041869050

50331260168740

{

)40206020(

22 ;.-g.-r W

B.G.R.C

B.G.R.C

.g.g.r.rif

r

b

(3.14)

膚色偵測

;B;G;R

else

;B;G;R

CCCCC.Wif rTrbb

000

255255255

)45()()40()35()0020((

(3.15)

圖 3.13 手勢膚色偵測結果

22

3.3.2 定義手勢移動範圍

假設螢幕畫面解析度為 1024×768，一般滑鼠游標從左上到右下操作移動範

圍不大，而為了模擬原始滑鼠操作的方式，所以把攝影機原本解析度 640×480

轉為 160×120，在圖 3.14 中綠色區塊為手滑鼠所操作之範圍，綠色區塊內座標卻

放大到實際螢幕畫面座標需要乘以 6.4 倍，再以 SetCursorPos(CursorPosX,

CursorPosY)設定取得手滑鼠座標，SetCursorPos( )為 Windows API 之函數，

CursorPosX 和 CursorPosY 為 pointAPI 座標。

圖 3.14 手勢操作範圍

表 3.1 滑鼠相關應用之 Windows API 函數

函數名稱 功能

SetCursorPos ( pointAPI ) 設定滑鼠座標

mouse_event(MOUSEEVENTF_LEFTDOWN, 0, 0, 0, 0) 按下滑鼠左鍵

mouse_event(MOUSEEVENTF_LEFTUP, 0, 0, 0, 0) 放開滑鼠左鍵

mouse_event(MOUSEEVENTF_RIGHTDOWN,0,0,0,0) 按下滑鼠右鍵

mouse_event(MOUSEEVENTF_RIGHTUP,0,0,0,0) 放開滑鼠右鍵

3.3.3 手勢標記流程

影像重心法

23

當擷取到手部的影像之後，先利用重心法來求得物體的中心點座標，公式如

下:

N

YC

N

XC

cy

cx

(3.16)

公式中， xC : 重心的 x 座標， yC : 重心的 y 座標， cX : 手部影像 x 座標總和，

cY : 手部影像 y 座標總和，N: 手部影像白色像素點總數。

在擷取出膚色過程中我們取一個適當閥值，將大於閥值的 pixel 值 cX 、 cY 座

標值做累加;而 N 做加 1 的動作，即可標記出物體的中心點座標位值。

圖 3.15 紅色標記點為白色物體的重心。

圖 3.15 手勢標記之重心法

指尖偵測

將圖片由上而下由左而右依順掃描就可找到第一個膚色點，但因為周圍光線

會形成雜訊影響其誤判，故提出一個新的機制。當找到第一個白色像素點(即膚

色點)，以第一個膚色中心點為主，往外取一個矩形區塊，當滿足 R、G、B 都為

255 時，將 pixW 做加 1 的動作，計算區塊內白色像素點之數量 pixW ，當 pixW 大於

系統所設定之 TnW 白色像素點數量時，即為指尖膚色點並利用(3.17)(3.18)計算出

指尖區塊之中心點並標記出來;反之，小於 TnW 則視為背景雜訊。圖 3.16 紅色標

記點為指尖偵測結果，指尖標記[21][22]即為系統定義之游標。

24

otherwise,

WWif,N

X

C Tnpixf

fc

fx

0

)( (3.17)

otherwise,

WWif,N

Y

C Tnpixf

fc

fy

0

)( (3.18)

在公式(3.17)(3.18)， )( fyfx C,C :指尖區塊之中心點座標， fcX 、 fcY ，指

尖區塊之 X、Y 座標總和， fN : 指尖區塊所佔白色像素點之總數， TnW : 指尖區

塊內系統所設之白色像素點閥值數量。

圖 3.16 指尖偵測

將找出指尖偵測 fyC 座標往下位移取 C1 個單位偏移量往左掃描找到第一個

白色像素點，即 Gray 為 25，此時左鍵標記 x 座標就為 fxL 、y 座標 fyL 取手部影

像重心點 yC ;反之，沒找到左鍵標記點 fxL 、 fyL 即為 0，則不做標記。圖 3.17(a)

大姆指標記點到中心點距離較近，圖 3.17(b)大姆指標記點到中心點距離較遠，

由圖 3.17(a) (b)知，利用大姆指閉合張開的變化可產生不同之位移量，當大於 C2

pixel 距離時，利用表 3.1 Windows API 函數進行滑鼠左鍵的點選。

otherwise,

))CC(L()cC,L(fif,LL

fxfxfyfxfxfx

0

)255( 21 (3.19)

otherwise,

))CC(L()CC,L(fif,CCL

fxfxfyfxfyfy

0

)255( 211 (3.20)

式中( fxL , fyL )為左鍵標記點 x、y 座標。

25

(a) 大姆指閉合 (b)大姆指張開

圖 3.17 左鍵標記

利用指尖偵測找出之 fyC 座標往下取 C3 個單位偏移量往右掃描找出 C4白色

像素點，則 Gray 為 255，完成上述方法即可找出右鍵標記點( fxR , fyR )。當小姆

指閉合時，手部影像 x 中心座標 xC 減去 fxR 大於 0，則 cR 就為 false，不做標記

動作;;反之，小姆指張開 cR 為 true 則利用表 3.1Windows API 函數進行滑鼠右鍵

點選功能。

otherwise,

))CC(R()CC,R(fif,RR

fxfxfyfxfxfx

0

)255( 43 (3.21)

otherwise,

))CC(R()CC,R(fif,CCR

fxfxfyfxfyfy

0

)255( 433 (3.22)

式中( fxR , fyR )為右鍵標記點 x、y 座標。

)0(

)0(

fxx

fxxc RCif,true

RCif,falseR (3.23)

式中 cR 為執行滑鼠右鍵動作之旗標。

26

(a) 小姆指閉合 (b)小姆指張開

圖 3.18 右鍵標記

3.4 系統架構

攝影機

互動螢幕

電腦

操作者

圖 3.19 硬體環境配置圖

硬體配置如圖 3.19 所示，主要利用進行復健運動時，手部進行伸展、抬舉…

等動作來達到操控互動式遊戲的效果。本系統包含了電腦、影像擷取裝置、互動

螢幕。

27

如圖 3.20 顏色手套追蹤系統流程所示，首先由操作者開啟互動式復健運動

系統，進行手部復健運動，接著開啟攝影機並調整攝影機擷取復健運動的視窗畫

面。然後設定感應框及監控顏色，等到基本設定皆設定完成後，開啟遊戲畫面。

此時系統開始進行動作判別，利用顏色分割，判斷出操作者的手觸碰到哪一區

塊，依照區塊所對應的電腦按鍵，進行遊戲操控。

啟動互動式復健系統

開啟攝影機

調整攝影機擷取的畫面

設定感應框

設定監控顏色

開啟遊戲

動作判別

控制對應的電腦按鍵

操作互動式遊戲

True

False

圖 3.20 顏色手套追蹤系統流程圖

如 3.21 手勢操作人機介面流程所示，首先利用 CCD 攝影機擷取手部影像資

訊傳送到電腦做分析，經過 RGB 轉 YCbCr 進行膚色偵測，即時標記出手部特徵

座標點，進行滑鼠的游標移動、左鍵及右鍵點選功能來操作其人機介面。

28

影像擷取

膚色偵測

人機介面控制

手勢標記

否

是

RGB To YCbCr

手勢追踨

手勢位置、大小及座標資訊

圖 3.21 手勢辨識流程

29

四、研究成果

4.1 顏色手套追蹤

如圖 4.1 所示，將攝影機輸出的畫面分割成 25 個區塊，當成 25 組感應框，

可以分別定義每組感應框所對應的電腦按鍵。而圖 4.2 代表系統感應框對應電腦

按鍵的上(UP)、下(DOWN)及空白鍵(SPACE)三種。

以圖 4.2 的設定為例，會得到三種事件集合，分別為 spaceMFF 1511 、

upMFFFFF 54321 、 downMFFFFF 2524232221 。

圖 4.1 將畫面分割成 25 組

圖 4.2 設定感應框對應按鍵

30

圖 4.3 為攝影機擷取後的畫面，在擷取畫面裡點選特定顏色，就可以設定出

系統所要監控的顏色範圍。

圖 4.3 選擇特定顏色進行監控

圖 4.4 系統進行動作判別

以圖 4.4 為例，當復健的手部動作進入感應框 3F 時，利用公式 3.11 計算出

3F 內的所有點各別為 1 或 0，再套用公式 3.12 計算得到 3F 大於觸發閥值 T，所

以 3F 為 True ， 由 公 式 3.10 的 事 件 集 合 可 以 得 到 下 面 判 斷 式 ，

31

otherwiseFalse

FFFFFTrueMup

,

, 54321

，由於 3F 事件成立，所以將執行

actionM 對應的電腦按鍵上(UP)。以上就完成了一次的動作判別，系統的動作判

別會這樣反覆執行下去，直到系統結束為止。

4.2 手勢操作人機介面

手勢分析

本實驗在手勢部份利用RGB與YCbCr兩個色彩系統來分別比較較複雜之背

景環境、光線較暗和光線較亮時之檢測結果。在圖 4.6 及 4.7 可看出同為黑色背

景下，RGB 系統取閥值為 62 與 YCbCr 系統閥值為 5 時比較，可明顯看出圖 4.6

手部取像較不完整，而圖 4.7 手部影像較為完整。

圖 4.5 手勢辨識原始圖

圖 4.6 RGB 系統 以黑色為背景閥值為 62

32

圖 4.7 YCbCr 系統 以黑色為背景 rC > 5

在圖 4.8 放入其它顏色物體較複雜之背景環境，可看出 RGB 在閥值為 62 時，

無法將其它顏色物體做去除，反觀 YCbCr 閥值取 rC 大於 5 時，可大部份去除掉

不接近膚色的顏色物體，結果如圖 4.9 和 4.10。

圖 4.8 放入其它較複雜之背景圖

圖 4.9 RGB 系統閥值為 62 時，無法去除複雜之背景

圖 4.10 YCbCr 系統 rC >5 時，即可去除複雜之背景

33

在圖 4.11 將偵測周圍環境轉暗狀態下，圖 4.12 的 RGB 系統閥值為 45 時，

雖然周圍雜訊較少，但所擷取影像較不完整; 當調整閥值為 55 時，擷取手部影

像較前一張完整，但雜訊也隨即跟著增加; 閥值為 65 時，雖然手部影像是完整

的，但周圍己經產生太多雜訊會影響系統的誤判。圖 4.13 的 YCbCr 系統跟圖 4.12

的 RGB 系統相較，雜訊是較少且取像較完整， rC 大於 1 時，手部周圍有些許

的雜訊; rC 大於 4 時，手部影像雜訊減少; rC 大於 6 時，手部下面有殘缺影像

出現，雖然沒有雜訊出現，但適當取其閥值會影響取像之完整性及辨識的結果，

決定系統是否穩定。

圖 4.11 周圍光線較暗之影像原圖

(a) (b)

34

(c)

圖 4.12 光線較暗之影像 RGB (a)閥值為 45(b)閥值為 55(c)閥值為 65

(a) (b)

(c)

圖 4.13 光線較暗之影像 YCbCr (a) rC >1(b) rC >4(c) rC >6

在圖 4.14 背景光線較亮之狀況下，圖 4.15 的 RGB 閥值分別取 110、125、140

時，可明顯看出 RGB 系統所受之光害影響很大，均被手指的陰影所影響;而在圖

4.16 的 YCbCr 系統均不被手指的陰影所影響，不過 rC 取超過範圍值時也會造成

35

取像不完整。

圖 4.14 周圍光線較亮之影像原圖

(a) (b)

(c)

圖 4.15 光線較亮之影像(a)閥值為 110(b)閥值為 125(c)閥值為 140

36

(a) (b)

(c)

圖 4.16 光線較亮之影像(a) rC >1(b) rC >5(c) rC >10

由 RGB 系統及 YCbCr 系統比較之結果知，RGB 系統比較容易受其它背景

物體顏色所影響，就算取其適當閥值雜訊也會跟著增加，而 YCbCr 系統能改善

RGB 在較複雜背景濾除效果。光線亮暗變化在 RGB 色彩系統裡影響很大，也容

易受物體陰影影響其系統的誤判率，反觀，YCbCr 能將亮度元素及顏色元素做

分離，改善其周圍光線影響，提高系統的穩定性。

37

圖 4.17 手勢滑鼠游標偵測結果

圖 4.18 手勢滑鼠左鍵偵測結果

圖 4.19 手勢滑鼠右鍵偵測結果

38

為了要測試其手滑鼠之穩定度，設計一個簡單測試程式，在圖 4.20 有 10 個

不一樣的圖形，每個圖形中間有黑色圓心點，其黑色像素為 20×20，我們利用一

般電腦使用的滑鼠及本系統研發之手滑鼠分別做測試，點選黑色中心點座標來比

較兩者之間的差異度，當點選中心點±10個像素點之內即為黑色圓球內可容許誤

差範圍。將滑鼠座標、手滑鼠座標與原始中心點做比較，算出其在可點選區域黑

色範圍內之準確性及帄均偏移量之穩定度，如表 4.1，圖 4.21 可清楚看出其原始

中心點、滑鼠座標、手滑鼠座標之間的差異度。偵測速度帄均每秒 25 張。

測試中心點

圖 4.20 測試滑鼠準確度圖

表 4.1 準確率及穩定度結果

原始座標 滑鼠座標 手滑鼠座標

(89,295) (88,294) (98,276)

(100,120) (99,120) (111,129)

(227,120) (226,119) (226,122)

(227,300) (226,299) (226,302)

(350,305) (348,303) (347,302)

(355,120) (353,119) (367,122)

(478,118) (477,117) (469,116)

39

(480,305) (478,303) (482,295)

(592,300) (591,299) (591,295)

(595,118) (594,117) (603,110)

準確率(在黑色範圍內) 99.56 % 98.86 %

穩度定(帄均偏移量) (1.3,1.1) (5.9,5.4)

圖 4.21 座標差異度比較

程式並作下列修改：

1. 建立可記錄設定檔，方便下次使用延用上次設定參數

2. 感應框，由原先固定位置方式，修正為可設定位置方式(顏色識別部份)，

採用 9 X 9 方格。

40

3. 在原來設計部份，因原先設定採用膚色的關係，頭部造成干擾，此部份

採用顏色識別，取代膚色定義。

4. 前後期部份的整合，兼顧其共通性。

5. 初始設定應自動設定 (包含 RGB、閥值、儲存上次設定值作為下次

DEFAULT值…)。

6. 感應區設定以彈性大、準度度高、靈敏度佳之方向修改。

7. 為能內部測試、DEMO並提供廠商、復健單位樣品，因此提供 USB-KEY_PRO

10組以上，後續亦以較低之成本價供應，以利推廣販售。

8. 機器視覺應用於機台上。

9. 相關遊戲軟體的搜尋。

經上述修改後，參加 2008 年 11 月「第 20 屆台北國際醫療展覽會」，於台北

世貿中心展出，結果圓滿成功。

41

五、成果評估與應用

本計畫係開發以機器視覺整合復健運動系統之電腦遊戲之研究，主要功能之

一，可讓使用者透過機器視覺整合手部的動作，形成輸入介面，與電腦之巧妙結

合，讓一使用者在電腦遊戲進行中可以運用手部動作，搭配電腦遊戲之控制指

令，進而達到更身歷其境之境界。本年度工作之整體成效如下：

1. 研究姿勢辨識，手勢辨識的功能開發、姿勢運動的開發，利用手部的動作

與遊戲做互動。或用手代替滑鼠或鍵盤來控制游標左右上下移動。

2. CCD 能夠達到每秒 10 張的手部偵測畫面。

3. 透過機器視覺整合手部動作，形成輸入介面，結合遊戲模式，背景不需單

一色系，仍舊可以偵測手部動作。

4. 在 CCD 追蹤方面，利用有顏色的手套或反光貼片貼至手部做追蹤。

5. 將軟體模組化，可直接使用在載具上。

利用本系統在醫院的復健單位取 50 個復健者來做測試，透過這樣的方式能

直接知道系統是否人性化和操作方便，將其缺點做進一步改善，讓其系統更加完

整穩定。近年來國外許多研發活動的大量投資極大地影響了機器視覺檢測設備市

場的發展。為了能在這個競爭激烈的環境中立於不敗之地，製造商需要跟得上市

場的變化，並同時提供能夠充分滿足客戶需求的技術。機器視覺具有精確、高速、

高可靠性等優點，廣泛應用在工業自動化生產與檢測設備。再加上醫療照護、醫

療復健的的需求日趨龐大，為了減輕復健師的負擔，及有效的掌握使用者的使用

狀況，於是有了一個新的概念，設計一套以機器視覺整合復健運動系統之應用。

本期完成三篇期刊論文，提出審查。本年度被接受或刊登的期刊論文如下：

1. Chern-Sheng Lin, Chia-Chang Chang, Wei-Lung Chen, Design and application of an interactive

wheelchair training system, Journal of Biomedical Engineering-Applications, Basis &

Communicatitons, vol. 20(6)1-7, 2008 (SCI) NSC 96-2221-E-035 -099 -MY3 & BV93U07P.

2. Chern-Sheng Lin, Kun-Cheng Li, Chia-Tse Chen, Chia-Chang Chang, Der-Song Chung, Hand

Gesture Recognition in a Leg Sport System, Journal of Biomedical Engineering-Applications,

Basis & Communicatitons, vol. 21()-, 2009 (SCI), accepted for publication

42

本期並配合參加 2008 年 11 月「第 20 屆台北國際醫療展覽會」，於台北世貿

中心展出。

六、結論

隨著現今科技的成長，更多人將注意到醫療工程這塊領域。然而遊戲與醫療

做結合，可讓此產品潛力無窮，更可互惠操作者，若將此產品帶入市場，即可達

到另一潮流，一項運動與遊戲互動結合的表現。讓老年人在家就能即由此系統達

到復健運動健康效果，方便進行復健療程，不會造成關節退化，間接也能讓子女

出外工作能放心，而本系統搭配上互動遊戲增加其在復健運動之趣味性，而不只

是單純反覆做一樣的動作，未來如能和開發遊戲廠商合作，開發出其他更具娛樂

性、更適合復健運動的相關遊戲，相信會帶領出這一股復健運動風潮。

七、參考文獻

[1] 高雄基督教信義醫院復建中心, “基本復健運動”, 財團法人高雄基督教信義

醫院,2005 年。

[2] 陳立德，應用於體適能活動視覺裝置之設計，元智大學資訊傳播學系碩士論

文，2004 年。

[3] 台北新光醫院復健科, “五十肩”, 財團法人新光吳火獅紀念醫院,2007 年。

[4] 鄭啟英，虛擬實境在復健之應用，國立中央大學機械工程所碩士論文，1999

年。

[5] 齊孝元，虛擬實境關鍵技術之開發，國立中央大學機械工程所碩士論文，2001

年。

[6] 鄭芝怡，利用電腦視覺在室內走廊環境做障礙物偵測與距離估測，國立交通

大學電機與控制工程學系碩士論文，2002 年。

[7] 陳信嘉，以亮度/色彩對比為基礎的影像分析技術之研究，國立交通大學電子

工程學系電子研究所博士論文，2006 年。

[8] X. Xie., R. Sudhakar., and H. Zhuang., “A Cascaded Scheme for Eye Tracking

and Head Movement Compensation,” IEEE Trans. Systems, Man, and Cybernetics -

43

Part A: Systems and Humans, vol. 28, pp. 487-490, 1998.

[9] http://cmm.ensmp.fr/~demarty/CTI/segmentation_couleur_ang.html

[10] R. Sami., T. Philip, S. Bernhard, “Andrew Blake Computationally Efficient Face

Detection, ” Appeared in The Proceeding of the 8th International Conference on

Computer Vision, 2001.

[11] 繆紹綱, “數位影像處理”, 台灣培生教育出版股份有限公司，2006。

[12] G. Burdea and P. Coiffect, “Virtual Reality Technology”, John Wiley & Sons,

New York N.Y., 1994.

[13] F. H. Raab, E. B. Blood, T. O. Steiner, and H. R. Jones, “Magnetic Position and

Orientation Tracking System”, IEEE Transactions on Aerospace and Electronic

System, AES-15, pp. 709-717, 1979.

[14] K.Mitlbe, T.Kaiga,T.Yukawa, T.Miura, H.Tamamoto, Al Rodgers, N.Yoshimura,

“Development of a Motion Capture System for a Hand Using a Magnetic Three

Dimensional Position Sensor.”

[15] H. A. Sowizral and J. C. Barnes, “Tracking Position and Orientation in Large

Volume ”, Proc. of IEEE Virtual Reality Annual International Symposium, Seattle,

W.A., pp. 132-139, 1993.

[16] G. Burdea, “Force And Touch Feedback For Virtual Reality”, John Wiley &

Sons, New York N.Y. 1996.

[17] J. Gradecki, “The Virtual Reality Construction Kit”, John Wiley & Sons, New

York N.Y. 1994.

[18] T. Takahashi and T. Sakai, “Teaching Robots Movement in Virtual Reality”,

IEEE/RSJ International Workshop on Intelligent Robots and Systems IROS’91, Nov.

3-5 1991.

[19] L. K. Lee., S. Kim, Y. K. Choi., and M. H. Lee, “Recognition of hand gesture to

human-computer interaction,” The 26th Annual Conf. of IEEE on Industrial

Electronics Society, vol. 3, pp. 2117-2122, 2000.

[20]A. Elouardi., S. Bouaziz., A. Dupret., L. Lacassagne, J.O. Klein., and R.

Reynaud., “Image Processing Vision Systems: Standard Image Sensors Versus

Retinas,” IEEE Trans., vol. 56, pp. 2815-2867, 2007.

[21] R. Zwiggelaar., S. M. Astley., C. R. M. Boggis., and C. J. Taylor., “Linear

Structures in Mammographic Images:Detection and Classification,” IEEE Trans., vol.

23, pp. 1077-1086, 2004.

[22] K. Z. Mao , P. Zhao, and P.H. Tan., “Supervised Learning-Based Cell Image

Segmentation for P53 Immunohistochemistry,” IEEE Trans., vol. 53, pp. 1153-1163,

2006.