德明財經科技大學資訊科技系100學年度第六屆

學生畢業專題

組 別： 第十組指導教授： 林偉川 博士組　　長： 陳偉華 (D9719108)組　　員： 羅翊萱 (D9719102)　 　　林彥澄(D9719117)　 　　惲曉薇(D9719127)　 　　蕭合君(D9719157)

智慧型自走車保全監控系統

Page 2

實作功能實作案例設計實測數據充電器實作情形自走車倒車校正功能前次提報問題及回答目前工作情況未來結論參加比賽

報告大綱

Page 3

實作功能

架有 CCD 的自走車固定路徑巡邏遠端監控功能人臉偵測功能警報發佈功能— MSN 、 Facebook 機器

人自走車定位功能 ( 利用航跡推算法及

TIBBO)

自走車充電功能

Page 4

NorthSTAR 圖形化整合開發環境開發控制自走車的程式。NorthSTAR 是一種圖形化整合開發工具，只要對控制項做簡單的屬性設置，就可以快捷的編寫自走車控制程式。

NorthSTAR 同時還支援 C 語言模式開發。

程式編輯完後，可以透過網路下載到自走車執行。

Page 5

Dead Reckoning 航跡推算法在 15 世紀末哥倫布利用航跡推算法來探索海

洋世界。航跡推算法 (Dead Reckoning 簡稱： DR 演算

法 ) ，是一種根據之前走過的路程及方向，利用時間和速度進而推算行進的路線。

可用於當偵測不到物件新的數據的情況下，根據先前已知的數據，來推演下一筆數據的演算法。

Page 6

經實際測試後得知， DR 路徑演算法的誤差狀況如下，自走車的些微偏差，在回充電座充電時，會將誤差值歸零， DR 演算法中誤差累積的問題也就隨之解決。

DR 演算法實測數據

Page 7

場地大小 DR 場地設定大小

誤差時間( 秒 )

誤差距離( 公分 )

正確率 (%)

115*65 115*65 1.5 5 98.913%

140*85 140*85 3 20 95.555%

155*105 155*105 5.5 62 88.076%

DR 演算法實測數據 小地圖上移動的次數 =

( 實際場地大小 – 自走車轉彎大小 ) / ( 每秒移動距離 ) 小地圖上每次移動距離 =

( 小地圖畫布大小 / 小地圖上移動次數 ) / 4)

Page 8

OpenCV 技術研討OpenCV(Open Source Computer Vision)

是由 Intel 公司所開發出來的 Open Source

圖形演算法的函式庫 (Image Processing

Library) 。實現了 C/C++ 語言圖像處理和計算機視覺方面很多通用的程式設計。

本畢專用此技術做人臉辨識。

Page 9

●Gx=(Z7+2Z8+Z9)-(Z1+2Z2+Z3)為經水平邊緣濾波器後的水平梯度大小， Gy=(Z3+2Z6+Z9)-(Z1+2Z4+Z7) 為經垂直邊緣濾波器後的垂直梯度大小

121

000

1-2-1-

G x

101-

202-

101-

G y

人臉偵測 Sobel 運算式

Page 10

Android 技術介紹Android 開發平台是由 Google 發布的，是在 Linux 上開發的智慧型手機平台。

Android手機程式，是以 JAVA 做為開發語言。

Android手機可用於觀看自走車位置、 PTZ-IPCAM 畫面及操控自走車。

Page 11

MSN 機器人MSN 機器人的核心程式為 MSNSHARP ，此

核心為開放式的 MSN 機器人開發核心。MSN 機器人程式，是以 C# 做為開發語言。MSN 機器人所作的工作為自動回報家中所發

生的事件，例如：偵測人臉、系統故障 ( 自

走車停擺、 PTZ-IPCAM故障）， MSN 機器

人會依據相對的問題自動回報。

Page 12

Facebook 機器人Facebook 機器人中使用的核心程式為

Facebook C# SDK ，此核心程式為一開放式的Facebook 機器人開發核心。此外，本系統所開發的 Facebook 機器人程式碼是使用 Visual

Studio 2010 中的 C# 語言作為開發語言。伺服器不斷偵測來自系統的要求傳送之訊息，並根據各種要求藉由 Facebook 機器人給予使用者不同的訊息

Page 13

在監控場地上嵌入光敏電阻並連接在 EM1206 上，

當自走車經過時，光敏電阻被遮蔽時，會立即透過

EM1206 中開發的程式，判斷是由哪個光敏電阻感

應到的訊號，再回傳至後端伺服器讓使用者更準確

知道自走車的位置。

TIBBO EM1206 控制模組

Page 14

實作案例設計

Internet自走車

Android 手機

使用者

AP

NB

PCServer

無線AP

使用者

自走車巡邏路徑

自走車巡邏路徑

B

C

C

CCCD

123

C

資料庫

充電器

123

Tibbo

光敏電阻

光敏電阻

光敏電阻

光敏電阻

PTZ-IPCAM

PTZ-IPCAM

Page 15

人臉偵測實測數據動態人臉偵測

圖片大小( 解析度 )

花費時間

(毫秒 )

實際人臉總數

實際無人臉數

偵測到人臉數

沒人臉卻偵測到人臉數

誤判率 (%)

PTZ-IPCAM 動態人臉偵測

704*380 2.564 320張 415張 238張 24張 5.783%

CCD 動態人臉偵測

348*291(96dpi)

1.856 320張 415張 200張 33張 7.951%

Page 16

人臉偵測實測數據

圖片大小( 解析度 )

花費時間(毫秒 )

實際人臉總數

實際無人臉數

偵測到人臉數

沒人臉卻偵測到人臉數 誤判率 (%)

640*480 64.8 150張 50張 134張 1張 2%

704*380 53.3 150張 50張 136張 2張 4%

320*240 49.25 150張 50張 137張 17張 34%

PTZ-IPCAM靜態人臉偵測

Page 17

人臉偵測實測數據PTZ-IPCAM 人臉偵測

圖片大小( 解析度 )

距離 ( 人與攝影機距離 )

人臉朝上角度 (極限 )

人臉朝下角度 (極限 )

人臉朝左角度 (極限 )

人臉朝右角度(極限 )

640*480 <4.40 公尺 30° 15° 30° 30°

704*380 <4.25 公尺 30° 15° 30° 30°

320*240 <2.30 公尺 30° 15° 30° 30°

圖片大小( 解析度 )

距離 ( 人與攝影機距離 )

人臉朝上角度 (極限 )

人臉朝下角度 (極限 )

人臉朝左角度 (極限 )

人臉朝右角度(極限 )

348*291(96dpi)

<3.60 公尺 15° 15° 20° 20°

CCD 人臉偵測

Page 18

充電器實作情形

Page 19

充電器實作情形電池電量 80% 以下快充，達到 80% 後以小電流充電。

Q ：自走車巡邏完回充電座後，在下次巡邏前電池能回復到原來電量嗎 ?

　解決方法：　　自走車巡邏一次的耗能： 31.5525× 33.2 = 1047.543J( 焦耳 )

　　充電器產生的能量： 8.4V × 0.56A × 60 × 60 = 16934.4J( 焦耳 )

　充電的能量 =16934.4 J 　 > 　巡邏的耗能 =1047.543J

　 A ：充電能量大於消耗能量，所以不會沒電。

Page 20

自走車倒車校正功能

當車子回充電座時，利用左右兩側的紅外線感測器，判斷後方是否有遮蔽物；有遮蔽物則進行軌道校正，無遮蔽物則直線倒退至充電座。

校正方式 :　左邊紅外線偵測到遮蔽物 = 左轉前進 → 倒退

　右邊紅外線偵測到遮蔽物 = 右轉前進 → 倒退

Page 21

前次提報問題及回答1.自走車行徑路線固定 , 也同樣有死角產生 , 充電時也無法進行監視。

充電時不斷電， CCD 還是繼續拍攝2.充滿電所需時間多久。 75600 J ÷ 16934.4J = 4.46 ( 小時 )

3.動態下 , 人臉辨識之成功率 ? 92.05%

4.可否很容易的設定行走路徑。未來設計讓使用者利用記事本，就可變更自走車巡邏的路徑

5.自走車行走定位的誤差累計在自動充電時會歸零 , 是否代表必須短時間內就必須回去充電 ,否則誤差累積就會影響導航 ?完成一次巡邏就回充電器，進而將誤差歸零

6.人臉偵測與人臉辨識是完全不一樣的工作 ,建議必須弄清楚。本畢專為人臉偵測的功能

7.人臉動態辨識 (展示時要完成 ) 。實測數據8. 2部車 ? 目前畢專只用一台車展示，未來將改進為兩台車

Page 22

目前工作情形近端監控程式 ( 已完成 )

PTZ-IPCAM 自動全場地監控 ( 已完成 )

MSN 機器人回傳訊息並將訊息存入資料庫 ( 已完成 )

透過網頁觀看家中影像 ( 已完成 )

MSN 機器人自動刪除較早的歷史訊息 ( 已完成 )

遠端觀看家中影像 ( 已完成 )

手機傳送訊息至伺服器端 ( 已完成 )

Page 23

伺服器端自動人臉辨識 ( 已完成 )

DR 推算自走車路徑並顯示在場地圖上 ( 已完成 )

透過網頁控制 PTZ-IPCAM 轉動鏡頭 ( 已完成 )

手機滑動螢幕操控功能 ( 已完成 )

控制自走車 ( 已完成 )

自走車 CCD影像串流導入 ( 已完成 )

充電器模組 ( 已完成 )

目前工作情形

Page 24

本畢專做到以下功能：自動偵測，主動回報有異常狀況立即通知使用者減少人力資源的消耗降低監視死角造成的風險利用 DR 演算法推估自走車位置隨時隨地查看家中環境

結論

Page 25

自走車：改進自走車倒車校正功能

手機：可連結到自走車上的無線網路

人臉偵測：增加事件偵測

Tibbo 與 DR ：把 TIBBO 結合 MYSQL ，利用

DR 抓取MYSQL 資料配合小地圖顯示位置

未來展望

Page 26

目前 :

中華電信創意應用大賽第一屆中華科大太谷盃 iCube 2011 研討會論文第二屆資旺盃第九屆育秀盃

參加比賽

Page 27

DEMO