phat hien va theo vet nguoi

7/31/2019 Phat Hien Va Theo Vet Nguoi

1/26

- 1 -

BGIO DC VO TOI HC NNG

T TH I NHI

PHT HIN V THEO VT NG IT D LIU VIDEO

Chuyn ngnh :KHOA HC MY TNHM s : 60.48.01

TM TT LUN VN THC S K THUT

Nng - Nm 2012


2/26

- 2 -

Cng trnh c hon thnh tiI HC NNG

Ng i h ng dn khoa hc: TS. Hunh H u H ng

Phn bin 1 : TS. Hunh Cng Php

Phn bin 2 : PGS.TS.on Vn Ban

Lun vn c bo v ti Hi ng chm Lun vntt nghip thc s k thut hp ti i hc Nng vo ngy 04thng 03 nm 2012

C th tm hi u lu n v n t i: Trung tm Thng tin - Hc liu, i hc Nng Trung tm Hc liu, i hc Nng


3/26


4/26

- 4 -

T yu cu thc t c t ra, vic xy dng mt h thngpht hin v theo vt (tracking) ng i t d liu video thu cthng qua h thng camera quan st v i s h tr ca k thut theovt trong l nh vc th gic my tnh (computer vision) l mt iucn thit.2. Mc tiu v nhim v nghin c u

Mc ch ca ti nhm nghin cu cc thut ton pht hinv theo vt mt khun mt ng i ang chuyn ng t d liuvideo, t xy dng ch ng trnh h tr v i cc chc nng sau:

- Pht hin khun mt ng i v thc hin cnh bo bng mthanhthng bo khi c mt hoc nhiu ng i i vo v tr quan st ca camerac bit ti nhng n i bo mt gi i hnng i ra vo trong vn phng cng ty, ngn hng,...v.v

- Theo vt khun mt mt ng i ng i t d liu video hoctruyn t camera thng qua thut ton theo vt Meanshift.

- Thng k s l ng ng i i vo vn phng, ca hng, ngnhng,v.v thng qua d liu video hoc t camera quanst.

Bn cnh ti cn mong mun gip cho mi ng i cmt ci nhn ton din h n v vai tr v kh nng ng dng cacng nghx lnh vo trong thc tca i sng x hi.3. i t ng v phm vi nghin c u

i t ng nghin c uTrong bi ton ny, d liu c x l l on video c

quay t mt camera t nh v ghi li v i chun AVI (Audio VideoInterleave).

Ph m vi nghin c u


5/26

- 5 -

Phm vi nghin cu ca ti lin quann l nh vc x lnh s thng qua vic s dng b th vin m OpenCV (OpenComputer Vision).4. Ph ng php nghin c u

Ph ng php nghin c u l thuy t- Tm hiu cch lp trnh v i th vin OpenCV.- Tm hiu ph ng php AdaBoost kt h p v i ccc trng

Haar-likepht hin khun mt.

-

Tm hiu ph ng php tr nn (background subtraction) pht hin chuyn ng,- Tm hiu thut ton theo vt Meanshift v Camshift.

Ph ng php nghin c u th c nghi m- Tin hnh phn tch v cit: thut ton tr nn pht

hin chuyn ng, thut ton pht hin v theo vt khun

mt ng i t d liu video.- So snh vnh gi kt qu t c.5. Kt qu d kin

- Nm vng v cit thnh cng cc thut ton: pht hinchuyn ng bng ph ng php tr nn, pht hin khunmt, theo di khun mt trong video

-

Xy dng c ch ng trnh h tr 3 chc nng: cnhbo ng i bng m thanh, theo vt khun mt bng thutton Meanshift vm s ng i ra vo ta nh t d liuvideo.

- To c bng so snh kt qu, chnh xc ca ccph ng php pht hin v theo vt i t ng chuyn ng

da trn tp cc video c sn.


6/26

- 6 -

6. ngh a khoa hc v th c tin ca lun vn V m t l thuy t

-

ng dng thnh cng cng ngh x l nh vo trong thct.- To tin cho nhng nghin cu tip theo trong t ng lai.

V m t th c ti n- Cung cp cc thut ton h tr cho iu khin rbt, cc

thit b pht hin v nhn dng khun mt ng i.

-

Gip gim gi thnh cho cng tc bo vv bo mt.- Thng k c s l ng khch hng mi ngy t cnhng chin l c thch h p trong vic pht trin cc chinl c kinh doanh trong t ng lai.

- To tin cho vic xy dng c s d liu nhn dngkhch hng mt cch t ng thng qua khun mt.

7.

Bcc lun vnNi dung ca lun vn c chia thnh cc phn nh sau: M u Ch ng 1: Nghin c u t ng quan Ch ng 2: nh gi cc thu t ton v xy d ng cc ch c

n ng chnh

Ch ng 3: Ci t v k t qu K t lu n v h ng pht tri n Ph l c


7/26


8/26

- 8 -

1.3. CC PH NG PHP TR NN PHT HIN IT NG

1.3.1. Tng quan vpht hin i t ng1.3.2. Gi i thiu vph ng php tr nn

t ng chung ca cc ph ng php tr nn l:pht hinra c cc i t ng chuyn ng trong video chng ta phi c c m hnh nn (background). M hnh nn ny c th c hcqua nhiu framenh nu nn b thay i, ng c li ta c th chn

mt nn c sn nu nn khng b thay i. Sau, ta s dng mhnh nn ny so snh v i framenh hin ti v kt qu l ta s nhn bit c u l vng phn nn, u l cc phn chuyn ng.1.3.3. Frame Difference

1.3.3.1. Thu t ton ci t1.3.3.2. u i m1.3.3.3. Nh c i m1.3.4. Running Gaussian Average

1.3.4.1. Thu t ton ci t1.3.4.2. u i m1.3.4.3. Nh c i m

1.3.5. Codebook1.3.5.1. Thu t ton ci t1.3.5.2. u i m1.3.5.3. Nh c i m1.4. PH NG PHP PHT HIN KHUN MT NG I

1.4.1. Tng quan vpht hin ng i


9/26


10/26

- 10 -

Hnh 1.14 S thu t ton xc nh khun m t ng i

Load thnh cnNg c li

Load ima e

Gi hmcvHaarDetectObjects() l n skhun mt c tron ima e

i = 0

n > 0

Ng c li

Vhnh ch nht c vin mu cho tng khun mt

i < n

i = i +1

Load file d liu haarcascade

Ng c li

Xa tt c i t ng to ra

Chuyn image thnh grey image


11/26


12/26

- 12 -

CH NG 2:NH GI CC THUT TONV XY D NG CC CH C NNG CHNH

2.1. NH GI CC THUT TON2.1.1. Cc thut ton tr nn pht hin i t ng

Hnh 2.1 K t qu v i Frame Difference trn Video1

Hnh 2.2 K t qu v i Running Gaussian Average trn Video1


13/26

- 13 -

Hnh 2.3 K t qu v i Codebook trn Video1

2.1.2. Thut ton pht hin khun mt ng i B ng 2.2 K t qu ch y thu t ton xc nh khun m t

Tnnh Kchth c nh

Sng idectect

Sng ith c

chnhxc

Image 1.jpg 768x510 14 13 93%

Image 2.jpg 810 x 538 11 11 100%

Image 3.jpg 640x480 0 0 100%

Image 4.jpg 525x410 10 9 90%

Image 5.jpg 768x511 21 17 80%


14/26

- 14 -

Hnh 2.14 K t qu xc nh khun m t v i Image22.1.3. Cc ph ng php theo vt i t ng

on Video1.avi c 1220 frame kch th c 320x240, c 2ng i ang i qua li trong phng v c khun mt h ng v pha

camera v i nh sng va phi ca n in. Kt qu ca theo vt c th hin nh Hnh 2.18 v Hnh 2.19. V video ny c quayng v i iu kin t ra ca bi ton (camera cchi t ng dichuyn mt khong cch c nh, nh sng trong phng va ) nnchnh xc ca vic theo vt ca 2 ph ng php hon ton gingnhau.

Hnh 2.18 K t qu theo v t v i Meanshift trn Video1


15/26

- 15 -

Hnh 2.19 K t qu theo v t v i Camshift trn Video1

2.2. XY D NG CC CH C NNG CHNHTrong ch ng trnh m ta thit k, d liu c x l s l

on video c quay tmt camera t nh, ghi li v i chun AVI v i

iu kin nh sng tt v nn khng thayi. Nu d liu cdng cho vic cnh bo ng i hoc theo vt khun mt th cameras c t tr c ca ra vo sao cho c th thu c cc khun mtt pha tr c (khong cch t cameran khun mt khong 2-5m).Nu d liu c dng cho vic m s ng i th camera c tv i mt khong cch c nh (khong 2m) so v i nn nh ti ca ravo ca mt ta nh. T d liu video, ch ng trnh cung cp mtcc chc nng sau:

- Thc hin cnh bo bng m thanh thng bo cho ng idng khi pht hin khun mt ng i trong video.

- Pht hin v theo vt mt khun mt ng i trong video.- Thng k s l ng ng i i vo v ra khi to nh trong

video.2.2.1. Ch c nng cnh bo bng m thanh

2.2.1.1. M t ch c n ngH thng cung cp chc nng pht hin khun mt ng i v

cnh bo bng m thanh gip cho ng i dng c thpht hin cc k l t nhp vo ta nh.


16/26

- 16 -

2.2.1.2. Thu t ton x l

Hnh 2.25 Thu t ton x l cho ch c n ng c nh bo

c gi tr tng frame t video file hoc camera

c gi tr ca frame vlu vo trong bin image

Play tp tin alarm.wavcnh bo

Ng c li

rame != NULL

Ng c li

C ng i xut hin

Hy cci t ng to

Gi hmdetectface() pht hin vnh dukhun mt ng i


17/26

- 17 -

2.2.1.3. K t qu on video Video1.avi c 200 frame kch th c 320x240 v

c 2 ng i ang ni chuyn, 1 ng i c khun mt h ng v phacamera v i nh sng trong phng ca n in. Ch ng trnh c th pht hin ra khun mt ca c giang h ng v pha camera nh Hnh 2.26.

Hnh 2.26 K t qu c nh bo v i Video1

2.2.2. Ch c nng theo vt khun mt ng i

2.2.2.1. M t ch c n ng

Mt trong cc chc nng tip theo ca ch ng trnh l chcnng theo vt khun mt ng i trong video. Chc nng ny gipcho ng i s dng c th theo di s xut hin ca khun mt mtng i no trong ton b on video c quay li hoc theo ditrc tip thng qua camera.

2.2.2.2. Thu t ton x l


18/26

- 18 -

Hnh 2.30. Thu t ton theo v t m t khun m t 2.2.2.3. K t qu

on video Video1.avi c 1083 frame kch th c 640x360 vc 1 ng i ang ni khun mt h ng vpha camera v i nh sngca n in. Ch ng trnh c thpht hin ra khun mt ca ng i v thc hin vic theo di khun mt trong ton b video nh Hnh 2.31.

c d liu t video/camera

frame = 0

Pht hin khun mt trong frame

Ng c li

Theo vt khun mt v i Meanshift

Ng c li frame < tng s frame

trong video

Ly khun mt u tin c c

Ng c li

Skhun mt > 0


19/26


20/26

- 20 -

- V i mi i t ng di chuyn (connected component) s c nh du b i mt hnh ch nht mu vng v mtdng mu xcnh h ng di chuyn ca i t ng

B c 3: Da vo kt qu h ng di chuyn ca i t ng trongB c 2, ta c th tnh tng c s l ng i vo v ra khi tanh.

2.2.3.3. K t qu on video Video1.avi c 2946 frame v i kch th c

384x288 v c 34 ng i ln l t i qua ca ra vo v i nh sng bnhth ng. Kt qu ca vic m s ng i c th hin nh Hnh2.36.

Hnh 2.36 K t qu m ng i v i Video1


21/26


22/26

- 22 -

Hnh 3.3. Ch c n ng theo v t khun m t ng i

Hnh 3.4. Ch c n ng m s ng i i vo ta nh3.3. IU KIN RNG BUC CA CH NG TRNH

ch ng trnh c thhot ng v cho kt qu chnh xc thcn phi tha mn mt s iu kin sau:

- Nn ca video khng c thayi


23/26

- 23 -

- Camera c dngquay video phi t v tr c nh, pha trn ca ra vo v khong cch v i ng i duy chuynkhong 1.5mn 2mi v i chc nng m ng i ra vota nh

- Camera c dngquay video phi t v tr c nh v pha tr c khun mt ca ng i ra vo v i khong cchkhong 0.5mn 1m i v i chc nng cnh bo ng ibng m thanh

-

nh sng trong video phi n nh, khng qu ti hoc qusng th cc chc nng s lm vic chnh xc h n.- Ch ng trnh s lm vic chnh xc h n v i cc video mu.

3.4. NH GI KT QU CH NG TRNHSau khi thc nghim trn khong 40 video mu, nu ch ng

trnh hot ng nh cc iu kin rng buc ch ng 3.3 th n s

mang li chnh xc kh cao.- chnh xc ca chc nng cnh bo bng m thanh

khong 90%- chnh xc ca chc nng theo vt khun mt khong

80%

- chnh xc ca chc nng m s ng i ra vo ta nhkhong 88%

T kt qu ny, ta c th thy rng ch ng trnh c kh nng trin khai trong thc t. Tuy nhin, trong t ng lai ch ng trnhcn c mt sci tin thm tng chnh xc ca cc chc nngh n na.


24/26

- 24 -

KT LUN V H NG PHT TRIN1. Kt lun

V m t l thuy t- Tm hiu v s dng thnh tho th vin OpenCV trn nn

Microsoft Visual Studio 2008.

- Tm hiu c cc khi nim c bn vvideo v camera s.- Tm hiu c cc thut ton v pht hin chuyn ng

bng ph ng php tr nn: Frame Differrence, RunningGausian Average v Codebook.

- Tm hiu c ph ng php pht hin khun mt ng ibng k thut Haar kt h p AdaBoost.

- Tm hiu c cc ph ng php theo vt: Meanshift,Camshift.

-

Tm hiu c cch thc m c s l ng ng i ra votrong mt ta nh. V m t th c ti nVc bn, ti hon thnh c cc chc nng c t

ra nh yu cu banu nh:- Pht hin c phn chuyn ng qua tng frame ca video.

- Pht hin v nh du thnh cng tt c cc khun mtng i trongnh t nh bng vic kt h p gia ccc trngHaar-like v i bphn loi mnh AdaBoost.

- Hon thnh chc nng cnh bo ng i bng cch s dngm thanh.

- Hon thnh c chc nng theo vt khun mt ca mtng i trong trong video gip ch cho vic theo di cng nh


25/26

- 25 -

lu d liu khun mt nhm to c s d liu phc v chovic nhn dng ng i t ng sau ny.

-

Hon thnh c chc nng m sng i ra vo ta nh t d liu video thu c thng qua camera, gip ch cho victhng k skhch hng vo giao dch ti ca hng.

- S dng thnh cng cc cng c phc v cho vic x lvideo nh Motion Video, FLV Converterchuyn i ccnh dng video khc nhau v nh dng AVI d dng

cho vic thao tc bng th vin OpenCV.2. Phm vi ng dng

ti c th c ng dng trong cng tc bo mt ti ccca hng cng ty, gip tit kim c chi ph thu bo v v hiuqu kh co trong vic pht hin chuyn ng, theo di v nhndng ng i chuyn ng t d liu video.

Bn cnh ti cn to nn tng cho nhng nghin cu v cm quan my tnh ni ring v x lnh ni chung trong t ng lai.3. Hn ch

Bn cnh nhng kt qu t c, ti vn cn c mt s hn chcn phi c khc phc nh:

- Tc x l ca ch ng trnh cn chm khi x l nhngvideo cphn gii cao v kch th c l n.

- Vic pht hin khun mt ng i c th b sai trong tr ngh p mt s i t ng trong video c hnh dng gn gingv i khun mt ng i.


26/26

- 26 -

- Chc nng m s ng i ra vo ch m da trn chiu dichuyn ca cci t ng chuyn ng ra vo, khng phnbit l ng i hay l vt.

4. H ng pht trinTrong qu trnh thc hin ti, do nhng hn chv trnh

v th i gian thc hin ti c hn, ch ng trnh c xy dng ch l phn demo cc thut ton pht hin chuyn ng, pht hin khunmt v theo vt i t ng da vo video.trin khai trong thc t

ni hi cn phi ci tin h n na. Hy vng trong t ng lai, nhngpht trin d i y sgipti hon thin h n.- Kt h p vic pht hin khun mt v i vic pht hin mt,

pht hin hnh dng ca con ng i.- Xy dng c thut ton ci thin cht l ng ca video

nh loi tr nhiu, loi tr bong v ti u ha cc thut ton

tng tc ca ch ng trnh.- H tr cc ty chn gip ng i dng c th iu chnh

khong cch gia camera vi t ng ty thuc vo cutrc ca ta nh m hs dng t camera quan st.

- X l c vic che lp i t ng nhm to kt qu chnhxc cao h n cho cho chc nng theo di khun mt ng i.

- M rng thm thut ton Camshiftc th theo di cnhiu i t ng trong video cng lc v thc hin m ctng s ng i xut hin trong video thng qua chc nngny.

- Xy dng c s d liu gip nhn dng khch hng mtcch t ng thng qua khun mt.

phat hien va theo vet nguoi

Documents