phathienkhuonmat trong anh 0226

8/17/2019 Phathienkhuonmat Trong Anh 0226

1/68

Khóa lun tt nghi p Tìm hiu mt s ph ng pháp phát hin khuôn mt trong nh

Lê Hng Chuyên _ CT701 Trang: 1

I CM N

Em xin chân thành cm n các thy, các cô khoa Công ngh Thông tin

Tr ng i hc Dân l p Hi Phòng ã tn tình dy d, truyn t cho chúng em

nhiu kin thc quý báu.

Em xin t lòng bit n sâu sc n thy Th.s Ngô Tr ng Giang, ng i ã

n tình giúp và truyn t nhiu kinh nghim tài có th c thc hin

và hoàn thành.

Xin chân thành cm n các bn trong khoa Công Ngh Thông Tin, i Hc

Dân L p Hi Phòng ã giúp , ng viên tôi r t nhiu trong quá trình thc hin

tài.

Em xin trân tr ng cm n!

i Phòng, tháng 07 nm 2007. Sinh viên

Lê Hng Chuyên


2/68



C LCI CM N .................................................................................................... 1 U ........................................................................................................... 4CH NG 1: NG QUAN V PHÁT HI N KHUÔN MT ....................5

1.1. Gi i thiu..............................................................................................51.2. t s l nh vc ng dng phát hin khuôn mt. ...................................51.3. t s ph ng pháp xác nh khuôn mt ng i. ..................................7

1.3.1. ng ti p cn da trên tri thc.....................................................71.3.2. ng ti p cn da trên c tr ng không thay i. ...................... 10

1.3.3. ng ti p cn da trên so kh p mu. ......................................... 131.3.4. ng ti p cn da trên din mo................................................161.3.5. ng ti p cn tng h p .............................................................. 25

1.4. Khó khn và thách thc trong bài toán xác nh khuôn mt................26

CH NG 2: PHÁT HI N KHUÔN MT S D NG ADABOOST......... 282.1. Gi i thiu............................................................................................28

2.1.1. Các h ng ti p cn dò tìm khuôn mt nhanh................................ 282.1.2. ng ti p cn theo AdaBoost.....................................................28

2.2. Trích chn c tr ng cho AdaBoost.................................................... 29

2.3. Thut toán ADABOOST.....................................................................312.4. dò tìm phân tng Adaboost............................................................ 352.5. Hun luyn dò tìm khuôn mt .............................................................38

2.6. Dò tìm khuôn mt ............................................................................... 382.7. Nhn xét .............................................................................................392.7.1. u m ....................................................................................... 392.7.2. Khuyt m.................................................................................39

CH NG 3: PHÁT HI N KHUÔN MT S D NG M NG NRON..403.1. ng quan v mng n ron nhân to ....................................................40

3.1.1. ng n ron sinh hc....................................................................403.1.2. ron nhân to:............................................................................ 413.1.3. Các thành phn ca n ron nhân to:.............................................42

3.1.4. Mô hình c bn ca mng n ron ..................................................433.1.5. Xây dng mng n ron..................................................................443.1.6. Hun luyn mng n ron. ..............................................................45

3.2. Chun b d liu..................................................................................523.2.1. Gi i thiu .....................................................................................52


3/68



3.2.2. Gán nhãn và canh biên các c tr ng khuôn mt .......................... 523.2.3. Tin x lý v sáng và t ng phn trên t p mu hc............54

3.3. Hun luyn dò tìm khuôn mt ............................................................. 563.3.1. Gi i thiu ..................................................................................... 56

3.3.2. Hun luyn dò tìm khuôn mt ...................................................... 563.4. Quá trình dò tìm khuôn mt ................................................................60CH NG 4: CÀI T NG D NG......................................................... 62

4.1. Môi tr ng TEST ............................................................................... 624.2. t s giao din chính........................................................................624.3. t qu ...............................................................................................654.4. Nhn xét ............................................................................................. 66

T LU N...................................................................................................... 67TÀI LIU THAM KHO ................................................................................ 68


4/68



U

Trong nhng nm gn ây, các ng dng v trí tu nhân to ngày càng phát

trin và c ánh giá cao. Mt l nh vc ang c quan tâm ca trí tu nhân

o nhm to ra các ng dng thông minh, có tính ng i ó là nhn dng. i ng cho vic nghiên cu nhn dng cng r t phong phú và a dng. Trong

tài này tôi chn i t ng là khuôn mt, và b c u tiên ca vic nhn dng ó

là phát hin khuôn mt.

Khuôn mt óng vai trò quan tr ng trong quá trình giao ti p gia ng i v i

ng i, và cng mang mt l ng thông tin giàu có, chng hn có th xác nh

gi i tính, tui tác, tr ng thái cm xúc ca ng i ó, ... h n na khi kho sát các

ng nét trên khuôn mt có th bit c ng i ó mun nói gì. Do ó, pháthin là b c tin quan tr ng phc v công vic nhn dng khuôn mt sau

này. Có r t nhiu ph ng pháp phát hin khuôn mt, AdaBoost và mng N -ron

là mt trong nhng ph ng pháp ó.

án c chia ra 4 ch ng: Ch ng 1 s trình bày tng quan v mt s

ph ng pháp phát hin khuôn mt. Ph ng pháp Adaboost và mng N -ron

dùng phát hin khuôn mt c trình bày trong ch ng 2 và 3. Ch ng 4 là

phn cài t ng dng, mt s th nghim dò tìm khuôn mt trong nh, và cui

cùng là k t lun.


5/68



CH NG 1: NG QUAN V PHÁT HIN KHUÔN MT

1.1. Gi i thiu.

H n mt th p k qua có r t nhiu công trình nghiên cu v bài toán

xác nh khuôn mt ng i t nh en tr ng, xám n nh màu nh ngày

hôm nay. Các nghiên cu i t bài toán n gin, mi nh ch có mt khuôn mt

ng i nhìn thng vào thit b thu hình và u t th thng ng trong nh

en tr ng. Cho n ngày hôm nay bài toán m r ng cho nh màu, có nhiu

khuôn mt trong cùng mt nh, có nhiu t th thay i trong nh. Không nhng

y mà còn m r ng c phm vi t môi tr ng xung quanh khá n gin (trong

phòng thí nghim) cho n môi tr ng xung quanh r t phc t p (nh trong t

nhiên) nhm áp ng nhu cu ca thc t. Xác nh khuôn mt ng i (Face Detection) là mt k thut máy tính

xác nh các v trí và các kích th c ca các khuôn mt ng i trong các nh bt

(nh k thut s). K thut này nhn bit các c tr ng ca khuôn mt và b

qua nhng th khác, nh: tòa nhà, cây ci, c th, …

1.2. t s l nh v c ng dng phát hin khuôn mt.

Phát hin khuôn mt ã c ng dng trong r t nhiu l nh vc:

- thng t ng tác gia ng i và máy: giúp nhng ng i b tt hoc

khim khuyt có th trao i. Nhng ng i dùng ngôn ng tay có th giao

ti p v i nhng ng i bình th ng. Nhng ng i b bi lit thông qua mt

ký hiu nháy mt có th biu l nhng gì h mun, …. ó là các bài

toán u b ca bàn tay (hand gesture), u b khuôn mt, …

- Nhn dng ng i A có phi là ti phm truy nã hay không? Giúp c quan

an ninh qun lý tt con ng i. Công vic nhn dng có th trong môi

tr ng bình th ng cng nh trong bóng ti (s dng camera hng ngoi).

- thng quan sát, theo dõi và bo v. Các h thng camera s xác nh

âu là con ng i và theo dõi con ng i ó xem h có vi phm gì không, ví

xâm phm khu vc không c vào, ….


6/68



- u tr (rút tin ATM, bit ai rút tin vào th i m ó), hin nay có

tình tr ng nhng ng i b ng i khác ly mt th ATM hay mt mã s PIN

và nhng ng i n c p này i rút tin, hoc nhng ng i ch th i rút tin

nhng li báo cho ngân hàng là mt th và mt tin. Các ngân hàng có nhu

u khi có giao dch tin s kim tra hay lu tr khuôn mt ng i rút tin sau ó i chng và x lý.

- Th cn c c, chng minh nhân dân (Face dentification).

- u khin vào ra: vn phòng, công ty, tr s , máy tính,…. K t h p thêm

vân tay và hc mt. Cho phép nhân viên c ra vào n i cn thit, hay mi

ng i s ng nh p máy tính cá nhân ca mình mà không cn nh tên

ng nh p cng nh mt khu mà ch cn xác nh thông qua khuôn mt.

- An ninh sân bay, xut nh p cnh (hin nay c quan xut nh p cnh M ãáp dng). Dùng xác thc ng i xut nh p cnh và kim tra có phi là

nhân vt khng b không.

- ng lai s phát trin các loi th thông minh có tích h p sn c tr ng

a ng i dùng trên ó, khi bt c ng i dùng khác dùng truy c p hay

lý ti các h thng s c yêu cu kim tra các c tr ng khuôn mt

so v i th bit nay có phi là ch th hay không.

- Tìm kim và t chc d liu liên quan n con ng i thông qua khuôn mtng i trên nhiu h c s d liu lu tr tht l n, nh internet, các hãng

truyn hình, …. Ví d: tìm các n video có tng thng Bush phát biu,

tìm các phim có din viên Thành Long óng, tìm các tr n á banh có

Ronaldinho á.

- Phân loi trong lu tr hình nh trong n thoi di ng. Thông qua bài

toán xác nh khuôn mt ng i và trích c tr ng, r i da vào c tr ng

này s p x p, lu tr , giúp ng i s dng d dàng truy tìm khi cn thit.

- Kim tra tr ng thái ng i lái xe có ng gt, mt t p trung hay không, và h

tr thông báo khi cn thit.

- Phân tích cm xúc trên khuôn mt.


7/68



- t s hãng sn xut máy ch p nh ã ng dng bài toán xác nh khuôn

t ng i vào máy ch p nh th h m i cho k t qu hình nh p h n.

1.3. t s ph ng pháp xác nh khuôn mt ng i.

Có nhiu nghiên cu tìm ph ng pháp xác nh khuôn mt ng i, t nhxám n ngày nay là nh màu. Da vào tính cht ca các ph ng pháp xác nh

khuôn mt ng i trên nh, chúng ta có th phân chia các ph ng pháp này thành

n h ng ti p cn chính:

- ng tip cn d a trên tri th c: Mã hóa các hiu bit ca con ng i v

các loi khuôn mt ng i thành các lut. Thông th ng các lut mô t

quan h ca các c tr ng.

- ng tip cn d a trên c tr ng không thay i: Mc tiêu các thuttoán i tìm các c tr ng mô t cu trúc khuôn mt ng i mà các c tr ng

này s không thay i khi t th khuôn mt, v trí t thit b thu hình hoc

u kin ánh sáng thay i.

- ng tip cn d a trên so kh p mu: Dùng các mu chun ca khuôn

t ng i (các mu này c chn la và lu tr ) mô t cho khuôn mt

ng i hay các c tr ng khuôn mt (các mu này phi chn làm sao cho

tách bit nhau theo tiêu chun mà các tác gi nh ra so sánh).

- ng tip cn d a trên din mo: Trái ng c hn v i so kh p mu,

các mô hình hc ây c hc t mt t p nh hun luyn cho tr c. Sau

ó h thng s xác nh khuôn mt ng i. Mt s tác gi còn gi h ng

ti p cn này là h ng ti p cn theo ph ng pháp hc.

1.3.1. ng tip cn d a trên tri th c.

Trong h ng ti p cn này, các lut s ph thuc r t l n vào tri thc ca

nhng tác gi nghiên cu v bài toán xác nh khuôn mt ng i. ây là h ng

ti p cn dng top-down. D dàng xây dng các lut c bn mô t các c

tr ng ca khuôn mt và các quan h t ng ng. Ví d, mt khuôn mt th ng

có hai mt i xng nhau qua tr c thng ng gia khuôn mt và có mt mi,

t ming. Các quan h ca các c tr ng có th c mô t nh quan h v

khong cách và v trí. Thông th ng các tác gi s trích c tr ng ca khuôn


8/68


9/68



n mn” hay “làm rõ dn” gim s l ng tính toán trong x lý. Mc dù t l

chính xác cha cao, nhng ây là tin cho nhiu nghiên cu sau này.

Hình 1-2: t loi tri tr c ca ng i nghiên cu phân tích trên khuôn mt.

Kotropoulos và Pitas a mt ph ng pháp dùng trên phân gii th p.

Hai ông dùng ph ng pháp chiu xác nh các c tr ng khuôn mt. Kanade

ã thành công v i ph ng pháp chiu xác nh biên ca khuôn mt. V i

I(x,y) là giá tr xám ca mt m trong nh có kích th c m x n ti v trí

(x,y), các hàm chiu nh theo ph ng ngang và thng ng c nh ngh a

nh sau:

∑ −= ),()( 1 y x I x HI n y và ∑ −= ),()( 1 y x I yVI m x (1.1)

Hình 1-3: Ph ng pháp chiu:

(a) nh ch có mt khuôn mt và hình nn n gin;(b) nh ch có mt khuôn mt và hình nn phc t p;

(c) nh có nhiu khuôn mt

a trên biu hình chiu ngang, có hai cc tiu cc b khi hai ông xét

quá trình thay i c ca HI, ó chính là cnh bên trái và phi ca hai bên

u. T ng t v i hình chiu dc VI, các cc tiu cc b cng cho ta bit v trí

ming, nh mi, và hai mt. Các c tr ng này xác nh khuôn mt.


10/68


11/68



c trích bng ph ng pháp xác nh cnh. Trên c s các c tr ng này, xây

ng mt mô hình thng kê mô t quan h ca các c tr ng này và xác nh

tn ti ca khuôn mt trong nh. Mt vn ca các thut toán theo h ng

ti p cn c tr ng cn phi u chnh cho phù h p u kin ánh sáng, nhiu, và

che khut. ôi khi bóng ca khuôn mt s to thêm cnh m i, mà cnh này lirõ h n cnh tht s ca khuôn mt, vì th nu dùng cnh xác nh s g p khó

khn.

1.3.2.1. Các c tr ng khuôn mt

Sirohey a mt ph ng pháp xác nh khuôn mt t mt nh có hình nn

phc t p. ây là ph ng pháp da trên ng biên, dùng ph ng pháp Candy

và heuristics loi b các cnh còn li duy nht mt ng bao xung quanh

khuôn mt. Mt hình ellipse dùng bao khuôn mt, tách bit vùng u và hìnhn. T l chính xác ca thut toán là 80%.

Cng dùng ph ng pháp cnh nh Sirohey, Chetverikov và Lerch dùng

t phong pháp da trên blob và streak (hình dng git n c và sc xen k ),

xác nh theo h ng các cnh. Hai ông dùng hai blob ti và ba blob sáng

mô t hai mt, hai bên gò má, và mi. Mô hình này dùng các treak mô t hình

dáng ngoài ca khuôn mt, lông mày, và môi. Dùng nh có phân gii th p

theo bin i laplace xác nh khuôn mt thông qua blob.

Graf a ra mt ph ng pháp xác nh c tr ng r i xác nh khuôn mt

trong nh xám. Dùng b lc làm ni các biên, các phép toán hình thái hc

c dùng làm ni bt các vùng có c ng cao và hình dáng chc chn

(nh mt). Thông qua biu tìm các nh ni bt r i xác nh các ng ng

chuyn nh xám thành hai nh nh phân. Các thành phn dính nhau u xut

hin trong hai nh nh phân thì c xem là vùng ca ng viên khuôn mt r i

phân loi xem có phi là khuôn mt không. Ph ng pháp c kim tra trên các

nh ch có u và vai ca ng i. Tuy nhiên còn có mt vn ây là làm sao s dng các phép toán hình thái và làm sao xác nh khuôn mt trên các vùng

ng viên.


12/68



1.3.2.2. c tr ng k t cu

Khuôn mt con ng i có nhng k t cu riêng bit mà có th dùng

phân loi so v i các i t ng khác. Augusteijn và Skufca cho r ng hình dng

a khuôn mt dùng làm k t cu phân loi, gi là k t cu ging khuôn mt

(face-like texture). Có ba loi c tr ng c xem xét: màu da, tóc, và nhng

th khác. Hai ông dùng mng n -ron v mi t ng quan cascade cho phân loi

có giám sát các k t cu, và mt ánh x c tr ng t t chc Kohonen gom

nhóm các l p k t cu khác nhau. Hai tác gi xut dùng ph ng pháp bu c

khi không quyt nh c k t cu a vào là k t cu ca da hay k t cu ca

tóc.

Dai và Nakano dùng mô hình SGLD xác nh khuôn mt ng i. Thông

tin màu sc c k t h p v i mô hình k t cu khuôn mt. Hai tác gi xây dngthut gii xác nh khuôn mt trong không gian màu, v i các phn ta màu cam

xác nh các vùng có th là khuôn mt ng i. u m ca ph ng pháp này

là có th xác nh khuôn mt không ch ch p thng và có th có râu và có kính.

Mark và Andrew dùng phân b màu da và thut toán DoG (Difference of

Gauss) tìm các ng viên, r i xác thc bng mt h thng hc k t cu ca

khuôn mt. Manian và Ross dùng bin i wavelet xây dng t p d liu k t

u ca khuôn mt trong nh xám thông qua nhiu phân gii khác nhau, k t

p xác sut thông kê xác nh khuôn mt ng i. T l chính xác là 87%, t

xác nh sai là 18%.

1.3.2.3. c tr ng sc màu ca da

Thông th ng các nh màu không xác nh tr c ti p trên toàn b d liu

nh mà th ng dùng tính cht sc màu ca da ng i (khuôn mt ng i) chn

ra c các ng viên có th là khuôn mt ng i (lúc này d liu ã thu h p áng

) xác nh khuôn mt ng i.

1.3.2.4. a c tr ng

n ây có nhiu nghiên cu s dng các c tr ng toàn cc nh: màu da

ng i, kích th c, và hình dáng tìm các ng viên khuôn mt, r i sau ó s

xác nh ng viên nào là khuôn mt thông qua các c tr ng cc b nh: mt,


13/68



lông mày, mi, ming, và tóc. Tùy mi tác gi s s dng t p c tr ng khác

nhau.

Yachida a ra mt ph ng pháp xác nh khuôn mt ng i trong nh

màu bng lý thuyt logic m . Ông dùng hai mô hình m mô t phân b màu

da ng i và màu tóc trong không gian màu CIE XYZ. Có nm mô dùng mô hình dáng ca mt trong nh (mt thng và bn xoay xung quanh). Mi mô

hình là mt mu 2-chiu bao gm các ô vuông có kích th c m x n, mi ô có th

cha nhiu h n mt m nh. Hai thuc tính c gán cho mi ô là: t l màu

da và t l tóc, ch ra t l din tích vùng da trong ô so v i din tích ca ô. Mi

m nh s c phân loi thành tóc, khuôn mt, tóc/khuôn mt, và tóc/nn trên

s phân b ca mô hình, theo cách ó s có c các vùng ging khuôn mt

và ging tóc. Mô hình hình dáng ca u s c so sánh v i vùng ging khuôn

t và ging tóc. Nu t ng t, vùng ang xét s tr thành ng viên khuôn mt,

sau ó dùng các c tr ng mt-lông mày và mi-ming xác nh ng viên

nào s là khuôn mt tht s.

Sobottka và Pitas dùng các c tr ng v hình dáng và màu sc xác nh

khuôn mt ng i. Dùng mt ng ng phân n trong không gian màu HSV

xác nh các vùng có th là màu da ng i. Các thành phn dính nhau s c

xác nh bng thut toán tng vùng phân gii thô. Xem xét tin ng viên

nào va kh p hình dng ellipse s c chn làm ng viên ca khuôn mt. Sauó dùng các c tr ng bên trong nh: mt và ming, c trích ra trên c s các

vùng mt và ming s ti h n các vùng khác ca khuôn mt, sau cùng phân loi

a trên mng n -ron bit vùng ng viên nào là khuôn mt ng i và vùng

nào không phi khuôn mt ng i. T l chính xác là 85%.

1.3.3. ng tip cn d a trên so kh p mu.

Trong so kh p mu, các mu chun ca khuôn mt (th ng là khuôn mt

c ch p thng) s c xác nh tr c hoc xác nh các tham s thông quat hàm. T mt nh a vào, tính các giá tr t ng quan so v i các mu chun

ng vin khuôn mt, mt, mi và ming. Thông qua các giá tr t ng quan

này mà các tác gi quyt nh có hay không có tn ti khuôn mt trong nh.


14/68



ng ti p cn này có l i th là r t d cài t, nhng không hiu qu khi có s

thay i v t l, t th, và hình dáng.

1.3.3.1. Xác nh mu tr c

Sakai ã c gng th xác nh khuôn mt ng i ch p thng trong nh.Ông dùng vài mu con v mt, mi, ming, và ng vin khuôn mt mô

hình hóa mt khuôn mt. Mi mu con c nh ngh a trong gi i hn ca các

n thng. Các ng thng trong nh c trích bng ph ng pháp xem xét

thay i gradient nhiu nht và so kh p các mu con. u tiên tìm các ng viên

thông qua mi t ng quan gia các nh con và các mu v ng vin. Sau ó,

so kh p v i các mu con khác. Hay nói mt cách khác, giai n u xem nh

là giai n s ch tìm ng viên, giai n th hai là giai n tinh ch

xác nh có tn ti hay không mt khuôn mt ng i. Ý t ng này c duy trìcho n các nghiên cu sau này.

Craw a ra mt ph ng pháp xác nh khuôn mt ng i da vào các mu

hình dáng ca các nh c ch p thng (dùng v b ngoài ca hình dáng

khuôn mt). u tiên dùng phép lc Sobel tìm các cnh. Các cnh này s

c nhóm li theo mt s ràng buc. Sau ó, tìm ng vin ca u, quá trình

ng t c l p i l p li v i mi t l khác nhau xác nh các c tr ng

khác nh: mt, lông mày, và môi. Sau ó Craw mô t mt ph ng thc xác nh

dùng mt t p có 40 mu tìm các c tr ng khuôn mt và u khin chin

c dò tìm.

Sinha dùng mt t p nh các bt bin nh trong không gian nh mô t

không gian các mu nh. T t ng chính ca ông da vào s thay i mc

sáng ca các vùng khác nhau ca khuôn mt (nh hai mt, hai má, và trán),

quan h v mc sáng ca các vùng còn li thay i không áng k . Xác nh

các c p t s ca mc sáng ca mt s vùng (mt vùng ti h n hay sáng h n)

cho ta mt l ng bt bin khá hiu qu. Các vùng có sáng u c xem nht mu t s mà là mu thô trong không gian nh ca mt khuôn mt v i

thích h p ít dùng chn nh các c tr ng chính ca khuôn mt nh hai mt,

hai má, và trán. Lu gi thay i sáng ca các vùng trên khuôn mt trong

t t p thích h p v i các c p quan h sáng h n – ti h n gia các vùng nh.


15/68



t khuôn mt c xác nh khi mt nh phù h p tt c các c p sáng h n – ti

n. Ý t ng này xut phát t s khác bit ca c ng gia các vùng k cc

, sau này c m r ng trên c s bin i wavelet biu din cho xác nh

ng i i b, xác nh xe h i, xác nh khuôn mt. Ý t ng ca Sinha còn c

áp dng cho h thng th giác ca robot. Hình 1-5 cho thy mu ni bt trong 23quan h c nh ngh a. Dùng các quan h này phân loi, có 11 quan h

thit yu (các mi tên màu en) và 12 quan h xác thc (các mi tên xám). Mi

i tên là mt quan h. Mt quan h tha mãn mu khuôn mt khi t l gia hai

vùng v t qua mt ng ng và 23 quan h này v t ng ng thì xem nh xác

nh c mt khuôn mt.

Ph ng pháp so kh p mu theo th t xác nh khuôn mt ng i do

Miao trình bày. giai n u tiên, nh s c xoay t -20o n 20o v i mi

c là 5o và theo th t. Xây dng nh a phân gii, hình 1-1, r i dùng phép

toán Laplace xác nh các cnh. Mt mu khuôn mt gm các cnh mô t sáu

thành phn: hai lông mày, hai mt, mt mi, và mt ming. Sau ó áp dng

heuristic xác nh s tn ti ca khuôn mt trong nh, ph ng pháp này cho

phép xác nhiu khuôn mt, nhng k t qu không tt bng xác nh mt khuôn

t (ch p thng hoc xoay) trong nh xám.

Hình 1-5: u khuôn mt, có 16 vùng và 23 quan h (các mi tên).Wei và Lai dùng b lc phân n k t h p thut toán tìm láng ging gn

nht xác nh ng viên khuôn mt, t ng viên này sau ó so kh p v i các mu

ã xác nh tr c bit ng viên có phi là khuôn mt hay không. T l chính

xác là 80%.


16/68



Darrell dùng phân n tìm ng viên, dùng ng viên này xác nh

khuôn mt ng i da vào mu r i theo vt chuyn ng ca ng i.

Dowdall dùng ph ca màu da ng i xác nh ng viên. Sau ó chiu

các ng viên này so sanh v i các mu có tr c xác nh ng viên nào là

khuôn mt ng i. Ph ng pháp này ch xác nh cho khuôn mt ch p thng vàn thng, góc quay khong t -10o n 10o .

1.3.3.2. Các mu b bin dng

Yuille dùng các mu bin dng mô hình hóa các c tr ng ca khuôn

t, mô hình này có kh nng linh hot cho các c tr ng khuôn mt. Trong

ng ti p cn này, các c tr ng khuôn mt c mô t bng các mu c

tham s hóa. Mt hàm nng l ng (giá tr ) c nh ngh a liên k t các cnh,

nh, và thung lng trong nh t ng ng v i các tham s trong mu. Mô hìnhnày cho k t qu tt khi ti gin hàm nng l ng qua các tham s. Mt hn ch

a h ng ti p cn này là các mu bin dng phi c kh i to trong phm vi

n các i t ng xác nh.

Lanitis mô t mt ph ng pháp biu din khuôn mt ng i v i c hai thông

tin: hình dáng và c ng . Ban u, t p nh c hun luyn v i các ng

vin mu nh là ng bao mt, mi, cm, má c gán nhãn. Dùng mt vector

mô t hình dáng, ây tác gi dùng mt mô hình phân b m (PointDistribution Model – PDM) mô t vector hình dáng qua toàn b các cá th.

1.3.4. ng tip cn d a trên din mo.

Trái ng c v i các ph ng pháp so kh p mu v i các mu ã c nh

ngh a tr c b i nhng chuyên gia, các mu trong h ng ti p cn này c hc

các nh mu. Mt các tng quát, các ph ng pháp theo h ng ti p cn này áp

ng các k thut theo h ng xác sut thng kê và máy hc tìm nhng c

tính liên quan ca khuôn mt và không phi là khuôn mt. Các c tính ã cc trong hình thái các mô hình phân b, hay các hàm bit s có th dùng các

c tính này xác nh khuôn mt ng i. ng th i, bài toán gim s chiu

th ng c quan tâm tng hiu qu tính toán cng nh hiu qu xác nh.

t nh hay mt vector c tr ng xut phát t mt nh c xem nh mt bin

ngu nhiên x, và bin ngu nhiên có c tính là khuôn mt hay không phi


17/68


18/68



i u này là nh riêng, sau ó gi cho n gin là vector riêng ca ma tr n hi p

ph ng sai, c tính t các nh khuôn mt ã vector hóa trong t p hun luyn.

u cho 100 nh, mà mi khuôn mt có kích th c 91x50 thì có th ch dùng 50

nh riêng, trong khi vn duy trì c mt kh nng ging nhau h p.

Turk và Pentland áp dng PCA xác nh và nhn dng khuôn mt. ng t, dùng PCA trên t p hun luyn nh các khuôn mt sinh các nh

riêng (còn gi là eigenface) tìm mt không gian con (không gian khuôn mt)

trong không gian nh. Các nh khuôn mt c chiu vào không gian con này

và c gom nhóm li. T ng t các nh không có khuôn mt dùng hun

luyn cng c chiu vào cùng không gian con và gom nhóm li. Các nh khi

chiu vào không gian khuôn mt thì không b thay i tính cht c bn, trong

khi chiu các nh không có khuôn mt thì xut hin nhiu s khác nhau. Xác

nh s có mt ca mt khuôn mt trong nh thông qua tt c khong cách gia

các v trí trong nh và không gian nh. Khong cách này dùng xem xét có hay

không có khuôn mt ng i, k t qu khi tính toán các khong cách s cho ta mt

n v khuôn mt. Có th xác nh c t cc tiu cc b ca bn này.

Có nhiu nghiên cu v xác nh khuôn mt, nhn dng, và trích c tr ng t ý

ng vector riêng, phân rã, và gom nhóm.

1.3.4.2. ng Neural.

ng n -ron c áp dng khá thành công trong các bài toán nhn dng

u, nh: nhn ký t, i t ng, robot t ng vn hành. Xác nh khuôn mt

ng i có th xem là bài toán nhn dng hai loi mu, có nhiu kin trúc mng

-ron ã c trình bày. Mt thun l i khi dùng mng n -ron xác nh

khuôn mt là tính kh thi ca h thng hc khi có s phc t p trong l p ca các

u khuôn mt. Tuy nhiên, mt u tr ngi là các kin trúc mng u tng

quát, khi áp dng thì phi xác nh rõ ràng s l ng tng, s l ng node, t l

c, …, cho tng tr ng h p c th


19/68



Hình 1-6: Mô hình mng N -ron theo Rowley

Agui trình bày mng n -ron x lý có th t. Giai n u, dùng hai mng

con song song mà d liu vào là các giá tr c ng ca nh ban u và các giá

tr c ng ca nh ã c lc bng thut toán lc Sobel v i ca s lc 3x3.

u vào ca mng giai n hai bao gm d liu u ra t hai mng con và

các giá tr c tr ng ã c trích ra, nh: c tr ng lch chun ca các giá

tr m nh trong mu a vào, mt t l ca s m nh tr ng trên tng s

m nh (ã chuyn sang nh nh phân) trong mt ca s, và c tr ng thit yu

hình hc. Mt giá tr xut ti giai n hai cho bit có tn ti hay không

khuôn mt ng i trong vùng a vào. Qua kinh nghim, tác gi ch ra r ng nu

các nh cùng mt kích th c thì m i dùng ph ng pháp này c.

Propp và Samal phát trin mng n -ron xác nh khuôn mt ng i s m

nht. Mng n -ron ca hai ông gm bn tng v i 1,024 u vào, 256 u k ti p

trong tng n th nht, tám u k ti p trong tng n th hai, và hai u ra.

ng t nh mng n -ron x lý theo th t c a ra sau ó. Ph ng

pháp ca Soulie duyt mt nh a vào v i mng n -ron có th i gian tr (kích

th c ca s là 20x25 m nh) xác nh khuôn mt. Dùng bin i wavelet

phân rã nh các phn có kích th c khác nhau xác nh khuôn mt.

Vaillant dùng mng n -ron dng xon xác nh khuôn mt ng i. u

tiên to các nh mu khuôn mt và không phi khuôn mt có kích th c 20x20.

Dùng mt mng n -ron, mng này ã c hun luyn, tìm các v trí t ng

i ca các khuôn mt các t l khác nhau. R i dùng mt mng khác xác

nh v trí chính xác ca các khuôn mt. Mng u tiên dùng tìm các ng


20/68



viên khuôn mt, r i dùng mng th hai xác nh ng viên nào tht s là

khuôn mt.

Burel và Carel dùng mng n -ron a tng có ít mu h n v i thut toán

Kohenen’s SOM hc các mu khuôn mt và hình nn, mà các mu này ã

c phân loi tr c. Giai n xác nh khuôn mt bao gm duyt trên minh ã c bin i t nh bàn u các phân gii khác nhau. ti mi v

trí và kích th c ca s duyt, u chnh sáng. Mi ca s ã c chun

hóa s c phân loi bng MLP.

Theo ánh giá các ph ng pháp dùng mng n -ron xác nh khuôn mt

ng i ca nhiu tác gi, thì nghiên cu ca Rowley c xem là tt nht i v i

nh xám. Mt mng a tng c dùng hc các mu khuôn mt và không

phi khuôn t các nh t ng ng (da trên quan h c ng , v mt khônggian ca các m nh) trong khi Sung dùng mng n -ron xác nh mt hàm

bit s cho mc ích phân loi mu có phi là khuôn mt hay không da vào

o khong cách. Hai ông cùng s dng nhiu mng n -ron và mt s ph ng

thc quyt nh ci thin k t qu, trong khi Burel và Carel dùng mt mng

n, Vaillant dùng hai mng phân loi. Có hai thành phn chính x lý:

nhiu mng n -ron (xác nh mu nào là khuôn mt) và mt mô un quyt

nh (a ra quyt nh cui cùng t nhiu k t qu xác nh).

Hình 1-7: i din ca mi l p khuôn mt. Mi i din t ng ng tâm cat nhóm.

Hình 1-7, thành phn u tiên ca ph ng pháp này là mt mng n -ron

nhn mt vùng nh có kích th c 20x20 m nh và xut ra mt giá tr trong


21/68



khong t -1 n 1. Khi a vào mt nh, nu k t qu gn -1 thì ngh a là mu

này không phi là khuôn mt ng i, nhng nu k t qu gn 1 thì ây chính là

khuôn mt ng i. xác nh khuôn mt có kích th c l n h n 20x20 m

nh, c chn mt t l duyt, sau ó xác nh, r i li thay i t l (bin thiên

l này do ng i xây dng quyt nh). Gn 1050 mu khuôn mt có kíchth c, h ng, v trí, và c ng khác nhau dùng hun luyn mng. S gán

nhãn cho mt, nh ca mi, góc cnh, và tâm ca ming r i dùng chun hóa

khuôn mt v cùng mt t l, h ng, và v trí. Thành phn th hai là ph ng

pháp tr n các xác nh chng chéo nhau và a ra quyt nh. Phép toán logic

(AND/OR) là mt quyt nh n gin nht và ph ng pháp bu c c dùng

tng tính hiu qu. Rowley a nhiu cách gii quyt bài toán khác nhau v i

chi phí tính toán ít h n Sung và Poggio nhng t l chính xác cao h n. Mt gi i

n ca ph ng pháp ca Rowley và Sung là có th xác nh khuôn mt ch pthng và ta thng (nghiêng u). Sau ó Rowley ci tin có th xác nh

khuôn mt b xoay bng mng nh h ng (Router Network), hình 1-8, s thêm

tin trình xác nh h ng khuôn mt và xoay v li t th chun (ch p thng),

tuy nhiên khi quay li d liu nh trên thì t l chính xác li gim i, ch còn

khong 76.9%.

Hình 1-8: t ví d cho d liu vào và d liu ra ca mng nh h ng.

1.3.4.3. Support Vector Machine (SVM).

Support Vector Machine (SVM) là mt k thut hc c Vapnik xut.Ph ng pháp này r t hiu qu v i t p d liu l n, nhng li g p khó khn khi

n phi mô t li chính xác các khuôn mt ( vì tính bin thiên ca khuôn mt).

Osuna áp dng ph ng pháp này u tiên xác nh khuôn mt ng i.

SVM c xem nh là mt kiu m i dùng hun luyn phân loi theo hàm a


22/68



thc. Trong khi hu ht các ph ng pháp khác dùng hun luyn phân loi

(Mng Bayes, Nueral, RBF) u dùng tiêu chí ti thiu li hun luyn (r i ro do

kinh nghim), trong khi SVM dùng quy n p ( c gi là ti thiu r i ro cu

trúc), mc tiêu là làm ti thiu mt bao bên trên trên li tng quát. Mt phân loi

SVM là mt phân loi tuyn tính, dùng mt mt phng tách d liu. Da trênt k t h p có các tr ng s ca mt t p con nh các vector hun luyn, các

vector này c gi là support vector. c l ng mt phng t ng ng v i

vic gii mt bài toán tuyn tính bc hai. Osuna ã phát trin mt ph ng pháp

hiu qu hun luyn mt SVM v i t l l n áp dng cho bài toán xác nh

khuôn mt ng i. Ông dùng 10,000,000 mu có kích th c 19x19 m nh, h

thng ca ông có t l li ít h n Sung và Poggio, nhng nhanh h n gn 30 ln.

SVM cng có th dùng xác nh khuôn mt ng i và ng i i b v i phân tích

Wavelet.

1.3.4.4. ng lc th a (Sparse Network of Winnows - SNoW).

ây là ph ng pháp do Yang xut, dùng xác nh khuôn mt

ng i v i các c tr ng khác nhau và biu din trong các t th khác nhau, d i

u kin ánh sáng khác nhau. SNoW là mt mng tha dùng các hàm tuyn tính

và dùng lc c p nht lut. Ph ng pháp này thích h p cho hc trong min khi

các c tr ng tim nng to các quyt nh sai khác nhau mà không bit mc

u tiên. T l li là 5.9%, hiu qu cng nh các ph ng pháp khác.

1.3.4.5. AdaBoost

AdaBoost là mt phân loi mnh phi tuyn phc HM(x), c xây dng t

M phân loi yu. Mc tiêu ca Adaboost là hc mt dãy các phân loi yu. Gi

có mt t p N mu hun luyn ã c gán nhãn {(x1,y1), …, (x N,y N)}, v i yi

là nhãn t ng ng ca mu xi ∈ Rn. Tính mt phân b ca các mu hun luyn[w1,…, wN] c p nht trong sut quá trình hc. Sau b c l p m, mu khó phân

loi (xi,yi) có tr ng s m i wi (m), n b c l p th (m+1), mu này s có tmquan tr ng h n. Viola và Jones dùng AdaBoost k t h p cascade xác nh

khuôn mt ng i v i các c tr ng dng Haar wavelet-like. Tc x lý khá

nhanh và t l chính xác h n 80% trên nh xám.


23/68


24/68



HMM gii quyt bài toán nhn dng mu, phi xác nh rõ có bao nhiêu tr ng

thái n u tiên cho hình thái mô hình. Sau ó, hun luyn HMM hc xác sut

chuyn ti p gia các tr ng thái t các mu, mà mi mu c mô t nh mt

chui các quan sát. Mc tiêu hun luyn HMM là cc i hóa xác sut ca quan

sát t d liu hun luyn bng cách u chnh các tham s trong mô hình HMMthông qua ph ng pháp phân n Viterbi chun và các thut toán

Baum Welch. Mt cách tr c quan, có th chia mt mu khuôn mt ng i thành

nhiu vùng khác nhau nh u, mt, mi, ming, và cm. Có th nhn dng mt

u khuôn mt ng i bng mt tin trình xem xét các vùng quan sát theo mt

th t thích h p (t trên xung d i, t trái qua phi). Thay vì tin t ng vào

c chính xác v trí l dùng cho các ph ng pháp da trên so kh p hay

a trên din mo (n i xut hin các c tr ng nh mt và mi cn xác nh v

trí l tt ly c toàn b chi tit ca c tr ng). Mc tiêu ca h ng ti p cnnày là k t h p các vùng c tr ng khuôn mt v i các tr ng thái ca mô hình.

Th ng các ph ng pháp da vào HMM s xem xét mt mu khuôn mt nh

t chui các vector quan sát, v i mi vector là mt dãy các m nh,

hình 1-9a và hình 1-10. Trong quá trình hun luyn và kim tra, mi nh c

quét theo mt th t và mt quan sát c xem nh mt khi các m nh,

hình 1-9a và hình 1-10. Áp dng mt nh h ng theo xác sut chuyn t

tr ng thái này sang tr ng thái khác, hình 1-9b, d liu nh c mô hình hóa

ng phân b Gauss nhiu bin. Mt chui quan sát bao gm tt c giá tr c ng

t mi khi. K t qu xut ra cho bit quan sát thuc l p nào. HMM c

dùng nhn dng khuôn mt ng i và xác nh khuôn mt ng i.


25/68



Hình 1-9: Mô hình Markov n:

(a) các vector quan sát hun luyn cho HMM;(b) nm tr ng thái n.

Hình 1-10: Xác nh khuôn mt bng HMM các tr ng thái, mi tr ng thái licó nhng tr ng thái nh bên trong: tr ng thái trán có ba tr ng thái nh

bên trong; tr ng thái mt có nm tr ng thái nh bên trong.

1.3.5. ng tip cn tng h p

Các các ph ng pháp c chia làm bn phân loi chính theo bn h ng

ti p cn. Tuy nhiên, có nhiu ph ng pháp không hoàn toàn r i vào mt trong

n h ng ti p cn này mà trong nhiu h ng ti p cn khác nhau. Ví d,

ph ng pháp so kh p mu dùng mô hình khuôn mt ng i và các mu con

trích các c tr ng khuôn mt, và sau ó dùng các c tr ng này xác nh

khuôn mt. H n na ph ng pháp da trên tri thc và ph ng pháp so kh p

u không tht s tách bit, t ó có nhiu h ng gii quyt dùng tri thc ca

con ng i nh ngh a các mu khuôn mt ng i.

Kim k t h p các c tr ng láng ging ca khuôn mt xây dng các

u theo các h ng, sau ó dùng k thut xác nh cnh EBM (Edge-like Blob


26/68



Map) theo c ng . Ông xây dng logic m k t h p PCA c l ng t th

các khuôn mt.

Taur và Tao xây dng phân loi neurofuzzy (neuro-fuzzy classifier –

NEFCAR) có o tin cy bit nh nào là khuôn mt ng i. Các ng viên

c chn thông qua phân n màu da.

1.4. Khó khn và thách th c trong bài toán xác nh khuôn mt.

Vic xác nh khuôn mt ng i có nhng khó khn nht nh:

- ng ( pose) ca khuôn mt i v i máy nh, nh: nhìn thng, nhìn

nghiêng hay nhìn t trên xung. Cùng trong mt nh có th có nhiu

khuôn mt nhng t th khác nhau.

- có mt ca các chi tit không phi là c tr ng riêng ca khuôn mtng i, nh: râu quai nón, mt kính, ….

- Các nét mt (facial expression) khác nhau trên khuôn mt, nh: vui, bun,

ngc nhiên, ….

- t ng i b che khut b i các i t ng khác có trong nh.

- u kin nh, c bit là v sáng và cht l ng nh, cht l ng thit b

thu hình.

- Tr c to ca máy nh so v i nh.

- Kích th c khác nhau ca các khuôn mt ng i, và c bit là trong cùng

t nh.

- Nhiu khuôn mt có vùng da dính ln nhau.

Các khó khn trên chng t r ng bt c thut toán nào dùng xác nh

khuôn mt ng i cng s không th tránh khi mt s khim khuyt nht nh.

ánh giá và so sánh các ph ng pháp xác nh mt ng i, ng i ta th ng

a trên các tiêu chí sau:

- l xác nh chính xác là t l s l ng các khuôn mt ng i c xác

nh úng t h thng khi s dng mt ph ng pháp xây dng so v i

l ng khuôn mt ng i tht s có trong các nh (detection rate).


27/68



- l ng xác nh nhm là s l ng vùng trong nh không phi là khuôn

t ng i mà h thng xác nh nhm là khuôn mt ng i (false

positives).

- Th i gian thc hin là th i gian máy tính xác nh khuôn mt ng i

trong nh (running time).


28/68



CH NG 2: PHÁT HIN KHUÔN MT S DNGADABOOST.

2.1. Gi i thiu

Bài toán dò tìm khuôn mt nhanh trên nh là bài toán quan tr ng vì quá

trình nhn dng i t ng s thiu chính xác nu nh thiu b c dò tìm và nh

c i t ng. Bài toán dò tìm khuôn mt nhanh có ý ngh a r t quan tr ng

trong vic nhn dng, theo vt các i t ng chuyn ng trong các n video

hay camera.

2.1.1. Các h ng tip cn dò tìm khuôn mt nhanh

- ng dò tìm khuôn mt trên nh màu da trên s phân tích màu sc ca

vùng da. Mc dù vic x lý khá nhanh nhng h ng này có gi i hn ch

lý trên nh màu và th ng nhy cm v i ánh sáng, th ng ch s dng

làm các b c tin x lý cho các h ng khác.

- ng dò tìm khuôn mt da trên c tr ng bt bin ca khuôn mt

ng i. Thành công nht trong dò tìm khuôn mt ng i trong th i gian thc

là ph ng pháp ASM (Active shape Models).

- ng dò tìm khuôn mt da trên thông tin hình nh gm mng n -ron,

các h ng thng kê (SVM, AdaBoost…). Ph ng pháp SVM và mng -ron cng t c k t qu cao trong th i gian khá nhanh song cng ch

vài nh trong mt giây nên khó có th áp dng trong vic nhn dng th i

gian thc. Riêng ph ng pháp AdaBoost cho k t qu kh quan vì có th

lý n khong 15-20 khung hình trong mt giây.

2.1.2. H ng tip cn theo AdaBoost

- Ph ng pháp dò tìm AdaBoost da trên ý t ng xây dng các b dò tìm

u mc dù chính xác không cao nhng có th i gian x lý r t nhanh.Tuy nhiên khi k t h p các b dò tìm li có th t chính xác cao.

- Ph ng pháp AdaBoost s dng k t h p các c tr ng vn d tính toán r t

nhanh, thích h p cho vic dò tìm trong th i gian thc.


29/68



- Các b phân loi AdaBoost có th xây dng phân tng v i phc t p x

lý t th p n cao, nhm loi nhanh các ng viên xu (không phi mt

ng i) vn d nhiu h n nhiu các ng viên là mt ngu i cho b phân

loi phc t p h n ch còn li ít ng viên cha b loi.

2.2. Trích chn c tr ng cho AdaBoost

t ph ng pháp chn c tr ng thích h p cho AdaBoost là phép bin i

Haar-like. Phép bin i Haar-like da trên ý t ng r t n gin, c tr ng c

tính bng chênh lch gia tng các min hình hc. Có 3 t p h p min hình

c chính nh sau:

Hình 2-1: Các min hình hc c tr ng Haar-like

Gi s min en là d ng và min tr ng là âm thì c tr ng Haar-let tính

ng tng giá tr pixel các ô en tr cho tng giá tr các pixel các ô tr ng. Cách

tính nhanh ph ng pháp Haar-like da trên o hàm nh bc nht ii(x,y) ca nh

i(x,y). o hàm ii(x,y) ca nh i(x,y) chính là tng giá tr các pixel tính t gctrái trên n (x,y) :

∑∑≤ ≤

= x x y y

y xi y xii' '

)','(),((2.1)


30/68



Hình 2-2: Ý ngh a hình hc ca o hàm nh

Vic tính toán o hàm nh c thc hin r t nhanh bng vic cng ly tíchnh sau:s(x,y) = s(x,y-1) + i(x,y) (2.2)

ii(x,y) = ii(x-1,y) + s(x,y) (2.3)

trong ó s(x,y) là tng ca ct x tính t u dòng n v trí (x,y). Sau khi có c o hàm nh, ta ch vic tính giá tr mt ô ch nht bng cách nh sau:chng hn ô ch nht D ta có val(D) = val(ABCD) – val(AC) – val(AB) +val(A) , do ó nu tính theo ta (x,y) ta có ph ng trình sau:

sr = (ii(x,y) + ii(x-W,y-L)) – (ii(x-W,y) + ii(x,y-L)) (2.4)

Hình 2-3: Cách tính giá tr mt ô c tr ng

Cui cùng, vic tính các c tr ng Haar-like ch còn là tr giá tr tng các ô chnht c tính nh trên.


31/68


32/68



i (M-1) là tr ng s ti th i m M.

Dùng công thc P(y| x,) = P(x| y,) P(y) và cho

),1|(

),1|(log2

1)( ωω−= +== y x P

y x P x L M (2.10)

−=+=

=)1(

)1(log

2

1

y P

y P T (2.11)

chúng ta có c h M (x) = L M (x) – T. LM c hc ra t các mu ca c hai

phân l p. Ng ng T c xác nh bng t l log ca các xác sut tr c ó.

Ta có mt ph ng pháp tính ph ng trình (2.11), ng dng khi hc các phân l p ti u. Vì rút ra mt b phân loi yu trong mt min không gian

nhiu chiu là công vic quan tr ng, sau ây mt mô hình thng kê hc theo

ng giai n da trên vài c m vô h ng. Mt c m vô h ng j a x

c tính bng mt phép bin i t không gian d liu n chiu thành ng

thng thc z j(x) ∈ Z . Mt c m có th là h s, hay nói trong x lý nh là phép bin i vi ba tín hiu. Nu ph ng pháp tìm kim c l ng c s

ng nh phép bin i z j(x) n gin c xem là to th j a x. Mt danh

sách K c m ng c viên có th c to: Z ={ z j(x), …, z K (x)}.

Gi s Z là mt t p r t hoàn chnh, t p các phân l p yu có th có cho bài

toán phân l p yu ti u có th c l p nh sau: Tr c tiên, ti giai n M ,

khi M-1 c m ca z (1) , z (2) , …, z (M-1) ã c chn và tr ng s cho là M-1,

chúng ta có x p x p(x|y, M-1) ) ng cách dùng phân b ca M c m:

p(x|y, M-1 ) p(z (1) , z (2) , …, z (M-1) , z k , |y, M-1

)

(2.12)

= p(z(1)|y, M-1) p(z(2) |y, z(1), M-1)…

p(z (M-1)|y, z (1) , z (2) , …, z (M-2) , M-1

)

p(z k , |y, z (1) , z (2) , …, z (M-1) , M-1

) (2.13)


33/68



i vì Z là t p r t hoàn chnh, phép x p x vn tt i v i t p M l n khi

M c m c chn thích h p.

Ghi chú: p(z m|y, z (1) , z (2) , …, z (m-1) ) thc ra là p(z m|y, (m-1)

) i vì (m) cha

thông tin v toàn b quá trình to và bao gm các thành phn l thuc trên

z (1) , z (2) , …, z (m-1). Vì vy, chúng ra có:

p(x|y, M-1 ) p(z (1)| y, (0)

) p(z (2)

| y, (1) )…

p(z (M-1)| y, (M-2)

) p(z k | y, (M-1)

) (2.14)

t xác sut p(z k | y, (M-1)

) cho phân l p d ng y = +1 và phân l p âm

y = -1 có th phng oán c t histogram tính c qua ánh giá công nhntr ng ca các ví d hun luyn s dng các tr ng s (M-1).

Cho :

),1|(

),1|()(

)1(

)1()(

−

−

−=+=

= M

k

M

k M

k y z P

y z P x L

ωω

, và { }T x L xh M k M

k −= )(21

)( )()( (2.15)

chúng ta rút ra c t p h p các phân l p yu h n nh sau:

{ }k xh x M k M ∀=Γ |)()( )()( (2.16)


34/68



Thut toán AdaBoost0. u vào

(1) p Z = { (x1, y1), (x2, y2),…, (xn, yn)} v i: N = a + b; a là s mu thuc phân l p yi = +1

b là s mu thuc phân l p yi = -1(2) S l p yu ti a Mmax c k t h p

1. Kh i to giá tr

ai 2

1)0( =ω v i mu thuc phân l p yi = +1

ai 2

1)0( =ω v i mu thuc phân l p yi = -1M = 0

2. Suy din tin

While M < Mmax(1) Mß M + 1(2) Chn hm theo biu thc (4)(3) p nht )

)( (exp i M im

i x H y−←ω và chun hóa)(m

iω

∑ =1)(miω3. u ra

∑ == )()( 1 xh sign x H m M

m


35/68



Hình 2-4: Ví d minh ha cho thut toán AdaBoost

2.4. dò tìm phân tng Adaboost

i mt b dò tìm c do ph ng pháp AdaBoost hun luyn c, ta có th

dò tìm v i mt chính xác nht nh và mt tc nht nh. Nu nh cn

phi chính xác cao thì b dò tìm phi bao gm nhiu c tr ng, u ó kéo theoc dò tìm s gim.

u s dng b dò tìm k t h p F={ci} v i nhiu b dò tìm c bn fi khác

nhau cng r i vào tình tr ng t ng t. có c chính xác cao, hoc cn

phi có s l ng l n các b dò tìm, hoc mi b dò tìm cn phi có nhiu c

tr ng, hoc c hai, thì ng th i cng s làm cho tc gim i. Mt h ng

khc phc nh c m này là s dng b dò tìm phân tng T={ti}. B dò tìm

phân tng bao gm nhiu tng, mi tng ti = {c j} là mt b dò tìm k t h p v i s

ng các b dò tìm khác nhau nên có tc và chính xác khác nhau. Khi dòtìm tt c các khuôn mt trong nh, tt c các ca s con W0={wi,j,s} v i các kích

th c s khác nhau ti các ta (i,j) s c kim tra xem có phi là mt ng i

hay không. Qua mi tng ti, W i = ti(Wi-1) trong ó |Wi|


36/68



ng các tng sao cho: càng v sau phc t p ca các tng càng l n trong khi

các tng càng th p thì phc t p càng n gin và phi loi c nhiu ng

viên, nhng t l loi sai phi th p.

Hình 2-5: Minh ho b dò tìm phân tng

Xét mi tng tk = {ci} ta có t l loi sai ca tk c tính nh sau:

∏=

= K

i

i f F 1

(2.17)

Trong ó fi chính là t l loi sai ng v i b dò tìm ci và K chính là s bdò tìm ca tng tk . T ng t, chính xác ca tng tk c tính nh sau :

∏=

= K

i

id D

1

(2.18)

Trong ó di là chính xác ca ng v i b dò tìm ci. ng th i cng v i

cách tính này, ta có th tính c chính xác ca toàn b các tng T={ti} là:

∏ ∏∏ = == ==||

1

||

1

||

1

T

i

t

j

i

j

T

i

i

i

c DG (2.19)

y khi cho tr c mt t l loi sai D và chính xác là F, ta có th hun

luyn tng b phân loi t sao cho t có t l loi sai là D và ô chính xác là F. Và


37/68


38/68



2.5. Hun luyn dò tìm khuôn mt

- liu hun luyn: T p A gm các nh là khuôn mt, t p B gm các nh

không là khuôn mt (B>>A).

- Trích chn các c tr ng ca nh.- Tin hành x lí t p nh hun luyn bng Histogram và nhn dng biên

CANNY

- Áp dng b hun luyn phân tng.

2.6. Dò tìm khuôn mt

Vic dò tìm khuôn mt trong nh qua b phân tng ã hun luyn g p mt

n là s sa s v i các kích th c khác nhau quá l n. khc phc vn

này, ph ng pháp dò theo kin trúc tháp c áp dng nh sau: xét nh s kích

th c (wxh) , step = 0 , h s co scale = 1.2

Ø L p trong khi kích th c (w x h) còn l n h n ca s nh mt ng i hunluyn (w0 x h0):

- Duyt toàn b các v trí (x,y) ca s v i kích th c (w0 x h0) , v i mi v

trí tin hành:

− Áp dng b dò tìm phân tng xác nh có phi mt ng i hay

không− u là mt ng i ti v trí (x,y) thì thc t mt ng i ti v trí

(x*scalestep, y*scalestep) và kích th c ca s là (w0*scalestep,

h0*scalestep)

- Gán w1 = w / scale và h1 = h / scale

- Thu nh nh t kích th c (w x h) n (w1 x h1)

- Gán w = w1 và h = h1

- step = step + 1

Nhn xét :

s co scale quyt nh mn ca các ca s dò tìm, nu nh scale càng

nh (1 ) thì càng có nhiu ca s dò tìm nên càng chính xác h n.


39/68



Áp dng thut toán dò theo kin trúc tháp nh trên ta có th dò tìm tt c

các khuôn mt tt c các v trí, song kích th c dò tìm mi b c nh sau :

- c 1 : kích th c t (w0, h0) n (w0*scale,h0*scale)

- c 2 : kích th c t (w0*scale,h0*scale) n (w0*scale2,h0*scale

2)

- ………….

- c n : kích th c t (w0*scalen-1,h0*scalen-1) n (w0*scale,h0*scale)

2.7. Nhn xét

2.7.1. u m

- Ph ng pháp cho chính xác t ng i cao (trên 90%), tc dò tìm

khuôn mt khá nhanh, thích h p dò tìm khuôn mt trong th i gian thc,

trong video.- Thích h p v i vic hun luyn d liu b nhiu.

- Ph ng pháp trích chn c tr ng thc hin khá nhanh.

2.7.2. Khuyt m

- Thut toán hun luyn khuôn mt thc hin chm do có r t nhiu b phân

loi yu.

- Ch dò tìm c các khuôn mt nhìn thng và góc quay nh

- Không ít các tính cht ca AdaBoost mang tính cht nhn nh và cha

c chng minh cht ch.


40/68



CH NG 3: PHÁT HIN KHUÔN MT DNG MNG N RON.

3.1. ng quan v mng n ron nhân to

3.1.1. ng n ron sinh hc

Sau ây là nhng thành phn chính trong cu trúc ca mt n -ron:

Hình 3-1: Mô hình n -ron sinh hc

- Soma là thân ca n -ron.

- Các dendrites là các dây mnh, dài, gn lin v i soma, chúng truyn d

liu (d i dng xung n th) n cho soma x lý. Bên trong soma các d

liu ó c tng h p li. Có th xem gn úng s tng h p y nh là mt

phép ly tng tt c các d liu mà n -ron nhn c.

- t loi dây dn tín hiu khác cng gn v i soma là các axon. Khác v i

dendrites, axons có kh nng phát các xung n th, chúng là các dây dn

tín hiu t n -ron i các n i khác. Ch khi nào n th trong soma v t

quá mt giá tr ng ng nào ó (threshold) thì axon m i phát mt xung n

th, còn nu không thì nó tr ng thái ngh.- Axon ni v i các dendrites ca các n -ron khác thông qua nhng mi ni

c bit gi là synapse. Khi n th ca synapse tng lên do các xung phát

ra t axon thì synapse s nh ra mt s cht hoá hc (neurotransmitters);

các cht này m "ca" trên dendrites cho các ions truyn qua. Chính


41/68



dòng ions này làm thay i n th trên dendrites, to ra các xung d liu

lan truyn t i các n -ron khác.

- Có th tóm tt hot ng ca mt n -ron nh sau: n -ron ly tng tt c

các n th vào mà nó nhn c, và phát ra mt xung n th nu tng

y l n h n mt ng ng nào ó. Các n -ron ni v i nhau các synapses.Synapse c gi là mnh khi nó cho phép truyn dn d dàng tín hiu qua

các n -ron khác. Ng c li, mt synapse yu s truyn dn tín hiu r t khó

khn.

- Các synapses óng vai trò r t quan tr ng trong s hc t p. Khi chúng ta

c t p thì hot ng ca các synapses c tng c ng, to nên nhiu

liên k t mnh gia các n -ron. Có th nói r ng ng i nào hc càng gii thì

càng có nhiu synapses và các synapses y càng mnh m, hay nói cáchkhác, thì liên k t gia các n -ron càng nhiu, càng nhy bén.

3.1.2. ron nhân to:

Là mt n v tính toán có nhiu u vào và mt u ra, mi u vào n

mt synapse. c tr ng ca n -ron là mt hàm kích hot phi tuyn chuyn

i t h p tuyn tính ca tt c các tín hiu u vào thành tín hiu u ra. Hàm

kích hot này m bo tính cht phi tuyn cho tính toán ca mng n -ron.

Hình 3-2: Mô hình mt n -ron nhân to


42/68



3.1.3. Các thành phn ca n ron nhân to:

3.1.3.1. Synapse:

Là mt thành phn liên k t gia các n -ron, nó ni u ra ca n -ron l p

này v i u vào ca mt n -ron trong l p khác. c tr ng ca synapse là mttr ng s mà mi tín hiu i qua u c nhân v i tr ng s này. Các tr ng s

synapse chính là các tham s t do bn ca mng n -ron, có th thay i

c nhm thích nghi v i môi tr ng xung quanh.

3.1.3.2. cng

cng tính tng các tín hiu u vào ca n -ron, ã c nhân v i

các tr ng s synapse t ng ng, phép toán c mô t ây to nên mt b h p

tuyn tính.3.1.3.3. Hàm truyn (hàm kích hot):

Hàm kích hot hay còn gi hàm kích hot phi tuyn, chuyn i mt t

p tuyn tính ca tt c các tín hiu u vào thành tín hiu u ra. Hàm kích

hot này m bo tính cht phi tuyn cho tính toán mng n -ron. Nó c xem

nh là mt hàm gi i hn, nó gi i hn phm vi biên cho phép tín hiu u ra

trong mt khong giá tr hu hn. Mt s hàm truyn (kích hot ) c bn trong

ng n -ron c trình bày bng 3.1.v ng n -ron nhân to :

Là mt h thng bao gm nhiu phn t x lý n gin (hay còn gi là

-ron) ta nh n -ron thn kinh ca não ng i, hot ng song song và c

i v i nhau b i các liên k t n -ron. Mi liên k t kèm theo mt tr ng s nào ó,

c tr ng cho tính kích hot hoc c ch gia các n -ron.

Có th xem các tr ng s là ph ng tin lu tr thông tin dài hn trong

ng n -ron và nhim v ca quá trình hun luyn (hc) ca mng là c p nhtcác tr ng s khi có thêm thông tin v mu hc, hay nói mt cách khác, các tr ng

u c u chnh sao cho dáng u vào ra ca mng s mô phng hoàn

toàn phù h p v i môi tr ng ang xem xét.


43/68



ng 3.1: Mt s hàm kích hot.

Tên hàm Công thc1. hardlim a = 0 v i n < 0

a = 1 v i n ≥ 0

2. hardlims a = -1 v i n < 0a = 1 v i n ≥ 03. purelin a = n4. Satlin a = 0 v i n < 0

a = n v i 0 ≤ n ≤ 1a = 1 v i n > 1

5. satlins a = -1 v i n < 0a = n v i 0 ≤ n ≤ 1a = 1 v i n > 1

6. tansigne

ee

a

nn

−+

−

=

−

17. poslin a = 0 v i n < 0

a = n v i n ≥ 08. compet a = 1 v i n -ron có n l n nht

a = 0 v i các n -ron còn li9. logsig

nea −+

=1

1

3.1.4. Mô hình c bn ca mng n ron

Hình 3-3: n gin v mt mng n -ron nhân to


44/68



Mô hình mng n -ron trên gm 3 l p: l p nh p (input), l p n và l p

xut (output). Mi nút trong l p nh p nhn giá tr ca mt bin c l p và

chuyn vào mng.

liu t tt c các nút trong l p nh p c tích h p – ta gi là ng tr ng

hóa – và chuyn k t qu cho các nút trong l p n. Gi là “n” vì các nút trong

p này ch liên lc v i các nút trong l p nh p và l p xut, và ch có ng i thit

mng m i bit l p này (ng i s dng không bit l p này).

Các nút trong l p xut nhn các tín hiu tng tr ng hóa t các nút trong l p

n. Mi nút trong l p xut t ng ng v i mt bin ph thuc.

3.1.5. Xây d ng mng n ron

c bn ta có th hiu mng n -ron là mt th có h ng. Trong ó

các nh ca th là các n -ron và các cnh ca th là các liên k t gia các

-ron.

Vì vy xây dng mt mng n -ron ta xây dng mt th có h ng: s nha th bng s n -ron trong mng, giá tr ca các cnh chính là tr ng s liênt n -ron.

3.1.5.1. Gii thut xây d ng mng n ron n gin.

Input: Cho :• ng n -ron có num_layer l p (v i num_layer>1).• i l p có num_of_layer n -ron (num_of_layer>=1).• Tr ng s w liên k t n -ron ngu nhiên trong khong (-a,a).

Output: Mng n -ron nhân to.

Kiu d liu: chn lu d kiu mng :int num_layer;

x

h1

h2

h3

g2

g1

f


45/68



int num_of_layer[num_layer];float w[i][j][k]; v i 2


46/68



- Có 3 kiu hc chính, mi kiu hc t ng ng v i mt nhim v hc tr u

ng. ó là hc có giám sát (có mu), hc không giám sát và hc tng

ng. Thông th ng loi kin trúc mng nào cng có th áp ng c

yêu cu ca thc t.

v c có giám sát.

t thành phn không th thiu ca ph ng pháp này là s có mt ca mt

ng i thy ( bên ngoài h thng) nh ta thy hình 3-4 . Ng i thy này có

kin thc v môi tr ng th hin qua mt t p h p các c p u vào - u ra ã

c bit tr c. H thng hc ( ây là mng n -ron) s phi tìm cách thay i

các tham s bên trong ca mình (các tr ng s và các ng ng) to nên mt

ánh x có kh nng ánh x các u vào thành các u ra mong mun. S thay

i này c tin hành nh vic so sánh gia u ra thc s và u ra mong

mun.

v c không giám sát.

Trong hc không có giám sát, ta c cho tr c mt s d liu x và hàm

chi phí cn c cc tiu hóa có th là mt hàm bt k ca d liu x và u ra

a mng, f – hàm chi phí c quyt nh b i phát biu ca bài toán. Phn l n

các ng dng nm trong vùng ca các bài toán c l ng nh mô hình hóa

thng kê, nén, lc (filtering), phân nhóm (clustering).

Hình 3-4: Mô hình hc có giám sát

u vào tr ng tháia môi tr ng

u ra thc

u ramong mun

Sai s

Môi tr ng Th y giáo

th ng hc


47/68



v c tng c ng.

liu x th ng không c to tr c mà c to ra trong quá trình mt

agent t ng tác v i môi tr ng. Ti mi th i m t, agent thc hin hành ng

yt và môi tr ng to mt quan sát xt v i mt chi phí tc th i Ct, theo mt quy

trình ng nào ó (th ng là không c bit). Mc tiêu là mt sách l c lachn hành ng cc tiu hóa mt chi phí dài hn nào ó, ngh a là chi phí tích

y mong i. Quy trình hot ng ca môi tr ng và chi phí dài hn cho mi

sách l c th ng không c bit, nhng có th c l ng c. Mng n -ron

nhân to th ng c dùng trong hc tng c ng nh mt phn ca thut toán

toàn cc. Các bài toán th ng c gii quyt bng hc tng c ng là các bài

toán u khin, trò ch i và các nhim v quyt nh tun t (sequential decision

making) khác.

3.1.6.2. Thut toán hc.

v Thut toán hc ca mng n -ron mt l p( perceptron ).

Xét tr ng h p perceptron s dng hàm kích hot ng ng:

≤−

>+=

∑

∑

=

=

d

iii

d

i

ii

t wv

t wv

output

1

1

,1

,1

(3.1)

Nu ta cho w0= -t và v0=1, ta có th vit li

=

≤−

>+= ∑

∑

∑=

=

=d

i

iid

i

ii

d

i

ii

wv sign

wv

wv

output 0

0

0

0,1

0,1

(3.2)

Thut toán:

Thut toán hc ca perceptron hay mng n -ron mt l p gm 3 b c

chính:


48/68



c 1: Kh i to:

kh i to tr ng s w (0 hoc ngu nhiên).

chn tc hc µ.

c 2 : Hc V i mi mu (x,t) trong t p hc.

Tính y=f(x, w).

Nu y!=t thay i vect tr ng s w v i:

w(m i (c)+ µ(t-y)x;

c 3: l p li b c 2 cho tt c các mu.

v Thut toán hc ca mng n -ron nhiu l p(back-Propagation -- Lan truyn ng c ).

Hun luyn mng n -ron nhiu chiu MLP :

- Là quá trình thay i giá tr ca w mng biu din c d liu hc.

- Là s khác nhau gia giá tr tht hàm mu và k t qu d oán ca mng

i là li (hc có giám sát).

- Hàm li là hàm n+1 bin. Nu v trong không gian n+1 chiu thì có mt

t là li.

- Quá trình hun luyns tìm ra wi* li nh nht

Thut toán:

Xét mng n -ron 3 l p : input, hiden và output.

Hàm kích hot các n -ron : logistic (sigmoid).

x

e

x g −

+

=

1

1)( (3.3)

- c 1: Kh i to tr ng s w ngu nhiên nh.

- c 2 : Chn l p u vào x và ính nó vào l p u vào .

- c 3 : Truyn s kích hot qua tr ng s n khi kich hot các n -ron

u ra.


49/68



- c 4: Tính o hàm riêng “E” theo tr ng s cho l p xut. s dng

GRADIENT ca hàm li .

- c 5: Tính o hàm riêng “E” theo tr ng s cho l p n.

- c 6: C p nht tt c tr ng s theo Wi=W(i-1)-µ(E/ Wi)

- c 7: Quay lai “B c 2” cho n “B c 6” cho tt c các mu.

Trong ó: Gradient hàm li:

- -ron tng output:

(3.4)

- Hàm li

(3.5)

- o hàm riêng ca hàm li theo tr ng s b:

b

v

v

z E

b

E

∂∂

∂∂

∂∂

=∂∂

(3.6)

- Ta có:

>=

=∂∂

−=∂∂

=∂∂

−=

∂

∂

0,

0,1

)1(

)(

1 i y

i

b

v

z z v

g

v

z

t z

z

E

i

(3.7)

Z = g(v)

∑=

+=k

i

iib ybv

10

xe

x g −+

=1

1)(

y1

y2

M

M

yk

b1 b2

bk

I

b0

Giá tr tht cau hun luyn

2)1(2

1)( −= z z E


50/68



- t:

)1()( −−=

∂

∂

∂

∂= z z t z

v

z

z

E p (3.8)

- Ta c:

>=

=∂∂

0

0

i py

i p

b

E

ii

(3.9)

- -ron tng n:

(3.10)

- o hàm riêng ca hàm li theo tr ng s:

a

u

u

y

y

E

a

E

∂

∂

∂

∂

∂

∂

=∂

∂(3.11)

x1

x2

M

M

xd

a1a2

ad

I

a0

y = g(u)

∑=

+=d

i

iia xau1

0


51/68



- Ta có:

( )

>

==

∂

∂

−=∂∂

=∂∂

=−−=∂∂∂∂

∂∂

∂∂

∂∂=

∂∂ ∑

=

0,

0,1

1

)1()(

1

jc

j

a

u

y yu

y

b y

v

p z z t z v z

z E

y

v

v

z

z

E

y

E

j j

ii

iiiii

i

i

i

K

i

i

i

i

i

(3.12)

- t:

)1(1

y yb pu

y

y

E q

K

i

ii −

=∂∂

∂∂

= ∑=

(3.13)

- Ta c:

>

==∂∂

00

1 iqx

iq

a

E

i(3.14)

Sau khi tính c o hàm riêng ca hàm li theo tng tr ng s. Tr ng s

c u chnh bng cách tr b t mt l ng bng tích ca o hàm riêng và

c hc:

i

ii

w

E ww

∂

∂−= µ (3.15)


52/68



3.2. Chun b d liu

3.2.1. Gi i thiu

Dùng ti p cn khung nhìn dò tìm khuôn mt, b dò tìm khuôn mt theo

khung nhìn phi xác nh xem mt ca s con ca mt nh có thuc v t p nhkhuôn mt hay không. Các bin i trong nh khuôn mt có th làm tng

phc t p ca mu khuôn mt, làm cho vic dò tìm khó khn h n. Phn này s

mô t các k thut làm gim s bin i trong nh khuôn mt.

3.2.2. Gán nhãn và canh biên các c tr ng khuôn mt

c u tiên trong vic gim s các bin i trong nh khuôn mt là canh

biên các khuôn mt này v i khuôn mt khác. Vic canh biên này s làm gim

các bin i v v trí, h ng, và t l các khuôn mt. Vic canh biên c tínhtr c ti p t các nh. Và nó to ra không gian nh khuôn mt ti thiu. C ng

nh khuôn mt có th bin i nhiu, làm cho mt s khuôn mt khó canh biên

i nhau. Ta dùng gii pháp gán nhãn th công các mu khuôn mt. C th là v

trí hai mt, nh mi, và trung tâm ming ca mi khuôn mt. B c ti p theo là

dùng thông tin này canh biên các khuôn mt v i khuôn mt khác. Tr c ht

nh ngh a canh biên gia hai t p m c tr ng. ó là phép quay, bin i t

, và dch chuyn làm cc tiu hoá tng bình ph ng khong cách gia tng

p c tr ng t ng ng. Trong không gian hai chiu, mt phép bin i to nh vy có th c vit d i dng sau:

−=

+

−=

1

..cossin

sincos

'

' y

x

t ab

t ba

t

t

y

x

s s

s s

y

x

y

x

y

x

ϑϑϑϑ

(3.16)

u có nhiu t p to t ng ng, có th vit nh sau:

=

−

−

MM

'2

'2

'1

'1

22

22

11

11

.

10

01

10

01

y

x

y

x

t

t

ba

x y

y x

x y

y x

y

x ( (3.17)


53/68



Khi có hai hay nhiu h n c p m c tr ng phân bit, h các ph ng

trình tuyn tính có th c gii bng ph ng pháp o ng c gi. Gi ma tr n

bên trái là A, vector (a, b, tx, ty)T là T, và bên phi là B, khi ó l i gii:

T = (AT A)-1(AT B) (3.18)

i gii o ng c gi a ra phép bin i T làm cc tiu tng bình

ph ng khác bit gia t p to x’i, y’i và phiên bn ã bin i ca xi, yi. Canh

biên t p các m c tr ng.

- Kh i to F, vector s là v trí trung bình ca mi c tr ng gán nhãn trên

i khuôn mt, v i mt s v trí c tr ng ban u. Trong tr ng h p

canh biên các khuôn mt thng, các c tr ng này là v trí mong mun ca

hai mt, nh mi, và trung tâm ming ca mi khuôn mt trong ca s

u vào.

- i mi khuôn mt i, dùng th tc canh biên tính phép quay, dch

chuyn, và bin i t l tt nht canh biên các c tr ng khuôn mt Fi i các v trí c tr ng trung bình F . Gi v trí c tr ng ã canh biên F’i.

- p nht F bng vic ly trung bình các v trí c tr ng ã canh biên F’icho mi khuôn mt i.

- To c tr ng trong F c quay, dch chuyn và bin i phù h p

i mt s to chun. To chun là to c dùng làm giá tr kh i to cho F .

- Sang b c 2.

Hình 3-5: Trái: Mu khuôn mt chun. Phi: Các v trí c tr ng khuôn mt

chun (tròn tr ng), và phân phi ca các v trí c tr ng thc (sau khi

canh biên) t mi mu (các m en).


54/68



Hình 3-6: Ví d nh khuôn mt thng c canh biên.

Trong vic hun luyn b dò tìm, vic thu th p s mu l n là vn

quan tr ng. Mt k thut th ng dùng là khung nhìn o, trong ó các nh mu

i c to ra t nh thc (quay, dch chuyn, bin i t l ngu nhiên nh

u).

3.2.3. Tin x lý v sáng và t ng phn trên tp mu hc

Sau khi canh biên các khuôn mt, vn còn mt ngun bin i chính(không k bin i v bn cht gia các khuôn mt). Bin i này gây ra do

sáng và các c tính máy nh, dn n các nh có sáng t i hay kém, hoc

nh có t ng phn kém. Ta x lý vn này bng ti p cn x lý nh n

gin. K thut tin x lý tr c ht cân bng các giá tr mt trên toàn ca s.

p hàm bin i tuyn tính giá tr mt trong vùng tròn trong ca s. Các

m nh bên ngoài hình tròn có th là nn. Nu mt ca pixel (x,y) là I(x,y),

khi ó cách bin i tuyn tính này c tham s hoá b i a, b, c v i:

),(.)1( y x I

c

b

a

y x =

(3.19)


55/68



Vic chn cách bin i này là tu ý. Nó có th biu din các khác bit v

sáng trên toàn nh. Các bin i c gi i hn là tuyn tính s tham s ít

và vic to l p hàm nhanh chóng. T p h p v i mi pixel trên toàn ca s hình

tròn ta c ph ng trình ma tr n ràng buc, và c gii bng ph ng pháp

o ng c gi. Ph ng trình tuyn tính này s x p x toàn b sáng ca mi phn ca ca s, và b tr i v i ca s cân bng bin i v sáng.

Ti p theo, cân bng l c , ánh x không tuyn tính các giá tr mt

r ng min c ng trong ca s. L c c tính v i các pixel trong

vùng tròn trong ca s. Vic này bù cho các khác bit trong vic thu nhn u

vào camera, và cng ci thin t ng phn trong mt s tr ng h p. Các k t

qu ca mi b c c cho trong Hình 3-7.

Hình 3-7: Các b c trong vic tin x lý ca s. u tiên, xây dng hàm ánh

tuyn tính v i các giá tr mt trong ca s, và sau ó tr i nó,

hiu chnh v sáng. Ti p theo, áp dng cân bng l c ,

hiu chnh u vào camera khác nhau và ci thin t ng phn.

Trong mi b c, vic ánh x c tính v i các pixel bên trong hình

tròn, và c áp dng v i toàn ca s.


56/68



3.3. Hun luyn dò tìm khuôn mt

3.3.1. Gi i thiu

Phn này trình bày thut toán da trên mng n -ron dò tìm ra các ca s

có cha các khuôn mt ng, thng trong nh. Thut toán thc hin bng cácháp dng mt hay nhiu mng n -ron tr c ti p v i các phn ca nh u vào, và

kim tra các k t qu ca chúng. Mi mng c hun luyn k t xut mt k t

qu là có hay không có khuôn mt.

Hun luyn mng n -ron dò tìm khuôn mt là mt công vic y thách

thc, vì khó khn trong vic biu din các nh “không khuôn mt”. Không nh

vic nhn dng khuôn mt, trong ó các l p phân bit là các khuôn mt khác

nhau. Hai l p gi là phân bit trong dò tìm khuôn mt là “nh có cha khuôn

t” và “nh không cha khuôn mt”. D dàng ly c mu nh cha khuôn

t n hình, nhng vic ly mu nh không cha khuôn mt n hình khó

n r t nhiu. Ta tránh vic dùng t p hun luyn có kích th c l n biu din

không khuôn mt bng vic chn thêm nh vào t p hun luyn khi tin hành

hun luyn. Ph ng pháp “bootstrap” nhm gim kích th c ca t p hun luyn

n thit. Vic dùng cách thc x lý gia a mng và các heuristic làm rõ

ràng các k t qu và ci thin áng k chính xác ca b dò tìm.

3.3.2. Hun luyn dò tìm khuôn mt

thng hot ng theo hai giai n: tr c ht áp dng t p b dò tìm da

trên mng n -ron vào nh, và sau ó dùng b kim tra k t h p các u ra.

Các b dò tìm riêng l kho sát mi v trí trong nh mt vài t l, tìm v trí có

th cha khuôn mt. Sau ó b kim tra h p các dò tìm t các mng riêng l và

loi tr các dò tìm b l p. Thành phn u tiên ca h thng là mng n -ron

nhn u vào là vùng 20x20 (pixels) ca nh và to u ra trong khong

1 n -1, biu th có hay không có khuôn mt. dò tìm mi khuôn mt trongnh, mng c áp dng mi v trí trong nh. dò tìm các khuôn mt l n

n kích th c ca s, nh u vào c gim kích th c nhiu ln, và áp dng

dò tìm mi kích th c. Mng có mt s bt bin v i v trí và kích th c.

bt bin xác nh s t l và v trí nó c dùng. V i bài này, ta áp dng b


57/68



c mi v trí m nh, và gim t l xung 1.2 mi b c phân tích nh t

phân.

Sau khi ca s 20x20 pixel c trích ra t mt v trí và t l nào ó trong

nh nh p, nó c tin x lý dùng các b c hiu chnh sáng và cân bng

c . Ca s sau khi tin x lý c truyn qua mng n -ron. Ca s u vào c chia thành các mnh nh, 4 vùng 10x10 (pixels), 16 vùng 5x5 (pixels), và

6 vùng chng l p 20x5 (pixels). Mi vùng có liên k t y v i mt n v n.

i th nghim sau, ta dùng mng v i hai và ba t p các n v n này. Hình

dáng ca các vùng con này c chn cho phép các n v n dò tìm các c

tr ng cho vic dò tìm khuôn mt. C th, các sc ngang cho phép các n v n

dò tìm các c tr ng nh ming, c p mt, trong khi các n v n v i vùng ti p

thu hình vuông có th dò tìm các c tr ng nh tng mt, mi, ca ming. Các

th nghim cho thy r ng hình dng chính xác ca các vùng này không quan

tr ng, quan tr ng là u vào c chia thành các vùng nh thay vì dùng các k t

i hoàn toàn v i toàn b u vào. T ng t các mu liên k t u vào th ng

c dùng trong vic nhn dng ting nói và ký t. Mng có mt u ra giá tr

thc, ch nh ca s có cha khuôn mt hay không.

3.3.2.1. nh hun luyn khuôn mt

dùng mng n -ron phân loi ca s là khuôn mt hay không, ta cn các

u hun luyn cho mi t p. V i các mu khuôn mt ta dùng k thut canh biên

các nh khuôn mt trong ó mt s m c tr ng ã gán nhãn bng tay. Sau

khi canh biên, các khuôn mt c co v v mt kích th c, v trí và h ng

ng nht trong ca s 20x20 pixel. nh c co v v i mt l ng ngu nhiên

2.1/1 n 2.1 . u này cho phép b dò tìm c áp dng mi v trí

pixel và mi t l trong chóp nh, và vn dò tìm các khuôn mt v trí và t l

trung bình. Ngoài ra, cho b dò tìm mnh h n v i các bin i không áng k

trong khuôn mt, chúng c quay v i mt l ng ngu nhiên (ti a 10o

).3.3.2.2. nh hun luyn không phi khuôn mt

Ta cn nhiu nh k

phathienkhuonmat trong anh 0226

Documents