………… o0o………… Luận văn Tìm hiểu một số phương pháp phát hiện khuôn mặt trong ảnh Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 1 I CM N Em xin chân thành cm n các thy, các cô khoa Công ngh Thông tin Trng i hc Dân lp Hi Phòng ã tn tình dy d, truyn t cho chúng em nhiu kin thc quý báu. Em xin t lòng bit n sâu sc n thy Th.s Ngô Trng Giang, ngi ã n tình giúp  và truyn t nhiu kinh nghim  tài có thc thc hin và hoàn thành. Xin chân thành cm n các bn trong khoa Công Ngh Thông Tin, i Hc Dân Lp Hi Phòng ã giúp , ng viên tôi rt nhiu trong quá trình thc hin  tài. Em xin trân trng cm n! i Phòng, tháng 07 nm 2007. Sinh viên Lê Hng Chuyên Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 2 C LC I CM N 1 U 4 CHNG 1: NG QUAN V PHÁT HIN KHUÔN MT 5 1.1. Gii thiu 5 1.2. t s lnh vc ng dng phát hin khuôn mt. 5 1.3. t s phng pháp xác nh khuôn mt ngi. 7 1.3.1. ng tip cn da trên tri thc 7 1.3.2. ng tip cn da trên c trng không thay i 10 1.3.3. ng tip cn da trên so khp mu 13 1.3.4. ng tip cn da trên din mo 16 1.3.5. ng tip cn tng hp 25 1.4. Khó khn và thách thc trong bài toán xác nh khuôn mt 26 CHNG 2: PHÁT HIN KHUÔN MT S DNG ADABOOST 28 2.1. Gii thiu 28 2.1.1. Các hng tip cn dò tìm khuôn mt nhanh 28 2.1.2. ng tip cn theo AdaBoost 28 2.2. Trích chn c trng cho AdaBoost 29 2.3. Th ut toán A DA BOOST 31 2.4.  dò tìm phân tng Adaboost 35 2.5. Hun luyn dò tìm khuôn mt 38 2.6. Dò tìm khuôn m t 38 2 .7. Nhn xét 39 2.7.1. u m 39 2.7.2. Khuyt m 39 CHNG 3: PHÁT HIN KHUÔN MT S DNG MNG NRON. .40 3.1. ng quan v mng nron nhân to 40 3.1.1. ng nron sinh hc 40 3.1.2. ron nhân to: 41 3.1.3. Các thành phn ca nron nhân to: 42 3.1.4. Mô hình c bn ca mng nron 43 3.1.5. Xây dng mng nron 44 3.1. 6. Hun luyn mng nron 45 3.2. Chun b  d liu 52 3.2. 1. Gii thiu 52 Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 3 3.2.2. Gán nhãn và canh biên các c trng khuôn mt 52 3.2.3. Tin x lý v sáng và  tng phn trên tp mu hc 54 3.3. Hun luyn dò tìm khuôn mt 56 3.3.1. Gii thiu 56 3.3.2. Hun luyn dò tìm khuôn mt 56 3.4. Quá trình dò tìm khuôn mt 60 CHNG 4: CÀI T NG DNG 62 4.1. Môi trng TEST 62 4.2. t s giao din chính 62 4.3. t qu 65 4.4. Nhn xét 66 T LUN 67 TÀI LIU THAM K H O 68 Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 4 U Trong nhng nm gn ây, các ng dng v trí tu nhân to ngày càng phát trin và c ánh giá cao. Mt lnh vc ang c quan tâm ca trí tu nhân o nhm to ra các ng dng thông minh, có tính ngi ó là nhn dng. i ng cho vic nghiên cu nhn dng cng rt phong phú và a dng. Trong  tài này tôi chn i tng là khuôn mt, và bc u tiên ca vic nhn dng ó là phát hin khuôn mt. Khuôn mt óng vai trò quan trng trong quá trình giao tip gia ngi vi ngi, và cng mang mt lng thông tin giàu có, chng hn có th xác nh gii tính, tui tác, trng thái cm xúc ca ngi ó, hn na khi kho sát các ng nét trên khuôn mt có th bit c ngi ó mun nói gì. Do ó, phát hin là bc tin  quan trng phc v công vic nhn dng khuôn mt sau này. Có rt nhiu phng pháp phát hin khuôn mt, AdaBoost và mng N-ron là mt trong nhng phng pháp ó.  án c chia ra 4 chng: Chng 1 s trình bày tng quan v mt s phng pháp phát hin khuôn mt. Phng pháp Adaboost và mng N-ron dùng  phát hin khuôn mt c trình bày trong chng 2 và 3. Chng 4 là phn cài t ng dng, mt s th nghim dò tìm khuôn mt trong nh, và cui cùng là kt lun. Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 5 CHNG 1: NG QUAN V PHÁT HIN KHUÔN MT 1.1. Gii thiu. Hn mt thp k qua có rt nhiu công trình nghiên cu v bài toán xác nh khuôn mt ngi t nh en trng, xám n nh màu nh ngày hôm nay. Các nghiên cu i t bài toán n gin, mi nh ch có mt khuôn mt ngi nhìn thng vào thit b thu hình và u  t th thng ng trong nh en trng. Cho n ngày hôm nay bài toán m rng cho nh màu, có nhiu khuôn mt trong cùng mt nh, có nhiu t th thay i trong nh. Không nhng y mà còn m rng c phm vi t môi trng xung quanh khá n gin (trong phòng thí nghim) cho n môi trng xung quanh rt phc tp (nh trong t nhiên) nhm áp ng nhu cu ca thc t. Xác nh khuôn mt ngi (Face Detection) là mt k thut máy tính  xác nh các v trí và các kích thc ca các khuôn mt ngi trong các nh bt  (nh k thut s). K thut này nhn bit các c trng ca khuôn mt và b qua nhng th khác, nh: tòa nhà, cây ci, c th, … 1.2. t s lnh vc ng dng phát hin khuôn mt. Phát hin khuôn mt ã c ng dng trong rt nhiu lnh vc: -  thng tng tác gia ngi và máy: giúp nhng ngi b tt hoc khim khuyt có th trao i. Nhng ngi dùng ngôn ng tay có th giao tip vi nhng ngi bình thng. Nhng ngi b bi lit thông qua mt  ký hiu nháy mt có th biu l nhng gì h mun, …. ó là các bài toán u b ca bàn tay (hand gesture), u b khuôn mt, … - Nhn dng ngi A có phi là ti phm truy nã hay không? Giúp c quan an ninh qun lý tt con ngi. Công vic nhn dng có th trong môi trng bình thng cng nh trong bóng ti (s dng camera hng ngoi). -  thng quan sát, theo dõi và bo v. Các h thng camera s xác nh âu là con ngi và theo dõi con ngi ó xem h có vi phm gì không, ví  xâm phm khu vc không c vào, …. Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 6 - u tr (rút tin ATM,  bit ai rút tin vào thi m ó), hin nay có tình trng nhng ngi b ngi khác ly mt th ATM hay mt mã s PIN và nhng ngi n cp này i rút tin, hoc nhng ngi ch thi rút tin nhng li báo cho ngân hàng là mt th và mt tin. Các ngân hàng có nhu u khi có giao dch tin s kim tra hay lu tr khuôn mt ngi rút tin  sau ó i chng và x lý. - Th cn cc, chng minh nhân dân (Face dentification). - u khin vào ra: vn phòng, công ty, tr s, máy tính,…. Kt hp thêm vân tay và hc mt. Cho phép nhân viên c ra vào ni cn thit, hay mi ngi s ng nhp máy tính cá nhân ca mình mà không cn nh tên ng nhp cng nh mt khu mà ch cn xác nh thông qua khuôn mt. - An ninh sân bay, xut nhp cnh (hin nay c quan xut nhp cnh Mã áp dng). Dùng  xác thc ngi xut nhp cnh và kim tra có phi là nhân vt khng b không. - ng lai s phát trin các loi th thông minh có tích hp sn c trng a ngi dùng trên ó, khi bt c ngi dùng khác dùng  truy cp hay  lý ti các h thng sc yêu cu kim tra các c trng khuôn mt so vi th bit nay có phi là ch th hay không. - Tìm kim và t chc d liu liên quan n con ngi thông qua khuôn mt ngi trên nhiu h c s d liu lu tr tht ln, nh internet, các hãng truyn hình, …. Ví d: tìm các n video có tng thng Bush phát biu, tìm các phim có din viên Thành Long óng, tìm các trn á banh có Ronaldinho á. - Phân loi trong lu tr hình nh trong n thoi di ng. Thông qua bài toán xác nh khuôn mt ngi và trích c trng, ri da vào c trng này  sp xp, lu tr, giúp ngi s dng d dàng truy tìm khi cn thit. - Kim tra trng thái ngi lái xe có ng gt, mt tp trung hay không, và h tr thông báo khi cn thit. - Phân tích cm xúc trên khuôn mt. Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 7 - t s hãng sn xut máy chp nh ã ng dng bài toán xác nh khuôn t ngi vào máy chp nh th h mi  cho kt qu hình nh p hn. 1.3. t s phng pháp xác nh khuôn mt ngi. Có nhiu nghiên cu tìm phng pháp xác nh khuôn mt ngi, tnh xám n ngày nay là nh màu. Da vào tính cht ca các phng pháp xác nh khuôn mt ngi trên nh, chúng ta có th phân chia các phng pháp này thành n hng tip cn chính: - ng tip cn da trên tri thc: Mã hóa các hiu bit ca con ngi v các loi khuôn mt ngi thành các lut. Thông thng các lut mô t quan h ca các c trng. - ng tip cn da trên c trng không thay i: Mc tiêu các thut toán i tìm các c trng mô t cu trúc khuôn mt ngi mà các c trng này s không thay i khi t th khuôn mt, v trí t thit b thu hình hoc u kin ánh sáng thay i. - ng tip cn da trên so khp mu: Dùng các mu chun ca khuôn t ngi (các mu này c chn la và lu tr)  mô t cho khuôn mt ngi hay các c trng khuôn mt (các mu này phi chn làm sao cho tách bit nhau theo tiêu chun mà các tác ginh ra  so sánh). - ng tip cn da trên din mo: Trái ngc hn vi so khp mu, các mô hình hc ây c hc t mt tp nh hun luyn cho trc. Sau ó h thng s xác nh khuôn mt ngi. Mt s tác gi còn gi hng tip cn này là hng tip cn theo phng pháp hc. 1.3.1. ng tip cn da trên tri thc. Trong hng tip cn này, các lut s ph thuc rt ln vào tri thc ca nhng tác gi nghiên cu v bài toán xác nh khuôn mt ngi. ây là hng tip cn dng top-down. D dàng xây dng các lut c bn  mô t các c trng ca khuôn mt và các quan h tng ng. Ví d, mt khuôn mt thng có hai mt i xng nhau qua trc thng ng  gia khuôn mt và có mt mi, t ming. Các quan h ca các c trng có thc mô t nh quan h v khong cách và v trí. Thông thng các tác gi s trích c trng ca khuôn Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 8 t trc tiên  có c các ng viên, sau ó các ng viên này sc xác nh thông qua các lut  bit ng viên nào là khuôn mt và ng viên nào không phi khuôn mt. t vn  khá phc tp khi dùng hng tip cn này là làm sao chuyn t tri thc con ngi sang các lut mt cách hiu qu. Nu các lut này quá chi tit (cht ch) thì khi xác nh có th xác nh thiu các khuôn mt có trong nh, vì nhng khuôn mt này không th tha mãn tt c các lut a ra. Nhng các lut ng quát quá thì có th chúng ta s xác nh lm mt vùng nào ó không phi là khuôn mt mà li xác nh là khuôn mt. Và cng khó khn khi cn m rng yêu cu ca bài toán  xác nh các khuôn mt có nhiu t th khác nhau. Hình 1-1: (a) nh ban u có  phân gii n = 1; (b), (c), và (d) nh có  phân gii n = 4, 8, 16. Yang và Huang dùng mt phng thc theo hng tip cn này  xác nh các khuôn mt. H thng ca hai tác gi này bao gm ba mc lut.  mc cao nht, dùng mt khung ca s quét trên nh và thông qua mt tp lut  tìm các ng viên có th là khuôn mt.  mc k tip, hai ông dùng mt tp lut  mô t tng quát hình dáng khuôn mt. Còn  mc cui cùng li dùng mt tp lut khác  xem xét  mc chi tit các c trng khuôn mt. Mt h thng a  phân gii có th tc dùng  xác nh, hình 1-1. Các lut  mc cao nht  tìm ng viên nh: “vùng trung tâm khuôn mt (phn ti hn trong hình 1-2) có bn phn vi mt mc u c bn”, “phn xung quanh bên trên ca mt khuôn mt (phn sáng hn trong hình 1-2) có mt mc u c bn”, và “mc  khác nhau gia các giá tr xám trung bình ca phn trung tâm và phn bao bên trên là áng k”.  mc hai, xem xét biu  ca các ng viên  loi bt ng viên nào không phi là khuôn mt, ng thi dò ra cnh bao xung quanh ng viên.  mc cui cùng, nhng ng viên nào còn li sc xem xét các c trng ca khuôn mt v mt và ming. Hai ông ã dùng mt chin lc “t thô Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 9 n mn” hay “làm rõ dn”  gim s lng tính toán trong x lý. Mc dù t l chính xác cha cao, nhng ây là tin  cho nhiu nghiên cu sau này. Hình 1-2: t loi tri trc ca ngi nghiên cu phân tích trên khuôn mt. Kotropoulos và Pitas a mt phng pháp dùng trên  phân gii thp. Hai ông dùng phng pháp chiu  xác nh các c trng khuôn mt. Kanade ã thành công vi phng pháp chiu  xác nh biên ca khuôn mt. Vi I(x,y) là giá tr xám ca mt m trong nh có kích thc m x n  ti v trí (x,y), các hàm  chiu nh theo phng ngang và thng ng c nh ngha nh sau: ∑ − = ),()( 1 yxIxHI n y và ∑ − = ),()( 1 yxIyVI m x (1.1) Hình 1-3: Phng pháp chiu: (a) nh ch có mt khuôn mt và hình nn n gin; (b) nh ch có mt khuôn mt và hình nn phc tp; (c) nh có nhiu khuôn mt a trên biu  hình chiu ngang, có hai cc tiu cc b khi hai ông xét quá trình thay i c ca HI, ó chính là cnh bên trái và phi ca hai bên u. Tng t vi hình chiu dc VI, các cc tiu cc b cng cho ta bit v trí ming, nh mi, và hai mt. Các c trng này   xác nh khuôn mt. [...]... n t t nghi p CH Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong nh NG 2: PHÁT HI N KHUÔN M T S ADABOOST D NG 2.1 Gi i thi u Bài toán dò tìm khuôn m t nhanh trên nh là bài toán quan tr ng vì quá trình nh n d ng i t ng s thi u chính xác n u nh thi u b c dò tìm và nh c it ng Bài toán dò tìm khuôn m t nhanh có ý ngh a r t quan tr ng trong vi c nh n d ng, theo v t các it ng chuy n ng trong các n video... ph l ng khuôn m t ng Lê H ng Chuyên _ CT701 ng pháp i c xác xây d ng so v i i th t s có trong các nh (detection rate) Trang: 26 Khóa lu n t t nghi p - l ng xác t ng Tìm hi u m t s ph nh nh m là s l i mà h th ng xác ng pháp phát hi n khuôn m t trong nh ng vùng trong nh không ph i là khuôn nh nh m là khuôn m t ng i (false positives) - Th i gian th c hi n là th i gian máy tính xác nh khuôn m t ng trong. .. p Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong nh Hình 2-4: Ví d minh h a cho thu t toán AdaBoost 2.4 dò tìm phân t ng Adaboost i m t b dò tìm c do ph dò tìm v i m t ng pháp AdaBoost hu n luy n chính xác nh t nh và m t t c ph i chính xác cao thì b dò tìm ph i bao g m nhi u c dò tìm s gi m nh t c tr ng, c, ta có th nh N u nh c n u ó kéo theo u s d ng b dò tìm k t h p F={ci} v i nhi u b dò tìm. .. dò tìm khuôn m t nhanh ng dò tìm khuôn m t trên nh màu d a trên s phân tích màu s c c a vùng da M c dù vi c x lý khá nhanh nh ng h lý trên nh màu và th làm các b - c ti n x lý cho các h ng ch s d ng ng khác c tr ng b t bi n c a khuôn m t i Thành công nh t trong dò tìm khuôn m t ng là ph - ng nh y c m v i ánh sáng, th ng dò tìm khuôn m t d a trên ng ng này có gi i h n ch i trong th i gian th c ng pháp. .. t m ng n -ron, m ng này ã i c a các khuôn m t c hu n luy n, các t l khác nhau R i dùng m t m ng khác nh v trí chính xác c a các khuôn m t M ng Lê H ng Chuyên _ CT701 tìm các v trí t u tiên dùng ng xác tìm các ng Trang: 19 Khóa lu n t t nghi p Tìm hi u m t s ph viên khuôn m t, r i dùng m ng th hai ng pháp phát hi n khuôn m t trong nh xác nh ng viên nào th t s là khuôn m t Burel và Carel dùng m ng n... các c tr ng khuôn m t r i ch ra có khuôn m t trong nh hay không Các c tr ng nh : lông mày, m t, m i, mi ng, và Lê H ng Chuyên _ CT701 ng vi n c a tóc Trang: 10 Khóa lu n t t nghi p c trích b ng ph Tìm hi u m t s ph ng pháp xác ng m t mô hình th ng kê ng pháp phát hi n khuôn m t trong nh nh c nh Trên c s các mô t quan h c a các c tr ng này, xây c tr ng này và xác nh t n t i c a khuôn m t trong nh M t... i khuôn m t trong nh Trang: 13 Khóa lu n t t nghi p Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong nh ng ti p c n này có l i th là r t d cài thay t, nh ng không hi u qu khi có s i v t l , t th , và hình dáng 1.3.3.1 Xác nh m u tr c Sakai ã c g ng th xác nh khuôn m t ng Ông dùng vài m u con v m t, m i, mi ng, và hình hóa m t khuôn m t M i m u con n th ng Các c ng th ng trong nh i ch p th ng trong. .. mà là m u thô trong không gian nh c a m t khuôn m t v i thích h p ít dùng ch n nh các c tr ng chính c a khuôn m t nh hai m t, hai má, và trán L u gi thay i sáng c a các vùng trên khuôn m t trong t t p thích h p v i các c p quan h sáng h n – t i h n gi a các vùng nh Lê H ng Chuyên _ CT701 Trang: 14 Khóa lu n t t nghi p t khuôn m t n Ý t Tìm hi u m t s ph c xác ng pháp phát hi n khuôn m t trong nh nh... dò tìm AdaBoost d a trên ý t u m c dù chính xác không cao nh ng có th i gian x lý r t nhanh Tuy nhiên khi k t h p các b dò tìm l i có th - Ph ng xây d ng các b dò tìm ng pháp AdaBoost s d ng k t h p các t chính xác cao c tr ng v n d tính toán r t nhanh, thích h p cho vi c dò tìm trong th i gian th c Lê H ng Chuyên _ CT701 Trang: 28 Khóa lu n t t nghi p Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong. .. CT701 i nh c xem nh m t bi n c tính là khuôn m t hay không ph i Trang: 16 Khóa lu n t t nghi p Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong nh khuôn m t b i công th c tính theo các hàm m t phân l p theo u ki n p(x | khuôn m t) và p(x | không ph i khuôn m t) Có th dùng phân lo i Bayes ho c kh n ng c c i phân lo i m t ng viên là khuôn m t hay không ph i là khuôn m t Không th cài t tr c ti p phân . o0o………… Luận văn Tìm hiểu một số phương pháp phát hiện khuôn mặt trong ảnh Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên. mt trong nhng phng pháp ó.  án c chia ra 4 chng: Chng 1 s trình bày tng quan v mt s phng pháp phát hin khuôn mt. Phng pháp Adaboost và mng N-ron dùng  phát hin khuôn. bày trong chng 2 và 3. Chng 4 là phn cài t ng dng, mt s th nghim dò tìm khuôn mt trong nh, và cui cùng là kt lun. Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn