Đang tải... (xem toàn văn)
Lĩnh vực nhận dạng đang dành được nhiều sự quan tâm trong giai đoạn hiện nay. Nó được ứng dụng trong các hệ thống giám sát, an ninh, trong các máy tính thế hệ mới mà con người có thể tương tác với máy tính qua cử chỉ hoặc lời nói,…
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ──────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN XÂY DỰNG ỨNG DỤNG PHÁT HIỆN MẶT NGƯỜI DỰA TRÊN MÀU DA Sinh viên thực hiện : Nguyễn Hoài Sơn Lớp CNPM - K48 Giáo viên hướng dẫn: ThS Lương Mạnh Bá Hà nội 5-2008 PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP 1. Định hướng đề tài tốt nghiệp Tìm hiểu các phương pháp phát hiện mặt người dựa trên đặc trưng và xây dựng ứng dụng phát hiện khuôn mặt dựa trên màu da. 2. Các nhiệm vụ cụ thể của đồ án tốt nghiệp - Tìm hiểu các phương pháp phát hiện khuôn mặt dựa trên đặc trưng. - Nghiên cứu phương pháp phát hiện mặt người dựa trên màu da. - Xây dựng ứng dụng phát hiện mặt người. 3. Lời cam đoan của sinh viên: Tôi – Nguyễn Hoài Sơn - cam kết đồ án tốt nghiệp là công trình nghiên cứu của bản thân tôi dưới sự hướng dẫn của Ths. Lương Mạnh Bá. Các kết quả nêu trong đồ án tốt nghiệp là trung thực, không phải là sao chép toàn văn của bất kỳ công trình nào khác. Hà Nội, ngày tháng năm 2008 Tác giả đồ án tốt nghiệp Nguyễn Hoài Sơn 4. Xác nhận của giáo viên hướng dẫn về mức độ hoàn thành của đồ án tốt nghiệp và cho phép bảo vệ Hà Nội, ngày tháng năm 2008 Giáo viên hướng dẫn ThS. Lương Mạnh Bá Xây dựng ứng dụng phát hiện mặt người dựa trên màu da LỜI NÓI ĐẦU Gần đây, lĩnh vực nhận dạng đang dành được nhiều sự quan tâm nghiên cứu và thử nghiệm như nhận dạng khuôn mặt, nhận dạng vân tay, giọng nói, mắt, . Trong đó nhận dạng khuôn mặt chiếm một vị trí khá quan trọng. Nhận dạng khuôn mặt được ứng dụng trong nhiều lĩnh vực như: hình sự (nhận dạng tội phạm), các hệ thống an toàn, bảo mật (dùng xác nhận các nhân viên của tổ chức), và nhiều lĩnh vực khác nữa. Trong nhận dạng khuôn mặt, đầu tiên ta phải lấy các khuôn mặt ra một cách thủ công, rồi sau đó đem đi nhận dạng xem đó là ai. Để việc nhận dạng khuôn mặt được thực hiện một cách tự động, tức là đưa vào một bức ảnh phải xác định xem trong ảnh có những ai, rõ ràng cần thực hiện một bước trước đó là phát hiện khuôn mặt. Việc phát hiện khuôn mặt còn được ứng dụng trong đếm số người. Bao nhiêu khuôn mặt được phát hiện là có bấy nhiêu người. Việc đếm số người có ý nghĩa trong giao thông (xác định lưu lượng người qua lại trên đường), trong thương mại (xác định số lượng khách hàng ra vào siêu thị), . Chính vì thế mà việc nghiên cứu về phát hiện mặt người là hết sức cần thiết. Với đề tài “Xây dựng ứng dụng phát hiện mặt người dựa trên màu da” em cũng đã đạt được một số kết quả nhất định. Đó sẽ là hành trang giúp em rất nhiều trong thời gian học tập và làm việc sau này. Để có thể hoàn thành được đồ án là nhờ công lao to lớn của các thầy cô giáo trong trường Đại học Bách Khoa Hà Nội nói chung và các thầy cô trong khoa Công nghệ Thông tin, bộ môn Công nghệ phần mềm nói riêng. Các thầy cô đã tận tình giảng dạy, truyền đạt cho em những kiến thức, những kinh nghiệm quý báu trong suốt 5 năm học tập và rèn luyện tại trường. Xin được gửi tới các thầy, các cô lời cảm ơn chân thành nhất. Em xin được bày tỏ long biết ơn của mình đến thầy Lương Mạnh Bá - Giảng viên bộ môn Công nghệ phần mềm, khoa Công nghệ thông tin, trường Đại học Bách Khoa Hà Nội đã hết lòng giúp đỡ, hướng dẫn và chỉ bảo tận tình trong quá trình em làm đồ án tốt nghiệp. Em cũng xin được gửi lời cảm ơn của mình đến thầy Lê Tấn Hùng đã cho em mượn web cam để thực hành. Cảm ơn anh Mai Anh Tuấn K47, nhờ tham khảo đồ án của anh mà em có được những kiến thức ban đầu, tổng quan về lĩnh vực này, để từ đó có được sự thuận lợi, nhanh chóng và định hướng tốt hơn trong quá trình làm đồ án. Cuối cùng, em xin được gửi lời cảm ơn chân thành tới gia đình, bạn bè đã động viên, chăm sóc, đóng góp ý kiến và giúp đỡ em trong quá trình học tập, nghiên cứu và hoàn thành đồ án tốt nghiệp. Hà Nội, tháng 5 năm 2008 Sinh viên: Nguyễn Hoài Sơn Trang 3/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da BỐ CỤC ĐỒ ÁN Chương 1: • Tổng quan về lĩnh vực phát hiện mặt người. • Trình bày một số hệ màu được dùng trong phát hiện mặt người. • Trình bày một số phương pháp phát hiện mặt người dựa trên đặc trưng khuôn mặt. Chương 2: • Tổng quan phương pháp phát hiện mặt người dựa trên màu da. • Phương pháp phát hiện màu da. • Thuật toán phân vùng trong ảnh nhị phân. • Các tiêu chí xác định vùng mặt. Chương 3: • Trình bày về công cụ lấy mặt người trong ảnh. • Công cụ tổng hợp histogram. Chương 4: • Thiết kế, xây dựng chương trình phát hiện mặt người. • Thử nghiệm chương trình và đánh giá phương pháp phát hiện mặt người được áp dụng. Trang 4/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da MỤC LỤC Trang 5/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da DANH MỤC HÌNH VẼ Trang 6/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da CHƯƠNG 1: TỔNG QUAN PHÁT HIỆN MẶT NGƯỜI Chương này trình bày một số lý thuyết cơ bản trong phát hiện mặt người cũng như một số phương pháp phát hiện mặt người. Cụ thể, chương này trình bày các vấn đề sau: • Các hướng tiếp cận trong phát hiện mặt người. • Một số hệ màu sử dụng trong phát hiện mặt người; HSV, YCrCb. • Một số phương pháp phát hiện mặt người dựa trên đặc trưng khuôn mặt. 1.1. Tổng quan Lĩnh vực nhận dạng đang dành được nhiều sự quan tâm trong giai đoạn hiện nay. Nó được ứng dụng trong các hệ thống giám sát, an ninh, trong các máy tính thế hệ mới mà con người có thể tương tác với máy tính qua cử chỉ hoặc lời nói,… Nhận dạng mặt người là một trong số đó. Và phát hiện mặt người là một khâu tiền xử lý cho nhận dạng mặt người. Ý tưởng của nó là: từ một ảnh chụp cảnh đám đông, ta phải tách ra được các khuôn mặt trong đó. Các khuôn mặt được tách ra sẽ được chuyển cho khâu nhận dạng. Có nhiều hướng tiếp cận và các phương pháp khác nhau trong phát hiện mặt người. Cũng có nhiều cách phân chia, gom nhóm khác nhau. Sau đây la một số hướng tiếp cận: • Giải pháp dựa trên mô hình (top-down model-based approach): trong hướng tiếp cận này, người ta sử dụng các mô hình mặt người khác nhau có tỉ lệ khác nhau từ thô nhất đến tốt nhất. Đầu tiên, ảnh sẽ được quét bởi mô hình có tỉ lệ thô nhất. Sau đó ảnh được quét với mô hình có tỉ lệ tốt hơn. Và cuối cùng được quét với mô hình có tỉ lệ tốt nhất. Ứng với mỗi tỉ lệ chỉ có 1 mô hình khuôn mặt. Mà 1 mô hình khuôn mặt ứng với 1 góc nhìn khuôn mặt cụ thể. Do đó, nhìn chung, phương pháp này khó khăn trong việc đưa vào nhiều góc nhìn khuôn mặt khác nhau. • Giải pháp dựa trên đặc trưng (bottom-up feature-based approach): trong hướng tiếp cận này, người ta sẽ tiến hành tìm kiếm trong ảnh các đặc trưng của khuôn mặt (như mắt, mũi, miệng,…), sau đó gom nhóm chúng lại với nhau (dựa trên mối quan hệ hình học giữa chúng) tạo thành các ứng cử viên cho khuôn mặt. Giải pháp này có thể dễ dàng mở rộng cho nhiều góc nhìn khuôn mặt khác nhau. • Giải pháp dựa trên bề mặt (texture-based approach): trong hướng tiếp cận này, các khuôn mặt được phát hiện dựa trên sự phân bố không gian các mức xám của các điểm trong ma trận ảnh con. Phương pháp này khó mở rộng cho nhiều góc nhìn. Trang 7/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da • Giải pháp dựa trên mạng nơron (neural network approach): trong giải pháp này, người ta tiến hành huấn luyện trên 1 tập ảnh khuôn mặt và không phải khuôn mặt. Sau khi huấn luyện xong, sẽ được dùng vào nhận ra khuôn mặt. Ảnh sẽ được quét bằng 1 cửa sổ. Tại mỗi vị trí cửa sổ, nội dung ảnh được lấy ra (có thể phải thay đổi tỉ lệ (co, giãn) vì các ảnh được huấn luyện có kích thước như nhau và xác định) và được cho qua bộ lọc mạng nơron. Nhìn chung, phương pháp này cho kết quả tốt. Tuy nhiên tốn thời gian huấn luyện và sưu tầm mẫu. • Giải pháp dựa trên màu sắc (color-based approach): trong giải pháp này, đầu tiên người ta xác định các điểm trong ảnh có màu giống màu da mặt. Sau đó, người ta khoanh vùng các điểm đó lại. Các vùng này có thể là khuôn mặt hoặc không. Để xác định có phải là mặt không, có thể dựa vào tỉ lệ kích thước của vùng có tương tự tỉ lệ khuôn mặt không, hoặc dựa vào tỉ lệ số điểm màu da trong hình chữ nhật bao vùng đó,… • Giải pháp dựa trên chuyển động (motion-based approach): ngay cái tên của nó cũng cho thấy giải pháp này chỉ áp dụng phát hiện mặt người trong phim, không áp dụng cho ảnh tĩnh. Từ các đối tượng chuyển động trong ảnh, dựa trên một số tiêu chí, người ta sẽ xác định được vùng mặt. Ví dụ như một cái lắc đầu, hay nháy mắt sẽ là cơ sở để phát hiện khuôn mặt. Trong thực tế, ngoài những phương pháp đơn thuần đi theo một hướng tiếp cận, thì cũng có những phương pháp kết hợp nhiều hướng tiếp cận để cho ra kết quả chính xác hơn, tuy nhiên cũng phải trả giá về thời gian. Trong đồ án này, em chỉ đi vào tìm hiểu các phương pháp phát hiện mặt người theo hướng dựa trên đặc trưng và dựa trên màu sắc. Trong các phương pháp phát hiện mặt người, các tác giả thường sử dụng nhiều hệ màu khác nhau. Do đó, đầu tiên em xin trình bày về một số hệ màu được sử dụng trong các phương pháp phát hiện mặt người. 1.2. Giới thiệu về một số hệ màu Trong phát hiện mặt người, người ta thường không sử dụng hệ màu RGB, mà thường sử dụng các hệ màu khác như: HSV, HSL, YCrCb. Vì những hệ màu này biểu diễn màu sắc giống với quan điểm nhìn màu sắc của con người. Sau đây, ta sẽ đi vào diễn đạt chi tiết một số hệ màu cụ thể. 1.2.1. Hệ màu HSV HSV (còn có tên gọi khác là HSB) là viết tắt của Hue, Saturation, Value. Hệ màu gồm 3 thành phần H, S, V. Trong hệ màu này, các màu đều được biểu diễn dựa trên 3 thành phần H, S, V này. H là viết tắt của Hue, nghĩa là màu sắc. Thành phần này biểu diễn màu sắc vốn có của màu như: đỏ, xanh da trời, da cam,… Nó có giá trị từ 0 đến 360 o . Hình sau minh họa giá trị của H và màu tương ứng: Trang 8/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da Hình 1.1: Mô hình biểu diễn 2 thành phần màu H,S trong HSV Ở trong hình, các giá trị của H đã được quy về dải [0,6), tương ứng với chia các góc cho 60 độ. Việc biểu diễn H trong dải giá trị nào không thành vấn đề. S là viết tắt của Saturation, nghĩa là độ bão hòa. Ta có thể hiểu nó giống như khái niệm nồng độ trong hóa học, với dung môi là màu trắng và chất tan là màu. S có giá trị nằm trong đoạn [0,1]. Khi giá trị của S lớn, lượng màu hòa trong màu trắng nhiều lên, màu sẽ đậm hơn. S=1, màu đậm nhất, chiếm hoàn toàn màu trắng. Và ngược lại, khi giá trị S nhỏ, lượng màu hòa trong màu trắng ít đi, màu sẽ nhạt hơn. S=0 tương ứng với không có một chút màu nào pha trong màu trắng, kết quả sẽ không có màu (cũng không khẳng định ngay kết quả là màu trắng, vì nó còn phụ thuộc vào thành phần V nữa, nhưng có thể khẳng định nó là màu xám). Ví dụ: khi H=0, ta có màu đỏ. Nhưng không phải cứ H=0 là ta có được 1 màu đỏ đậm đà, nó còn phụ thuộc vào S (tức là phụ thuộc vào lượng màu đỏ hòa trong màu trắng). Khi S nhỏ, ta có màu đỏ nhạt. Khi S lớn ta có màu đỏ đậm hơn. S=1 màu đỏ đậm nhất. Khi S=0, giá trị của H bằng bao nhiêu là vô nghĩa, kết quả cũng chỉ là 1 màu trắng (giả sử V=max). Thành phần V là viết tắt của value, nó biểu thị thành phần độ sáng. V có giá trị nằm trong đoạn [0,1]. Bạn mặc 1 chiếc áo hồng, nhưng nếu bạn đứng trong bóng tối, mọi người sẽ chỉ nhìn thấy chiếc áo màu đen. Vai trò của V là như vậy. Với 1 giá trị H xác định, ta có 1 màu xác định. Với giá trị S, ta có được độ đậm nhạt cho màu đó. Nhưng ta sẽ không thể cảm nhận đúng màu đó với độ đậm nhạt đó, nếu độ sáng không chuẩn. Khi V=1 ta mới cảm nhận được đúng bản chất vốn có của màu. Khi V tăng tương ứng với độ sáng tăng dần. V=0: không có ánh sáng, tất cả chỉ là 1 màu đen với mọi H và S. Như ở trên, ta đã nói, khi S=0 thì màu kết quả không phụ thuộc vào H, nhưng chưa thể nói ngay ta có màu trắng vì còn phụ thuộc vào V. Nếu V=0 ta có màu đen, V=1 ta có màu trắng, còn nếu 0<V<1 thì ta có màu xám. Hệ màu có thể được mô hình hóa quá hình sau: Trang 9/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da Hình 1.2: Mô hình hóa hệ màu HSV Trong xử lý ảnh, ta luôn có nhu cầu chuyển đổi từ hệ màu RGB sang HSV và ngược lại. Công thức chuyển đổi như sau: Công thức từ RGB sang HSV: Trong đó: • max=max(r,g,b). • min=min(r,g,b). • các thành phần màu r,g,b có giá trị nằm trong đoạn [0,1]. Công thức biến đổi từ HSV sang RGB: Trang 10/92 [...]... SunOS 2.4 Các khuôn mặt không phát hiện được thường là do ánh sáng quá yếu (quá tối) hoặc quá mạnh (quá sáng) Sau đây là một vài ảnh kết quả khi áp dụng phương pháp này: Trang 34/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da Hình 1.19: Một số ảnh kết quả của phương pháp Trang 35/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da CHƯƠNG 2: PHÁT HIỆN MẶT NGƯỜI DỰA TRÊN MÀU DA Trong chương... hay không Để xác định 1 điểm có phải là màu da hay không, nhóm tác giả dựa trên một Histogram được tạo nên Quá trình tạo Histogram này như sau: các tác giả đã thực hiện quá trình học màu da dựa trên các ảnh khuôn mặt kiểu như sau: Trang 14/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da Hình 1.4: Một số mặt người trong tổng hợp Histogram của màu da mặt Khi đó, với mỗi điểm trong ảnh, lấy về... dụng phát hiện mặt người dựa trên màu da Các tác giả đã tiến hành thử nghiệm trên 100 ảnh gồm 104 khuôn mặt Các ảnh phần lớn được lấy từ các quảng cáo, báo chí, bộ phim hoặc tự chụp Kết quả là phát hiện được 97 khuôn mặt (chiếm tỉ lệ 93,27%), phát hiện nhầm 23 khuôn mặt, và 7 khuôn mặt không phát hiện ra Các phát hiện nhầm là do nó có màu giống màu da, và hình dạng cũng có tỉ lệ tương tự khuôn mặt Việc... phân bố các điểm màu da mặt trong không gian HSV và YCrCb Ta thấy, trong không gian màu HSV, không gian màu da mặt có vẻ kém cô đọng hơn so với YCrCb Các tác giả từ kết quả thực nghiệm cũng đã tính ra công thức cho việc xác định một màu có phải là màu da mặt hay không, như sau: Trong không gian màu YCrCb: Trang 25/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da Trong không gian màu HSV: Có được... thực hiện Trong quá trình học màu da mặt, các tác giả đã dùng đến hàng nghìn điểm màu da mặt, và cũng 1 số lượng như vậy các điểm không phải là màu da mặt Sau đây là 1 số kết quả thử nghiệm: Trang 21/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da Hình 1.9: Một số ảnh kết quả của phương pháp Từ trái sang phải: ảnh nhị phân, ảnh kết quả với ngưỡng 0,7, ảnh kết quả với ngưỡng 0,8 Hình trên sử dụng. .. Trang 18/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da Hình 1.6: Biểu đồ hội tụ của phương pháp học RPROP Như hình trên ta thấy, sự phát hiện sai của RPROP trong quá trình học tiến về 0 nhanh hơn phương pháp kia 1.3.2.2 Dựa trên hình dạng Sau khi xác định được điểm nào là màu da, điểm nào không, ta đưa ảnh về ảnh nhị phân, với các điểm màu da là 1 và các điểm không phải màu da là 0 Từ đó,... các khuôn mặt được phát hiện cũng có những sự phát hiện nhầm chủ yếu là vùng tay Sau đây là một số kết quả: Trang 16/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da (nhận ra được các khuôn mặt nhưng nhầm vùng tay) Hình 1.5: Một số ảnh kết quả của phương pháp 1.3.1.5 Đánh giá o Ưu điểm Phát hiện được các khuôn mặt với kích thước khác nhau, không phải giả định trước kích thước khuôn mặt o Hạn... thuộc vào từng ứng dụng cụ thể Khoảng cách h(A, Tp(B)) được gọi là khoảng cách Hausdorff lùi, còn h(Tp(B),A) gọi là khoảng cách Hausdorff tiến Quá trình có thể được mô phỏng qua hình vẽ sau: Hình 1.10: Ví dụ mô phỏng quá trình nhận ra đối tượng dựa trên mô hình Trang 23/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da 1.3.3.3 Quá trình thực hiện phát hiện mặt người Quá trình thực hiện gồm 2 pha:... ảnh có khả năng là Trang 24/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da vùng mặt, gọi là các ứng cử viên vùng mặt Sau đó, các công việc phân tích hình dạng và phân tách các bó sóng được thực hiện trên mỗi ứng cử viên vùng mặt Mỗi vùng ứng cử viên này sẽ được biểu diễn như là 1 tập con của các ảnh được lọc chứa các hệ số sóng Các hệ số này mô tả bề mặt của mặt và một tập các dữ liệu thống... các tác giả không thực hiện xác định vùng của mũi Các thông tin liên qua đến mũi sẽ được sử dụng trong giai đoạn sau của giải thuật Trang 30/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da Để phát hiện ra các thành phần của khuôn mặt, các tác giả sử dụng 1 cửa sổ quét là 40x40 pixel Lý do sử dụng cửa sổ quét có kích thước cố định này là: các tác giả hướng tới việc phát hiện ra tất cả các thành . phát hiện mặt người dựa trên màu da DANH MỤC HÌNH VẼ Trang 6/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da CHƯƠNG 1: TỔNG QUAN PHÁT HIỆN MẶT. pháp phát hiện mặt người được áp dụng. Trang 4/92 Xây dựng ứng dụng phát hiện mặt người dựa trên màu da MỤC LỤC Trang 5/92 Xây dựng ứng dụng phát
