BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG -o0o - ĐỒ ÁN TỐT NGHIỆP NGÀNH CƠNG NGHỆ THƠNG TIN HẢI PHỊNG 2017 Ứng dụng phép tốn hình thái cho tốn phát khuôn mặt dựa vào màu da BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG -o0o - ỨNG DỤNG PHÉP TỐN HÌNH THÁI CHO BÀI TỐN PHÁT HIỆN KHN MẶT DỰA VÀO MÀU DA ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ Thông tin Sinh viên thực hiện: Trịnh Trung Thành Mã số sinh viên: 1312101015 Cán hướng dẫn: Ts Ngơ Trường Giang HẢI PHỊNG – 2017 Trịnh Trung Thành – CT1701 Ứng dụng phép toán hình thái cho tốn phát khn mặt dựa vào màu da BỘ GIÁO DỤC VÀ ĐÀO TẠO CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG Độc lập - Tự - Hạnh phúc -o0o - NHIỆM VỤ THIẾT KẾ TỐT NGHIỆP Sinh viên: Trịnh Trung Thành Mã sinh viên: 1312101015 Lớp: CT1701 Ngành: Công nghệ Thông tin Tên đề tài: Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da Trịnh Trung Thành – CT1701 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da NHIỆM VỤ ĐỀ TÀI Nội dung yêu cầu cần giải nhiệm vụ đề tài tốt nghiệp a Nội dung b Các yêu cầu cần giải Các số liệu cần thiết để thiết kế, tính tốn Địa điểm thực tập Trịnh Trung Thành – CT1701 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da CÁN BỘ HƯỚNG DẪN ĐỀ TÀI TỐT NGHIỆP Người hướng dẫn thứ nhất: Họ tên: Ngô Trường Giang Học hàm, học vị: Tiến Sĩ Cơ quan công tác: Trường Đại Học Dân Lập Hải Phòng Nội dung hướng dẫn: Người hướng dẫn thứ hai: Họ tên: Học hàm, học vị: Cơ quan công tác: Nội dung hướng dẫn: Đề tài tốt nghiệp giao Yêu cầu phải hoàn thành trước Đã nhận nhiệm vụ: Đ.T.T.N Sinh viên ngày tháng năm 2017 ngày tháng năm 2017 Đã nhận nhiệm vụ: Đ.T.T.N Cán hướng dẫn Đ.T.T.N Ts Ngô Trường Giang Hải Phòng, ngày tháng năm 2017 HIỆU TRƯỞNG GS.TS.NGƯT Trần Hữu Nghị Trịnh Trung Thành – CT1701 Ứng dụng phép tốn hình thái cho tốn phát khuôn mặt dựa vào màu da PHẦN NHẬN XÉT TÓM TẮT CỦA CÁN BỘ HƯỚNG DẪN Tinh thần thái độ sinh viên trình làm đề tài tốt nghiệp: Đánh giá chất lượng đề tài tốt nghiệp (so với nội dung yêu cầu đề nhiệm vụ đề tài tốt nghiệp) Cho điểm cán hướng dẫn: (Điểm ghi số chữ) Ngày tháng năm 2017 Cán hướng dẫn (Ký, ghi rõ họ tên) Trịnh Trung Thành – CT1701 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da PHẦN NHẬN XÉT ĐÁNH GIÁ CỦA CÁN BỘ CHẤM PHẢN BIỆN ĐỀ TÀI TỐT NGHIỆP Đánh giá chất lượng đề tài tốt nghiệp (về mặt sở lý luận, thuyết minh chương trình, giá trị thực tế, ) Cho điểm cán phản biện (Điểm ghi số chữ) Ngày tháng năm 2017 Cán chấm phản biện (Ký, ghi rõ họ tên) Trịnh Trung Thành – CT1701 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da LỜI CẢM ƠN Trước hết, em xin bày tỏ lòng biết ơn sâu sắc tới giáo viên hướng dẫn Thầy giáo, TS Ngơ Trường Giang, thầy tận tình hướng dẫn, bảo suốt trình tìm hiểu nghiên cứu hoàn thành đồ án từ lý thuyết hồn thiện chương trình Em xin chân thành cảm ơn đến quý thầy, cô khoa Công nghệ Thông tin - Trường Đại học Dân lập Hải Phòng, chân thành cảm ơn thầy, tham gia giảng dạy truyền đạt kiến thức quý báu suốt thời gian em học tập trường Cuối cùng, em xin chân thành cảm ơn đến thầy, bạn bè tận tình giúp đỡ em thiếu xót q trình làm báo cáo hồn thành đồ án Vì thời gian có hạn, trình độ hiểu biết nhận thức chưa cao đồ án tránh khỏi thiếu sót, em mong nhận đóng góp ý kiến thầy bạn bè để em hồn thiện đồ án tốt ơn Em xin chân thành cảm ơn! Hải Phòng, ngày 27 tháng 12 năm 2017 Sinh viên thực Trịnh Trung Thành Trịnh Trung Thành – CT1701 Ứng dụng phép tốn hình thái cho tốn phát khuôn mặt dựa vào màu da MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU 11 MỞ ĐẦU 12 CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT 13 1.1 Tổng quan xử lý ảnh 13 1.1.1 Một số khái niệm 13 1.1.2 Các không gian màu 14 1.1.3 Phân đoạn ảnh 18 1.2 Phép tốn hình thái xử lý ảnh 19 1.2.1 Phần tử cấu trúc 19 1.2.2 Phép giãn nở ( Dilation ) 20 1.2.3 Phép co ( Erosion ) 20 1.2.4 Phép mở ( Open ) 20 1.2.5 Phép đóng ( Close ) 21 1.2.6 Một số ứng dụng phép tốn hình thái 21 1.3 Phát khuôn mặt ảnh 26 1.3.1 Giới thiệu phát khuôn mặt 26 1.3.2 Các ứng dụng phát khuôn mặt 26 1.3.3 Một số hướng tiếp cận tốn phát khn mặt 27 CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN KHUÔN MẶT 29 2.1 Phương pháp dựa màu da thông tin biên 29 2.1.1 Xác định vùng da ảnh 29 2.1.2 Xác thực khuôn mặt 31 2.2 Phương pháp dựa nhiều chứng 32 2.2.1 Xác định vùng da ảnh 32 2.2.2 Xác thực khuôn mặt 33 2.3 Phương pháp dựa phân tích wavelet 35 2.3.1 Xác định vùng da ảnh 36 2.3.2 Xác thực khuôn mặt 39 Trịnh Trung Thành – CT1701 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da 2.4 Phương pháp phát khuôn mặt dựa vào đặc trưng Haarlike 41 2.4.1 Đặc trưng Haar-like 41 2.4.2 Xây dựng phân lớp sử dụng Adaboost 44 2.4.3 Xác thực khuôn mặt 45 CHƯƠNG 3: ỨNG DỤNG PHÉP TỐN HÌNH THÁI TRONG BÀI TỐN PHÁT HIỆN KHN MẶT 46 3.1 Phát biểu toán 46 3.2 Xây dựng phân lớp 47 3.3 Xác định vùng da ảnh 48 3.3.1 Phân đoạn ảnh dựa vào màu da 48 3.3.2 Nâng cấp ảnh phép tốn hình thái học 49 3.4 Xác thực khuôn mặt 52 3.5 Cài đặt chương trình 55 3.5.1 Ngơn ngữ lập trình MATLAB 55 3.5.2 Giao diện chương trình 55 3.5.3 Kết xác định vùng màu da 57 3.5.4 Kết xác thực khuôn mặt 62 3.5.5 Nhận xét sau thực nghiệm chương trình 65 KẾT LUẬN 66 TÀI LIỆU THAM KHẢO 67 Trịnh Trung Thành – CT1701 10 Ứng dụng phép tốn hình thái cho tốn phát khuôn mặt dựa vào màu da quét hết vị trí ảnh ứng viên để có kết khn mặt ứng viên Chi tiết bước sau Khi ứng viên đưa vào phân lớp, chương trình chuyển ảnh ứng viên sang ảnh đa mức xám chuẩn hóa kích thước cách chia chiều cao, chiều rộng cho 384, sau tính ảnh tích phân ứng viên Có ảnh tích phân rồi, hệ thống tính tốn tỉ lệ cho giai đoạn tính tốn sau này: ScaleWidth = IntegralImage.width/Haarcasade.width ScaleHeight = IntegralImage.height/Haarcasade.height StartScale = ScaleWidth ScaleWidth 95 𝑎𝑛𝑑 𝐺 > 40 𝑎𝑛𝑑 𝐵 > 20 𝑀𝑎𝑥{𝑅, 𝐺, 𝐵} − 𝑀𝑖𝑛{𝑅, 𝐺, 𝐵} > 15 (𝑎) { |𝑅 − 𝐺| > 15 𝑅 > 𝐺 𝑎𝑛𝑑 𝑅 > 𝐵 𝑅 > 120 𝑎𝑛𝑑 𝐺 > 50 𝑎𝑛𝑑 𝐵 > 30 𝑀𝑎𝑥{𝑅, 𝐺, 𝐵} − 𝑀𝑖𝑛{𝑅, 𝐺, 𝐵} > 35 (𝑏) { |𝑅 − 𝐺| > 25 𝑅 > 𝐺 𝑎𝑛𝑑 𝑅 > 𝐵 Một số ví dụ minh họa kết chương trình khơng áp dụng phép tốn hình thái để tiền xử lý hình 3.16 Trịnh Trung Thành – CT1701 59 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da Hình 3.16: Kết nâng cấp ảnh khơng sử dụng phép tốn hình thái Từ thực nghiệm thấy rằng, khơng áp dụng phép tốn hình thái để tiền xử lý, vùng gây nhiễu lỗ gây nhiều nhầm lẫn kích thước, số lượng vùng màu da Kết chương trình thực phát vùng da sử dụng phép tốn hình thái ảnh nhị phân ảnh xám: Trịnh Trung Thành – CT1701 60 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da (a) (b) Hình 3.17: Sự khác biệt sử dụng phép tốn hình thái ảnh nhị phân ảnh xám (a): Áp dụng phép tốn hình thái ảnh nhị phân (b): Áp dụng phép tốn hình thái ảnh đa cấp xám Nhận xét:  Việc phát vùng da tốt khơng bỏ xót phần màu da nào, nhiên có nhầm lẫn vùng bị nhầm có màu giống với màu da Trịnh Trung Thành – CT1701 61 Ứng dụng phép tốn hình thái cho tốn phát khuôn mặt dựa vào màu da  Công thức màu da phần tử cấu trúc phép toán hình thái đồ án mang tính tương đối, tức cơng thức kích thước phần tử tốt số ảnh tất ảnh  Sử dụng phép tốn hình thái ảnh xám để tiền xử lý cho đối tượng xác rõ ràng, thuận tiện cho bước xác thực khuôn mặt 3.5.4 Kết xác thực khuôn mặt Kết xác thực khuôn mặt sau xác định vùng màu da  Thực nghiệm ảnh có khn mặt thẳng, khơng bị che khuất: Trịnh Trung Thành – CT1701 62 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da Hình 3.18: Kết chương trình với ảnh có đơn giản Hình 3.19: Kết ảnh có nhiều khn mặt Trịnh Trung Thành – CT1701 63 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da  Thực nghiệm hình có khn mặt không thẳng bị che khuất: Trịnh Trung Thành – CT1701 64 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da Hình 3.20: Kết thực nghiệm số hình có khn mặt khơng thẳng bị che khuất Nhận xét:  Tốc độ xử lí nhanh hay chậm phụ thuộc vào số vùng da phát ảnh nhiều hay nên bị chậm số ảnh có ứng viên lớn  Tỉ lệ dò tìm thành cơng cao: số hình sử dụng làm ví dụ, số khn mặt bị bỏ xót tổng số 50 khn mặt ảnh có đối tượng khác 3.5.5 Nhận xét sau thực nghiệm chương trình Chương trình có tốc độ khơng cao có nhiều ứng viên bù lại có điểm tích cực sau:  Khơng cần giả định trước kích thước khn mặt sử dụng cho khn mặt có kích thước khác  Khơng phụ thuộc vào độ sáng ảnh  Không phụ thuộc vào số lượng khn mặt  Chương trình sử dụng ảnh có kích thước lớn  Cho kết có tính xác cao Trịnh Trung Thành – CT1701 65 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da KẾT LUẬN Sau thời gian tìm hiểu nghiên cứu đề tài này, em đạt số kết sau:  Tìm hiểu hướng tiếp cận phát khn mặt  Tìm hiểu phép hình thái học (morphology) ứng dụng để nâng cấp ảnh  Tìm hiểu số phương pháp phát khuôn mặt  Áp dụng kĩ thuật xử lý ảnh để xây dựng chương trình thử nghiệm phát khuôn mặt dựa vào màu da Tuy nhiên, tồn số vấn đề:  Chương trình chạy chậm cơng thức màu da phần tử cấu trúc phép tốn hình thái chưa tối ưu hóa  Mới phát khn mặt có tư thẳng  Chương trình cài đặt MATLAB nên phần giao diện chương trình khơng đẹp sơ sài Tốc độ xử lí khơng nhanh khả phần cứng hạn chế Hướng phát triển tiếp theo:  Thực nghiệm nhiều để tìm tham số tối ưu phát màu da  Thử nghiệm để xây dựng phân lớp cho kết phân lớp tốt  Tìm hiểu, vận dụng kĩ thuật để tăng tốc độ xử lý chương trình Trịnh Trung Thành – CT1701 66 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da TÀI LIỆU THAM KHẢO [1] Abdellatif Hajraoui, Mohamed Sabri, “Face Detection Algorithm based on Skin Detection, Watershed Method and Gabor Filters”, May 2014 [2] http://tailieu.vn/doc/mot-so-tinh-chat-cua-phep-toan-hinh-thaiva-ung-dung-trong-phat-hien-bien 1556027.html [3] Iyas Saeed, Bassel Shanwar, Nizar Zarka, “Face detection based on skin color information, morphology and neuralnetworrk”, June 2016 [4] https://www.mathworks.com/matlabcentral/fileexchange/29437viola-jones-object-detection.html [5] Manoj Seshadrinathan, Jezekiel Ben – Arie, “Face Detection by Integration of Evidence”, September 2005 [6] Dmytro Peleshko, Kateryna Soroka,“Research of usage of Haarlike features and Adaboost algorithm in Viola-Jones methot of object detection”, December 2013 [7] Hồ Đức Lĩnh, “Xử lý hình thái học ảnh ứng dụng”, Khoa cơng nghệ thông tin - Đại học Đông Á [8] C Garcia, G Zikos, G Tziritas, “Face Detection in color images using Wavelet packet analysis”, Institute of Computer ScienceFoundation for Research and Technology-Hellas [9] K Sandeep A.N Rajagopalan, “Human Face Detection in Clutterd Using Skin Color And Edge Information”, Electrical Engineering, Citeseer, 2002 Trịnh Trung Thành – CT1701 67 .. .Ứng dụng phép tốn hình thái cho tốn phát khuôn mặt dựa vào màu da BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG -o0o - ỨNG DỤNG PHÉP TỐN HÌNH THÁI CHO BÀI TỐN PHÁT HIỆN KHN MẶT DỰA... Thông tin Tên đề tài: Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da Trịnh Trung Thành – CT1701 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da NHIỆM VỤ ĐỀ TÀI Nội... định vùng da ảnh 36 2.3.2 Xác thực khuôn mặt 39 Trịnh Trung Thành – CT1701 Ứng dụng phép tốn hình thái cho tốn phát khn mặt dựa vào màu da 2.4 Phương pháp phát khuôn mặt dựa vào đặc