BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ĐIỂM XÂY DỰNG HỆ THỐNG TÁCH VÀ NHẬN DẠNG MẶT NGƯỜI TỪ CAMERA S K C 0 9 MÃ SỐ: T2011 - 02TĐ S KC 0 Tp Hồ Chí Minh, 2012 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ĐIỂM XÂY DỰNG HỆ THỐNG TÁCH VÀ NHẬN DẠNG MẶT NGƯỜI TỪ CAMERA Mã số: T2011- 02TĐ Chủ nhiệm đề tài: ĐẬU TRỌNG HIỂN Người tham gia: TRẦN TÙNG GIANG TP HCM, 2012 -1- DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI STT MSCB Họ tên Ths Đậu Trọng Hiển GVC.ThS.Trần Tùng Giang Đơn vị công tác ĐT-Viễn thông-khoa Điện-Điện tửĐHSPKT tpHCM Nội dung công việc Xây dựng thuật toán Thiết kế phần mềm Kỹ Thuật Cơ Sở-khoa Điện-Điện tử- Nghiên cứu đặc tính ĐHSPKT tpHCM mặt ngƣời -2- MỤC LỤC DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI DANH MỤC HÌNH DANH MỤC BẢNG BIỂU DANH MỤC CHỮ VIẾT TẮT THÔNG TIN KẾT QUẢ NGHIÊN CỨU MỞ ĐẦU 13 PHẦNI 21 CƠ SỞ LÝ THUYẾT 21 CHƢƠNG 1: TỔNG QUAN VỀ CÁC PHƢƠNG PHÁP XÁC ĐỊNH MẶT NGƢỜI 22 1.1 Các phƣơng pháp để xác định mặt ngƣời: 22 1.2 Hƣớng tiếp cận dựa tri thức: 22 1.3 Hƣớng tiếp cận dựa đặc trƣng không thay đổi: 24 1.4 Hƣớng tiếp cận dựa so sánh khớp mẫu: 25 1.5 Hƣớng tiếp cận dựa diện mạo: .25 CHƢƠNG 2: GIỚI THIỆU CÁC THUẬT TOÁN TÁCH VÀ NHẬN DẠNG KHUÔN MẶT 27 2.1 Các thuật toán tách khuôn mặt 27 2.1.1 Tiếp cận Boosting 27 -3- 2.1.2 Adaboost 28 2.1.3 Các đặc trƣng Haar-Like .32 2.1.4 Cascade of Classifiers .35 2.1.5 Cascade of boosting classifiers .37 2.2 Các thuật toán nhận dạng khuôn mặt 38 2.2.1 PCA: 38 2.2.2 Adaboost 39 2.2.3 Mạng Neural 40 2.2.4 Support Vector Machine 40 2.2.5 Thuật toán Mô hình Markov ẩn (HMM) 41 2.2.6 Phân loại Bayes .41 PHẦNII 43 THIẾT KẾ PHẦN MỀM VÀ THỬ NGHIỆM .43 CHƢƠNG 3: THIẾT KẾ HỆ THỐNG TÁCH VÀ NHẬN DẠNG KHUÔN MẶT TỪ CAMERA 44 3.1 Giới thiệu .44 3.2 Thuật toán đề nghị 45 3.2.1 Tách Frame .46 3.2.2 Phát tách khuôn mặt(Haar-Like) 46 3.2.3 Tiền xử lý 46 -4- 3.2.4 Trích đặc trƣng(PCA) .46 3.2.5 Huấn luyện mạng nơ ron .48 3.4 Kết thử nghiệm 51 PHẦNIII 52 KẾT LUẬN VÀ KIẾN NGHỊ 52 Tài liệu tham khảo .54 Phụ lục .55 -5- DANH MỤC HÌNH Hình 1.1: Phương pháp xác định khuôn mặt điển theo hướng tiếp cận top-down 23 Hình 1.2 Phương pháp chiếu: 24 Hình 2.1: Boosting 28 Hình 2.2: đặc trưng Haar-like 32 Hình 2.3: Các đặc trưng mở rộng đặc trưng Haar-like sở .33 Hình 2.4: Cách tính Integral Image ảnh 34 Hình 2.5: Ví dụ cách tính nhanh tổng điểm ảnh vùng D ảnh .34 Hình 2.6: Ví dụ cách tính nhanh tổng điểm ảnh vùng D ảnh với đặc trưng xoay 45o 34 Hình 2.7: cascade of classifiers 36 Hình 2.8: Cascade of boosting classifiers 37 Hình 3.1:Các bƣớc hệ thống nhận dạng mặt ngƣời 44 Hình 3.2: Sơ đồ huấn luyện mạng nhận dạng khuôn mặt video 45 Hình 3.3:Tách khuôn mặt dùng Haar-Like 46 Hình 3.4: Ảnh khuôn mặt ảnh trung bình 47 Hình 3.5: Kiến trúc mạng nơ ron 48 Hình 3.6: Tổng sai số bình phƣơng trình luyện chu kỳ thứ 362 48 Hình 3.7: Quá trình huấn luyện 49 -6- Hình 3.8: Giao diện phần mềm 49 Hình 3.9: Kiểm tra thuật toán tách khuôn mặt 50 Hình 3.10: Giao diện nhận dạng khuôn mặt luồng video 50 -7- DANH MỤC BẢNG BIỂU Bảng 3.1: Kết thử nghiệm 51 -8- DANH MỤC CHỮ VIẾT TẮT SVM : Super Vector Machine PCA :Principal component analysis HMM :Hidden Markov Model ANN : Artificial Neural network Chương 2: Giới thiệu thuật toán tách nhận dạng khuôn mặt - 42 - chiếu để mã hóa diện mạo cục Nếu xác xuất lớn xác xuất đạt đƣợc lớn xác xuất tiền nghiện kết luận có khuôn mặt ngƣời Hƣớng tiếp cận cho phép xác định khuôn mặt bị xoay góc nhìn nghiêng - 43 - PHẦNII THIẾT KẾPHẦN MỀM VÀ THỬ NGHIỆM Chương 3: Thiết kế hệ thống tách nhận dạng khuôn mặt từ camera - 44 - CHƢƠNG 3: THIẾT KẾ HỆ THỐNG TÁCH VÀ NHẬN DẠNG KHUÔN MẶT TỪ CAMERA 3.1 Giới thiệu Một hệ thống nhận dạng mặt ngƣời thông thƣờng bao gồm bốn bƣớc xử lý sau: phát khuôn mặt (face detection), phân đoạn khuôn mặt (face alignment hay segmentation), rút trích đặc trƣng (feature extraction), phân lớp khuôn mặt (face classification) Hình 3.1:Các bƣớc hệ thống nhận dạng mặt ngƣời Phát khuôn mặt:đi tìm định vị vị trí khuôn mặt xuất ảnh frame video Phân đoạn khuôn mặt xác định vị trí mắt mũi, miệng, thành phần khác khuôn mặt chuyển kết cho bƣớc rúttrích đặc trưng Từ thông tin thành phần khuôn mặt, dễ dàng tính đƣợc véc-tơ đặc trƣng bƣớc rút trích đặc trƣng Những véc-tơ đặc trƣng liệu đầu vào cho mô hình đƣợc huấn luyện trƣớc để phân loại khuôn mặt Bên cạnh bƣớc nêu trên, áp dụng tham số bƣớc khác nhƣ tiền xử lý, hậu xử lý nhằm làm tăng độ xác cho hệ thống Do số thông số nhƣ: tƣ khuôn mặt, độ sáng, điều kiện ánh sáng,v.v…, phát khuôn mặt đƣợc đánh giá bƣớc khó khăn quan trọng so với bƣớc lại hệ thống Chương 3: Thiết kế hệ thống tách nhận dạng khuôn mặt từ camera 3.2 - 45 - Thuật toánđề nghị Trong đề tài nhóm tác giả sử dụng thuật toánHaar-Like để tách khuôn mặt khỏi khuôn hình Haar-Like thuật toánổn định đƣợc sử dụng phổ biến thông qua OPEN CV thƣ viện liên kết động DLL việc viết chƣơng trình sử dụng thuật toán thuận tiện Đối với giai đoạn trích đặc trƣng phân lớp khuôn mặt ta dùng PCA nơron riêng rẽ Tuy nhiên ta dùng PCA dựa khoảng cáchEuclide để xácđịnhứng cử viên độ xác việc nhận dạng không đƣợc cao Nếu ta dùng mạng nơron để nhận dạngthìđộ xác cao nhiên tập mẫulớn ta phải tăng số nút mạng để tăng lực học mạng dẫn đến tốc độ nhận dạng mạng giảm Chính đề tài nhóm tác giả sử dụng PCA để trích đặc trƣng mạng nơ ron sẽđóng vai trò phân lớp khuôn mặt Bằng việc sử dụng PCA để trích đặc trƣng ta giảm đáng kể số lƣợng mẫu học cho mạng nơ ron Sơ đồ chi tiết hệ thống nhận dạng khuôn mặt nhƣ sau: video Tập ảnh mẫu Tách Frame Chuyển sang ảnh xám Chuyển sang ảnh xám Phát tách khuôn mặt(Haar- Phát tách Like) khuôn mặt(HaarLike) Tiền xử lý Tiền xử lý Trích đặc trƣng(PCA) Trích đặc trƣng(PCA) Tập mẫu huấn luyện Phân lớp(ANN) Huấn luyện ứng cử viên mạng(ANN) Hình 3.2: Sơ đồ huấn luyện mạng nhận dạng khuôn mặt video Chương 3: Thiết kế hệ thống tách nhận dạng khuôn mặt từ camera 3.2.1 - 46 - Tách Frame Video từ camera đƣợc tách thành khung hình(frame) ta xem khung hình ảnh tĩnh để xử lý 3.2.2 Phát tách khuôn mặt(Haar-Like) Khuôn mặt đƣợc theo dõi, phát tách khỏi frame hình dùng thuật toán Haar-Like Hình 3.3:Tách khuôn mặt dùng Haar-Like 3.2.3 Tiền xử lý Ảnh khuôn mặt sau đƣợc tách đƣợcđƣa vào chuẩn hóa kích thƣớc kích thƣớc cho trƣớc X*Y pixels(trong đề tài tác giả sử dụng kích thƣớc 92x92 pixels) Sau đóảnh đƣợc cân histogram để tăng hiệu nhận dạng Trong giai đoạn huấn luyện ảnh qua khâu tiền xử lý đƣợcđƣa vào thƣ viện ảnh mẫu 3.2.4 Tríchđặc trƣng(PCA) Đầu tiên ta sẽđi tính tập khuôn mặt riêng từ thƣ viện ảnh mẫu Mỗi khuôn mặt có thểđại diện việc kết hợp tuyến tính khuôn mặt riêng Và ta tính gần cách chọn M‟ khuôn mặt riêng tốt tức khuôn mặt riêng có giá trị riêng lớn Nó miêu tả biến thiên lớn tập ảnh mẫu M‟ khuôn mặt riêng tạo không gian M‟ chiều gọi “không gian khuôn mặt” tất khuôn mặt tồn Để tính tập khuôn mặt riêng ta sử dụng thuật toán PCA [6],[7] Chương 3: Thiết kế hệ thống tách nhận dạng khuôn mặt từ camera - 47 - Giả sử ta có thƣ viện ảnhᴦ1 , ᴦ2 , … , ᴦ𝑚 với ảnh I(x,y) Chuyển ảnh thành vector ta có ma trận thƣ viện ảnh (m×p) đóp=x×y Tính khuôn mặt trung bình: ᴪ= 𝟏 𝒎 𝒎 𝒊=𝟏 ᴦ𝒊 (3.1) Hình 3.4: Ảnh khuôn mặt vàảnh trung bình Trừ ảnh cho mặt trung bình: 𝝓𝒊 = ᴦ𝒊 − ᴪ, 𝒊 = 𝟏, 𝟐, … , 𝒎 (3.2) Đặt:𝐴 = [𝝓𝟏 , 𝝓𝟐 , … , 𝝓𝒎 ]ta đƣợc ma trận hiệu có kích thƣớc m×p Xây dựng ma trận covariance: 𝑪𝒎𝒎 = 𝑨𝒎𝒑 × 𝑨𝑻𝒑𝒎 (3.3) Tính vector riêng 𝑉𝑚𝑚 trị riêng 𝜆𝑚 ma trận C sử dụng phƣơng pháp Jacobi xếp vector riêng theo thứ tự giá trị riêng lớn Tính khuôn mặt riêng: 𝑈𝑘 = 𝑚 𝑛=1 𝜙𝑛 𝑉𝑘𝑛 , 𝑘 = 1,2, … , 𝑚 (3.4) Thay sử dụng m khuôn mặt riêng ta sử dụng m‟ khuôn mặt riêng với m‟95%  Một bàibáokhoahọc :Xây dựng hệ thống tách nhận dạng mặt ngƣời từ camera  Sảnphẩmđàotạo: sinh viên làmLuậnvăntốtnghiệp Tómlạiđềtàiđãhiệnthựcgiảipháptrọnvẹnchomodul phần mềm tách nhận dạng mặt ngƣời từ camera Modul tích hợp vào phần mềm quản lý vào ra, phần mềm an ninh, phần mềm tìm kiếm tội phạm…Modul phần mềm mẫu để sinh viên tham khảo phƣơng phápáp dụng thuật toán xử lý, tách, nhận dạngảnh, xử lý video vào toán thực tế Nhưvậygiaiđoạn củađềtàiđãthànhcôngvànếuđượccấpthêmkinhphí, nhómđềtàisẽtiếnhànhgiaiđoạn 2: Thiết kế phần mềm chấm công hoàn chỉnháp dụng công ty quan xí nghiệp Thiết kế phần mềm hoàn chỉnh cho phần mềm chấm thi trắc nghiệm cho môn học có hình thức thi trắc nghiệm Module nhận dạng có nhiệm vụxácđịnh thông tin sinh viên sở liệu tránh trường hợp thi hộ Thiết kế hệ thống truy cập hoàn chỉnh - 54 - Tài liệu tham khảo [1] G Yang and T S Huang, “Human Face Detection in Complex Background”, Pattern Recognition, vol 27, no 1, pp 53-63, 1994 [2] E Osuna, R Freund, and F Girosi, “Training Support Vector Machines: An Application to Face Detection” Proc IEEE Conf Computer Vision and Pattern Recognition, pp 130-136, 1997 [3] P Viola and M J Jones, “Robust Real-Time Face Detection”, International Journal of Computer Vision 57(2), 137-154, Kluwer Academic Publishers, Netherlands, 2004 [4] T Sakai, M Nagao, and S Fujibayashi, “Line Extraction and Pattern etection in a Photograph”, Pattern Recognition, vol 1, pp 233-248, 1969 [5] Đậu Trọng Hiển, Nghiên cứu thiết kế thuật toán nhận dạng khuôn mặt dựa mạng nơ ron, Tạp chí khoa học kỹ thuật 2010 [6] Kirby, M., and Sirovich, L., "Application of theKarhunen-Loeve procedure for thecharacterization of human faces", IEEE PAMI, Vol.12, pp 103-108, (1990) [7] S Gong, S J McKeANNa, and A Psarron, Dynamic Vision, ImperialCollege Press, London, 2000 - 55 - Phụ lục