BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN TRUNG KIÊN HỆ THỐNG NHẬN DẠNG GƢƠNG MẶT TRONG VIDEO GIÁM SÁT Chuyên ngành: CÔNG NGHỆ THÔNG TIN Mã số: 60480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: TS.TÂN HẠNH ĐỒNG NAI – 2013 ỜI C M ĐO N Tôi cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chƣa đƣợc công bố công trình khác Đồng Nai, ngày tháng năm 2013 Trần Trung Kiên iii LỜI CẢM ƠN Tôi xin chân thành cảm ơn Trƣờng Đại học Lạc Hồng, Khoa Công nghệ thông tin, thầy Tiến sĩ Tân Hạnh giúp đỡ tạo điều kiện thuận lợi cho trình thực luận văn tốt nghiệp Tôi xin cảm ơn Phòng Sau Đại Học – Đại học Lạc Hồng tạo điều kiện tốt cho em học tập nghiên cứu, tiếp cận kiến thức công nghệ Xin cảm ơn thầy cô nhà trƣờng nhiệt tình giảng dạy em suốt thời gian qua Đặc biệt, xin gửi lời cảm ơn sâu sắc đến thầy Tiến Sĩ Tân Hạnh tận tình hƣớng dẫn giúp đỡ trình làm luận văn, để em thực tốt yêu cầu đề Cuối xin cảm ơn gia đình làm chỗ dựa tinh thần vững cho tôi, nguồn động lực lớn giúp vƣợt qua đƣợc khó khăn trình học tập XIN CHÂN THÀNH CẢM ƠN! Đồng Nai, ngày tháng năm 2013 Trần Trung Kiên iv MỤC ỤC LỜI M ĐO N LỜI CẢM ƠN M L NH M K HI U, NH M H NH H VI T TẮT MỞ Đ U hƣơng - TỔNG QUAN 1.1 Giới Thiệu 1.2 Ứng Dụng 1.3 Mục tiêu thực luận văn 1.4 Phạm vi thực luận văn .8 1.5 Kết luận chƣơng hƣơng - PHÁT HI N KHUÔN MẶT 2.1 Giới thiệu .9 2.2 ác khó khăn việc phát khuôn mặt 2.3 Một số phƣơng pháp phát khuôn mặt 11 2.3.1 Neural Network 11 2.3.2 Support Vector Machine .12 2.3.3 Hidden Markov model (HMM) 13 2.3.4 Phƣơng pháp dò tìm khuôn mặt dựa sắc màu da 14 2.3.4.1 Mô tả phƣơng pháp .14 2.3.4.2 Phạm vi vùng màu da 16 2.3.5 AdaBoost 17 2.3.5.1 Đặc trƣng Haar-Like .18 2.3.5.2 Cascade of Classifiers 22 2.4 Kết luận chƣơng .23 hƣơng - NHẬN DẠNG GƢƠNG MẶT 25 3.1 Tổng quan 25 v 3.2 Eigenfaces 25 3.2.1 Tính toán eigenfaces .26 3.2.2 Cải tiến phƣơng pháp P .29 3.2.2.1 Tính toán Eigenvector từ mẫu huấn luyện 30 3.2.2.2 Phép chiếu mẫu huấn luyện vào không gian khuôn mặt 31 3.2.2.3 Phép chiếu mẫu kiểm tra vào không gian khuôn mặt 31 3.2.2.4 Phân lớp mẫu kiểm tra 32 3.2.3 3.3 Sử dụng eigenfaces để nhận dạng gƣơng mặt 32 Kết luận chƣơng .35 hƣơng - XÂY DỰNG ỨNG D NG 36 4.1 Giới thiệu .36 4.2 Mục Tiêu 36 4.3 Kiến trúc hệ thống .36 4.4 Xây dựng giao diện 39 4.4.1 Giao diện chƣơng trình 39 4.4.2 Giao diện thống kê nhận dạng 40 4.5 Thu thập Sở Dữ Liệu .41 4.6 Thử nghiệm ứng dụng 41 4.6.1 Thử nghiệm với góc nghiêng 41 4.6.2 Thử nghiệm với độ sáng .44 4.6.3 Thử nghiệm với ngƣỡng 45 4.6.4 Thử nghiệm với số ảnh tập huấn luyện 46 4.7 Kết luận chƣơng .46 hƣơng - K T LUẬN 48 5.1 Kết đạt đƣợc 48 5.2 Hạn chế 48 5.3 Hƣớng phát triển 48 DANH M C TÀI LI U THAM KHẢO vi NH MỤC C C CÁC CH HIỆU C C CH VI T TẮT VI T TẮT Chữ viết tắt ATM CSDL HMM PCA SVM Viết đầy đủ Automatic Teller Machine sở liệu Hidden Markov Model Pricipal Component Analysis Support Vector Machine Nghĩa tiếng việt Máy rút tiền tự động sở liệu Mô hình ẩn Markov Phân tích thành phần Máy vector hỗ trợ vii NH MỤC C C H NH Hình 1.1 Ứng dụng nhận dạng ID card [19] Hình 1.2 Ứng dụng nhận dạng điều khiển truy cập (access control) [20] Hình 1.3 Ứng dụng khác hệ thống nhận dạng [20] Hình 1.4 Mô hình hệ thống Hình 1.5 Xử lý khuôn mặt Hình 1.6 Mô hình ứng dụng Hình 2.1 Phát khuôn mặt [17] .9 Hình 2.2 Các trạng thái khuôn mặt [18] 10 Hình 2.3 Mạng Neural [8] 11 Hình 2.4 Minh họa thuật toán SVM, liệu đầu vào (a), kết (b) [5] 13 Hình 2.5 Phƣơng pháp dò tìm khuôn mặt ảnh phân ngƣỡng 15 Hình 2.6 Hoạt động theo kĩ thuật boosting .18 Hình 2.7 Egde feature – Haar-like [9] 19 Hình 2.8 Line feature – Haar-like [9] 19 Hình 2.9 Diagona line feature – Haar-like [9] 19 Hình 2.10 Ví dụ đặc trƣng Haar-like [9] 20 Hình 2.11 Egde features – Haar-like mở rộng [9] 20 Hình 2.12 Egde features – Haar-like mở rộng [9] 20 Hình 2.13 Center-surround features – Haar-like mở rộng [9] 21 Hình 2.14 Special Diagona line feature – Haar-like Mở rộng [9] 21 Hình 2.15 Integral Image 21 Hình 2.16 Tính giá trị mức xám vùng D 22 Hình 2.17 Cascade of classifiers .23 Hình 3.1 Hai giai đoạn phƣơng pháp P .26 Hình 3.2 Ảnh huấn luyện ( sở liệu Yale) [15] .27 Hình 3.3 Ảnh trung bình [15] 28 Hình 3.4 Eigenvectors [15] .29 Hình 3.5 Cải tiến phƣơng pháp P 30 Hình 3.6 Face reconstruction [15] .33 Hình 3.7 Eigenfaces nhận dạng gƣơng mặt [7] .34 Hình 3.8 Hình ảnh khuôn mặt điều kiện ánh sáng khác [2] 35 Hình 4.1 Kiến trúc hệ thống nhận dạng 37 Hình 4.2 Huấn luyện từ ảnh 39 Hình 4.3 Nhận dạng từ video 40 Hình 4.4 Giao diện hình báo cáo 40 viii Hình 4.5 Bộ liệu huấn luyện 42 Hình 4.6 Nhận dạng gƣơng mặt nhìn thẳng 42 Hình 4.7 Nhận dạng gƣơng mặt nhìn nghiêng 43 Hình 4.8 Độ xác dựa vào góc nghiêng khuôn mặt 43 Hình 4.9 nhận dạng với nguồn sáng từ mặt trời 44 Hình 4.10 Nhận dạng với nguồn sáng từ đèn điện .45 Hình 4.11 Thực nghiệm số ảnh huấn luyện 46 MỞ ĐẦU Trƣớc phát triển thiết bị media, camera, smartphone, hay máy ảnh, liệu dạng video ngày nhiều, đặt nhiều thách thức cho nhà phát triển, quản lý, làm cách để khai thác liệu video hiệu Một yêu cầu đặt nhận dạng đối tƣợng video Điều không dễ dàng, để nhận dạng xác đƣợc đối tƣợng hình ảnh bình thƣờng khó, nhận dạng đối tƣợng video khó Video đƣợc tạo từ nhiều hình ảnh, vấn đề đặt tách đƣợc ảnh từ video có nội dung mà ngƣời sử dụng quan tâm Luận văn tập trung vào việc ứng dụng nhận dạng gƣơng mặt video giám sát Việc nhận dạng đối tƣợng video đƣợc ứng dụng rộng rãi lĩnh vực: • Bảo mật hệ thống thông qua nhận dạng gƣơng mặt, I cards, điều khiển truy cập (access control) • Ứng dụng việc rút tiền máy ATM thông qua việc nhận dạng gƣơng mặt • ó thể dùng để chấm công công ty, xƣởng sản xuất • ùng để nhận dạng tội phạm, đối tƣợng tình nghi qua camera giám sát • Ứng dụng việc điểm danh tự động cho công ty, trƣờng học Ta thấy việc nhận dạng đối tƣợng video nói chung nhận dạng gƣơng mặt video nói riêng có ý nghĩa quan trọng tƣơng lai Và hƣớng luận văn mà trình bày luận văn Nội dung luận văn tập trung vào giải vấn đề nhƣ phải nhận dạng đối tƣợng video, nhƣ việc phát khuôn mặt nhận dạng gƣơng mặt ngƣời theo thời gian thực dựa vào video giám sát Luận văn chia thành phần sau: hƣơng 1: Tổng quan hƣơng 2: Phát khuôn mặt hƣơng 3: Nhận dạng gƣơng mặt hƣơng 4: Xây dựng ứng dụng hƣơng 5: Kết luận 37 csdl Hình 4.1 Kiến trúc hệ thống nhận dạng Hình 4.1 đƣa chức hệ thống nhận dạng gƣơng mặt phƣơng pháp P ác chức đƣợc trình bày dƣới a Tập liệu khuôn mặt chụp với nhiều tư Thu thập khuôn mặt ngƣời từ nhiều tƣ Quá trình thu thập đƣợc nhận trực tiếp từ camera hay từ ảnh cá nhân ngƣời khuôn mặt xám hoá chỉnh kích thƣớc (ứng dụng lựa chọn kích thƣớc 100x100) sau lƣu vào thƣ mục b Tìm mặt riêng từ tập huấn luyện Tính toán đặc trƣng khuôn mặt dựa vào phƣơng pháp P đƣợc nêu chƣơng c Phát khuôn mặt Từ liệu đầu vào ảnh, frame từ camera hay video, ứng dụng sử dụng hàm thƣ viện mã nguồn mở Emgu V để phát khuôn mặt Cụ thể nhƣ sau: 38 Dữ liệu đầu vào từ camera hay từ file video sử dụng hàm Grabber.QueryFrame() để chụp lại frame thành ảnh tĩnh Sau có ảnh đầu vào sử dụng hàm etectHaar ascade() để phát khuôn mặt Đối với ảnh tĩnh không sử dụng hàm Grabber.QueryFrame() mà sử dụng thẳng hàm etectHaar ascade() để phát khuôn mặt d Rút trích đặc trưng phân lớp khuôn mặt Sau khuôn mặt đƣợc phát đƣợc tiến hành nhận dạng thông qua lớp EigenObjectRecognizer.cs ứng dụng để rút trích đặc trƣng phân lớp khuôn mặt e Ghi nhận vào sở liệu Hệ thống lƣu trữ liệu sau: Thông tin đối tƣợng: Lƣu trữ thông tin đối tƣợng để nhận dạng trả kết Đối tƣợng bao gồm thuộc tính sau: Thuộc tính name: tên hay tên thƣờng gọi đối tƣợng Các tên không trùng Thuộc tính mota: mô tả thêm thông tin đối tƣợng Thông tin việc nhận dạng: trình nhận dạng đối tƣợng, phát lƣu kết vào csdl Bảng recognize nơi lƣu kết nhận dạng, bao gồm thuộc tính sau: Thuộc tính thutu: Là số nguyên, tự động tăng ho biết thứ tự phát nhận dạng đối tƣợng Thuộc tính Thuộc tính name: Ghi nhận tên đối tƣợng phát nhận dạng đƣợc Thuộc tính reco: Ghi nhận thời gian nhận dạng đƣợc đối tƣợng 39 Thuộc tính odau: Ghi nhận thông tin nhận dạng đối tƣợng từ nguồn Nếu từ ảnh video cho biết đƣờng dẫn đến file ảnh, video Từ Camera ghi Từ Camera 4.4 Xây dựng giao diện 4.4.1 Giao diện chương trình Giao diện ứng dụng gồm phần nhƣ hình ảnh từ ảnh, camera hay từ video, thông tin số lƣợng mặt ngƣời đƣợc phát hiện, danh sách tên ngƣời nhận dạng đƣợc Bên cạnh đó, chƣơng trình có chức huấn luyện ảnh theo hai hƣớng: Từ camera từ ảnh cá nhân Huấn luyện ảnh từ hình ảnh cá nhân đối tƣợng (hình 4.2) Hình 4.2 Huấn luyện từ ảnh 40 Nhận dạng gƣơng mặt từ video (hình 4.3) Hình 4.3 Nhận dạng từ video 4.4.2 Giao diện thống kê nhận dạng Thống kê kết nhận dạng (hình 4.4) Hình 4.4 Giao diện hình báo cáo 41 4.5 Thu thập Cơ Sở Dữ Liệu Để ứng dụng hoạt động đƣợc, ứng dụng cần phải xây dựng thu thập sở liệu mặt ngƣời Dữ liệu bao gồm gƣơng mặt đối tƣợng cần đƣợc nhận dạng Trong khuôn khổ luận văn, 75 ảnh ngƣời đƣợc thu thập chia thành (bộ 1: ảnh huấn luyện/ngƣời; 2: 10 ảnh huấn luyện/ngƣời) để nhằm mục đích xây dựng sở liệu thực nghiệm Mỗi ngƣời có hình ảnh gƣơng mặt khác góc nghiêng, ánh sáng hay cảm xúc Việc thu thập nhiều hình ảnh gƣơng mặt nhiều góc độ khác độ xác trình nhận dạng lớn, nhƣng ảnh hƣởng tới thời gian xử lý Nếu liệu nhiều thời gian xử lý lớn, không đáp ứng đƣợc yêu cầu thời gian thực o cần phải đảm bảo cân đối số lƣợng liệu cho gƣơng mặt thời gian xử lý 4.6 Thử nghiệm ứng dụng Luận văn thực lý thuyết thành chƣơng trình ứng dụng có khả nhận dạng gƣơng mặt thông qua liệu thu đƣợc từ camera giám sát Ứng dụng cho phép ngƣời dùng thấy đƣợc hình ảnh từ camera hay video hiển thị số lƣợng khuôn mặt phát đƣợc tên ngƣời đƣợc nhận dạng Lƣu lại thời gian đối tƣợng đƣợc nhận dạng để xuất thành báo cáo Bên cạnh đó, ứng dụng nhập thông tin ngƣời cần nhận dạng huấn luyện ảnh trực tiếp từ camera hay từ ảnh ngƣời Với ứng dụng đƣợc xây dựng, luận văn đƣa số thử nghiệm để đánh giá tính xác ứng dụng 4.6.1 Thử nghiệm với góc nghiêng Với độ xác 93% trƣờng hợp khuôn mặt nhìn thẳng, chất lƣợng hình ảnh mức độ trung bình, độ xác 77% với trƣờng hợp khuôn mặt bị quay góc tối đa 15 độ Bộ liệu huấn luyện với góc nghiêng (hình 4.5) 42 Hình 4.5 Bộ liệu huấn luyện Nhận diện với khuôn mặt nhìn thẳng (hình 4.6) Hình 4.6 Nhận dạng gƣơng mặt nhìn thẳng Nhận diện với khuôn mặt nhìn nghiêng (hình 4.7) 43 Hình 4.7 Nhận dạng gƣơng mặt nhìn nghiêng 100% 90% 80% Độ xác 70% 60% 50% 40% 30% 20% 10% 0% 10 12 14 16 18 Góc nghiêng (độ) 20 22 24 26 28 30 Hình 4.8 Độ xác dựa vào góc nghiêng khuôn mặt Hình 4.8 cho thấy ảnh hƣởng góc nghiêng khuôn mặt đến trình nhận dạng Từ cần phải lƣu ý thiết kế lắp đặt camera phù hợp ứng dụng thực tế 44 4.6.2 Thử nghiệm với độ sáng hƣơng trình có khả nhận dạng điều kiện ánh sáng khác nhau, ví dụ nhƣ ánh sáng mặt trời (hình 4.9) hay ánh sáng từ đèn điện (hình 4.10), với điều kiện nguồn sáng không yếu, phải đủ để nhận biết rõ khuôn mặt ngƣời Hình 4.9 nhận dạng với nguồn sáng từ mặt trời 45 Hình 4.10 Nhận dạng với nguồn sáng từ đèn điện Quá trình nhận dạng mặt ngƣời điều kiện ánh sáng khác bị ảnh hƣởng nhiều Đây nhƣợc điểm phƣơng pháp P Để khắc phục triển khai ứng dụng cần phải điều chỉnh ánh sáng phù hợp 4.6.3 Thử nghiệm với ngưỡng hƣơng trình đƣợc thực nghiệm với giá trị ngƣỡng khác so với Eigendistance cho phƣơng pháp P - nhƣ sau: Với số ảnh huấn luyện 25 (5x5) + Ngƣỡng 3000: 93% - Với số ảnh huấn luyện 50 (10x5) + Ngƣỡng 3000: 79% + Ngƣỡng 4000: 89% + Ngƣỡng 5000: 93% 46 Theo kết cho thấy số ảnh tập huấn luyện tăng lên ngƣỡng cần đƣợc tăng phù hợp để nhận đƣợc kết tốt 4.6.4 Thử nghiệm với số ảnh tập huấn luyện Ứng dụng thực nghiệm với số ảnh tập huấn luyện ngƣời Thực nghiệm số ảnh cho ngƣời đem lại phần trăm nhận dạng tốt Đầu tiên thực nghiệm với tập ảnh 10 ngƣời với ảnh huấn luyện ngƣời Sau số ảnh huấn luyện đƣợc tăng lên lần ảnh Và thấy việc dùng từ đến 10 ảnh huấn luyện cho ngƣời đáp ứng đƣợc 93% cho việc nhận dạng theo hình dƣới (hình 4.11) Số ảnh huấn luyện/1 ngƣời Hình 4.11 Thực nghiệm số ảnh huấn luyện Hình 4.11 cho thấy với ảnh huấn luyện ngƣời tập huấn luyện tăng lên với nhiều trạng thái khác khả nhận dạng tốt Tuy nhiên, số ảnh tập huấn luyện số ngƣời cần nhận dạng tăng lên ảnh hƣởng phần đến tốc độ thực ứng dụng 4.7 Kết luận chƣơng 47 Ứng dụng mà luận văn thực chƣơng đáp ứng đƣợc mục tiêu luận văn đề Giao diện sử dụng đơn giản nhƣng giúp ngƣời sử dụng dễ dàng thao tác Tuy cố gắng nhƣng ứng dụng chƣa thực hoàn hảo, vấn đề đƣợc luận văn đề cập hƣơng 5: Kết luận 48 Chƣơng - T UẬN Với đề tài “Hệ thống nhận dạng gƣơng mặt video giám sát”, luận văn nghiên cứu, thực thu đƣợc số kết sau đây: 5.1 Kết đạt đƣợc Về sở lý thuyết: luận văn nghiên cứu nắm rõ phƣơng pháp phát khuôn mặt với đặc trƣng Haar-like phƣơng pháp P cho trình nhận dạng Luận văn hoàn thành theo mục tiêu đề Về ứng dụng nhận dạng: luận văn xây dựng đƣợc ứng dụng nhận dạng đáp ứng vấn đề đƣợc nêu phần mục tiêu thực Một số kết phần thử nghiệm minh chứng cho tính đắn ứng dụng Luận văn thực hóa mô hình thành ứng dụng nhận dạng đối tƣợng thông qua camera giám sát, ứng dụng đƣợc sử dụng việc giám sát, điểm danh hay chấm công công ty, nhà trƣờng … 5.2 Hạn chế Quá trình thực luận văn xây dựng ứng dụng gặp phải số hạn chế sau: Ứng dụng sử dụng camera (chất lƣợng không tốt) đƣợc tích hợp máy tính ảnh hƣởng phần đến trình thử nghiệm Luận văn tìm hiểu phƣơng pháp phát nhận dạng gƣơng mặt Tuy nhiên, với nhƣợc diểm phƣơng pháp nhận dạng luận văn chƣa đề xuất phƣơng án cải tiến 5.3 Hƣớng phát triển Có nhiều yếu tố ảnh hƣởng đến trình nhận dạng gƣơng mặt nhƣ vị trị chụp (chụp thẳng hay nghiêng góc), ánh sáng, cảm xúc khuôn mặt Luận văn 49 giải đƣợc trƣờng hợp khuôn mặt nhìn thẳng, nghiêng với góc khoảng 15 độ, với điều kiện ánh sáng bình thƣờng không sáng tối Do thời gian tới cần phải nghiên cứu kĩ thuật để khắc phục nhƣợc điểm trên, ví dụ nhƣ nhận dạng dựa công nghệ 3D hay áp dụng lúc nhiều phƣơng pháp để tăng độ xác Về mặt ứng dụng chƣơng trình ứng dụng cần bổ sung thêm số chức nhƣ gửi báo cáo ngày, tự động học khuôn mặt khuôn mặt chƣa có sở liệu 50 DANH MỤC TÀI LIỆU THAM KHẢO [1] A M McIvor (2000), “Background subtraction techniques In Proc of Image and Vision Computing”, Auckland, New Zealand [2] Belhumeur, P N., Hespanha, J., and Kriegman, D (1997), “Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection” IEEE Transactions on Pattern Analysis and Machine Intelligence [3] Byung-Joo Oh (2003), Face Recognition by Using Neural Network Classifiers based on PCA and LDA, Daejeon, Korea [4] HenkM Blanken Arjen P de Vries, Henk Ernst Blok Ling Feng (Eds.) (2007), Multimedia Retrieval, Springer-Verlag Berlin Heidelberg [5] Hong-Mo Je, Daijin Kim, and Sung Yang Bang (2003), Human Face Detection in Digital Video Using SVM Ensemble, Neural Processing Letter 17:239-252, Kluwer Academic Publishers, Netherlands [6] Lindasay I Smith (2002), A tutorial on Principal Components Analysis, John Wiley & Sons Inc [7] M.A Turk and A.P Pentland (1991), “Face Recognition Using Eigenfaces”, IEEE Conf on Computer Vision and Pattern Recognition [8] Ming-Hsuan Yang, David J Kriegman, and Narendra Ahuja (2002), “ etecting Faces in Images: Survey”, IEEE Transaction on Patter Analysis and Machine Intelligent, vol 24, no [9] Paul Viola and Michael J Jones (2001), “Rapid Object Detection using a Boosted Cascade of Simple feature” , IEEE CVPR [10] Phil Blunsom (2004) Hidden Markov Models [Online] Available: http://digital.cs.usu.edu/~cyan/CS7960/hmm-tutorial.pdf 51 [11] Rein-Lien Hsu, Mohamed abdel-Mottaleb, and etection in nil K Jain (2002), “Face olor Images”, IEEE Transaction on Pattern Analysis and Machine Intelligent [12] Robert E Schapire and Yoram Singer (1999), Improved boosting algorithms using confidence-rated predictions, Machine Learning [13] Rowley H., Baluja S., and Kanade T (1998), “Neural network-based face detection”, IEEE Patt, Anal, Mach Intell, pp.22–38 [14] Sagarmay Deb (2005), Video Data Management and Information Retrieval, M Press [15] http://docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html ,[Truy cập: 01/08/2013] [16] http://www.face-rec.org/algorithms/ [17] btechgurus.blogspot.com [18] www.itl.nist.gov [19] www.zdnet.com [20] www.answers.com