ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN TRỊNH ĐÌNH DUY RÚT TRÍCH THÔNG TIN TỪ KHUÔN MẶT VÀ TÁI HIỆN LẠI TRÊN MÔ HÌNH 3D Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : CH0601013 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS. LÊ HOÀI BẮC Thành phố Hồ Chí Minh – Năm 2009 Lời Cám Ơn (VIẾT SAU) 1 Lời Cam Đoan ` (VIẾT SAU) 2 Mục Lục Trang Trang Phụ Bìa Lời Cám Ơn 1 Lời Cam Đoan 2 Mục Lục 3 Danh Mục Các Ký Hiệu, Các Chữ Viết Tắt 5 Danh Mục Các Từ Nguyên Gốc Tiếng Anh 5 Danh Mục Các Bảng 7 Danh Mục Các Hình 8 MỞ ĐẦU 9 Chương 1 - TỔNG QUAN 12 1.1. Giới Thiệu 12 1.1.1. Dò tìm khuôn mặt 13 1.1.2. Rút trích những điểm trên khuôn mặt 13 1.2. Những Thách Thức 16 1.3. Phát Biểu Bài Toán 18 1.4. Phạm Vi Đề Tài 18 1.5. Những Đóng Góp 19 1.6. Cấu Trúc Luận Văn 19 Chương 2 - RÚT TRÍCH THÔNG TIN KHUÔN MẶT 20 2.1. Giới thiệu 20 2.2. Dò Tìm Khuôn Mặt 20 2.2.1. Giới thiệu 20 2.2.2. Những Đặc Trưng dựa trên Gợn Sóng (Wavelet-based Features) 21 2.2.2.1. Haar wavelet 21 2.2.2.2. Haar cascades file 24 2.2.3. Thảo luận 26 3 2.3. Rút Trích Thông Tin Từ Khuôn Mặt 27 2.3.1. Xác định vùng cần quan tâm 27 2.3.2. Những điểm đặc trưng cần rút trích 28 2.3.3. ASM 31 2.3.3.1. Hình dáng 31 2.3.3.2. Biến đổi hình dáng 32 2.3.3.3. Mô hình hình dáng 32 2.4. Cở sở dữ liệu ảnh 32 Chương 3 - XÂY DỰNG CHƯƠNG TRÌNH 33 Chương 4 - THỬ NGHIỆM 35 4.1. Bộ Dữ Liệu Thử Nghiệm 35 Chương 5 - KẾT LUẬN 36 5.1. Kết Quả 36 5.2. Khuyến Nghị 36 TÀI LIỆU THAM KHẢO 37 4 Danh Mục Các Ký Hiệu, Các Chữ Viết Tắt - CV : Computer Vision (Thị giác máy tính) - ASM : Active Shape Model - Nnk : Những Người Khác - SVM : Support Vector Machine Danh Mục Các Từ Nguyên Gốc Tiếng Anh - Coarse-to-fine : từ thô xơ đến tinh vi - A multi-stage approach : một phương pháp gồm nhiều giai đoạn - Frontal view : phía trước - Multi view : nhiều góc nhìn như những hướng xoay khác nhau - State-of-the-art : tinh xảo - Scale : độ co giãn - Recall paper : - A low false positive rate : tỷ lệ xác thực sai số thấp - A weak classifier : pha - Robust : nhanh - Integral image filter : bộ lọc ảnh tích phân - Alignment : phân đoạn - segmentation (như phân đoạn khuôn mặt) - Classifier : bộ phân lớp - Shape : hình dáng - Shape model : mô hình hình dáng - Profile model : mô hình - Landmark : mốc ranh giới 5 - Statistical shape model : mô hình thống kê - Facial feature : đặc trưng khuôn mặt - Eigenvalues : giá trị riêng - Eigenvectors : vector riêng 6 Danh Mục Các Bảng 7 Danh Mục Các Hình Hình 1-1: Cấu trúc hệ thống theo dõi khuôn mặt từ webcam 14 Hình 1-2: Kết quả tìm kiếm của hệ thống nhận diện khuôn với độ phân giải thấp 14 Hình 1-3: Hình minh hoạ tính năng nhận diện khuôn mặt của iPhone 15 Hình 1-4: Một cảnh trong trò chơi ZingDance 16 Hình 1-5: Mô hình các bước để xây dựng 18 Hình 2-6: Những đặc tính của gợn sóng Haar 21 Hình 2-7: Cách tạo ra ảnh tích phân 23 Hình 2-8: Chia vùng khuôn mặt thành những vùng nhỏ hơn để thao tác. (a) Xác định vùng mắt (b) Xác định vùng miệng dựa trên khoảng cách mắt (Eye Distance – ED).27 Hình 2-9: 20 điểm đặc trưng trên khuôn mặt – hình từ BioID 28 Hình 2-10: Mô hình 20 điểm đặc trưng trên khuôn mặt 29 Hình 2-11: Bên trái là một hình dáng đơn giản với 3 điểm. 31 Hình 3-12: Lược đồ lớp của chương trình 33 8 MỞ ĐẦU Với những nghiên cứu liên quan đến sự tương tác giữa khuôn mặt và máy tính sẽ giúp ích rất nhiều cho những người khuyết tật, những ứng dụng an ninh, truy tìm tội phạm, cũng như ngày nay càng nhiều hình ảnh, đoạn phim dài được chia sẽ và có nhu cầu truy tìm thông tin trở nên cần thiết, một trong những hướng có thể tiếp cận là dựa vào những đặc trưng khuôn mặt, và bài toán rút trích đặc trưng là những bước cơ bản cho hướng nghiên cứu này. Cũng như từ những bước cơ bản này, chúng ta phát triển những nghiên cứu về nhận dạng biểu cảm, nén ảnh, hiểu cách ra hiệu của môi (lip-reading) . Ngày nay, với sự phát triển của webcam thì nhu cầu của việc ứng dụng thông minh vào hệ thống an ninh càng trở nên cấp thiết. Điều này giúp cho hệ thống tự động nhận dạng các đối tượng ở một vị trí nhất định một cách dễ dàng. Trong một thập kỷ qua, vấn đề sinh trắc học như mống mắt, vân tay, khuôn mặt trong lĩnh vực an ninh đã trở thành một trong những chủ đề quan trọng của các chính phủ và những nhà nghiên cứu trên thế giới. Tuy nhiên, để có được kết quả phân tích chính xác cao trong sinh trắc học như mống mắt hay vân tay, đòi hỏi phải có sự hợp tác chặt chẽ từ phía đối tượng được phân tích. Chẳng hạn đối với vân tay, người cần phân tích phải tuân thủ các điều kiện là tay không được ướt, cũng như cách quét lên hệ thống đó phải đủ mạnh và đều thì hệ thống mới nhận dạng được. Bên cạnh đó, việc phân tích mống mắt đòi hỏi đối tượng cần phân tích phải đưa mắt của mình vào đúng vị trí mà hệ thống yêu cầu, mặt khác để có được hình ảnh mống mắt chất lượng tốt thì cần phải có một công nghệ tiên tiến với chi phí cao thì hệ thống mới có đúng dữ liệu đầu vào để phân tích. Điều này gây khó khăn cho việc ứng dụng công nghệ phân tích vân tay và mống mắt trong thực tế. Do đó, người ta đã chú ý đến những yếu tố khác của sinh trắc học và khuôn mặt là đối tượng thu hút được sự quan tâm của nhiều người, vì công nghệ phân tích khuôn mặt không đòi hỏi các điều kiện khắc khe nhưng vẫn cho ta kết quả phân tích ở mức chấp nhận được. 9 [...]... thông tin về khuôn mặt xem xét sự hiệu quả của những logo có thể đặt ở nơi nào trên cổng thông tin web đó Thêm nữa, những công ty làm phim 3D cũng quan tâm đến những thông tin biểu cảm của khuôn mặt cho những sản phẩm của họ Trong luận văn này, tôi tập trung vào vấn đề rút trích được những thông tin trên khuôn mặt (những điểm trên khuôn mặt) cũng như những thông tin. .. sẵn sàng cho người dùng Việc xử lý khuôn mặt, cũng như rút trích thông tin từ khuôn mặt đóng vai trò quan trọng Bởi lẽ, hiện nay vấn đề tìm kiếm thông tin từ dữ liệu video vẫn còn bỏ ngõ, và một trong những hướng tiếp cận đó là tìm kiếm dựa trên khuôn mặt Trong công trình này, tác giả đã đưa ra những phương pháp để rút trích tự động và tổ chức số lượng lớn những khuôn mặt cho quá trình lập chỉ mục, đạt... nào đó, chúng ta tìm mô t phương pháp để xác định nhanh trong ảnh đó có khuôn mặt hay không Sau đó tìm phương pháp rút trích đặc trưng của khuôn mặt đó và kết hợp kỹ thuật 3D để tái hiện những cử động trên mô hình 3D đó Nhận dạng khuôn Rút trích những đặc mặt tính (Face detection - (Feature extraction Tái hiện trên mô FD) - FE) hình 3D Hình 1-5: Mô hình các bước để... trên khuôn mặt như mắt, mũi, miệng Trong giai đoạn dò tìm khuôn mặt, tôi chỉ xem xét những khuôn mặt ở phía trước (frontal view) và tôi đề xuất phương pháp Adaboost , bởi phương pháp này cho kết quả nhanh Và giai đoạn sau, tôi sẽ tập trung vào xem xét một trong hai phương pháp ASM, SVM, Gabor, cho quá trình rút trích những thông tin trên khuôn mặt và xem xét phương pháp Kalman để giải quyết bài... như những thông tin 3D của nó, chúng tôi đưa ra một phương pháp gồm nhiều giai đoạn để giảm thời gian dò tìm trong khi 11 vẫn đảm bảo tỷ lệ dò tìm cao Đầu tiên chúng ta cần phải xem xét phương pháp dò tìm khuôn mặt nhanh, để giới hạn lại vùng cần rút trích Tiếp đến, chúng ta áp dụng một phương pháp rút trích trên vùng vừa dò tìm để xác định được những điểm cần quan tâm trên khuôn mặt như mắt, mũi,... đối tượng tinh vi hơn Đây cũng là mô t thách thức lớn đối với các nhà nghiên cứu Vì vậy, để làm cho bài toán đơn giản nhưng khả thi hơn, chúng ta cần thực hiện rút trích thông tin từ khuôn mặt của con người Việc rút trích thông tin từ khuôn mặt là mô t trong những vấn đề cơ bản có thể cho chúng ta ứng dụng vào trong thực tế như: nhận dạng khuôn mặt... điểm phân biệt hiện diện trong hầu hết các hình ảnh đang xem xét, ví dụ như vị trí của con ngươi trái (Hình 2-9) Do đó, chúng ta định vị định vị những mốc giới hạn để tìm ra những đặc trưng khuôn mặt Một bộ của những mốc ranh giới sẽ hình thành một hình dáng Những hình dáng được đại diện như những vector: đó là những điểm (x, y) Chúng ta sẽ biến đổi một hình dáng này tới hình dáng khác thông qua những... là những đối tượng 3D trong quá trình gọi điện thoại có video sẽ được ứng dụng Những ứng dụng dạng này sẽ sử dụng những kỹ thuật rút trích thông tin từ khuôn mặt để tái hiện những hình ảnh 3D cử động như khuôn mặt con người 16 Hình 1-4: Mô t cảnh trong trò chơi ZingDance Với những trò chơi 3D, việc cho phép chọn những đồ đạc mặc trên người để tăng... của khuôn mặt trong mô t khung cảnh qua những yếu tố như: - Sự biểu cảm của khuôn mặt (expression [Peter & nnk, 1997]): có ảnh hưởng đáng kể lên các thông số của khuôn mặt Chẳng hạn, cùng mô t khuôn mặt mô t người, nhưng sẽ rất khác khi họ cười hay buồn, … - Tư thế, góc nhìn (pose [Georghiades & nnk, 2001]: ở những tư thế khác nhau có thể sẽ làm khuất mô t... lập chỉ mục, đạt lấy dữ liệu video Nguyễn Thành Thái (2006), Nhận Dạng Mặt Người Dùng SVM và Mạng Nơron, Luận Văn Thạc Sĩ, DHCNTT TpHCM, TpHCM [tóm tắt] đã kết hợp giữa SVM và mạng nơron để nhận dạng khuôn mặt đã phát triển mô t hệ thống cho phép tự động xác định được nhiều khuôn mặt cùng lúc với các thành phần mắt mũi miệng và đã đạt được độ chính xác khá cao bởi việc loại các thành phần . CÔNG NGHỆ THÔNG TIN TRỊNH ĐÌNH DUY RÚT TRÍCH THÔNG TIN TỪ KHUÔN MẶT VÀ TÁI HIỆN LẠI TRÊN MÔ HÌNH 3D Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : CH0601013 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI. dùng. Việc xử lý khuôn mặt, cũng như rút trích thông tin từ khuôn mặt đóng vai trò quan trọng. Bởi lẽ, hiện nay vấn đề tìm kiếm thông tin từ dữ liệu video vẫn còn bỏ ngõ, và một trong những. những thông tin biểu cảm của khuôn mặt cho những sản phẩm của họ. Trong luận văn này, tôi tập trung vào vấn đề rút trích được những thông tin trên khuôn mặt (những điểm trên khuôn