ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI  Nguyễn Thành Trung TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT NGƯỜI KHÓA LUẬN TỐT NGHIỆP HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin Hà Nội – 2010 ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI  Nguyễn Thành Trung TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT NGƯỜI KHÓA LUẬN TỐT NGHIỆP HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin GV hướng dẫn: PGS.TS. Bùi Thế Duy Hà Nội – 2010 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung i Lời cảm ơn Trước tiên, em xin gửi lời cảm ơn sâu sắc nhất đến thầy Bùi Thế Duy, người đã không quản vất vả hướng dẫn em trong suốt thời gian làm khóa luận tốt nghiệp vừa qua. Em cũng xin chân thành cảm ơn các anh chị, thầy cô trong phòng tương tác người - máy đã luôn chỉ bảo mỗi khi em có những vấn đề vướng mắc. Em xin bày tỏ lời cảm ơn sâu sắc đến các thầy cô giáo trong Trường Đại Học Công Nghệ đã tận tình dạy dỗ em suốt bốn năm học qua. Con xin cảm ơn bố, mẹ và gia đình đã luôn bên con, cho con động lực để làm việc tốt hơn. Cảm ơn tất cả bạn bè đã luôn sát cánh cùng tôi. Hà Nội, ngày 20 tháng 5 năm 2010 Nguyễn Thành Trung Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung ii Tóm tắt Bài toán trích chọn đặc trưng trên ảnh mặt người là bài toán cơ bản và quan trọng trong nhóm các bài toán về xử lý ảnh mà đầu vào là ảnh 2D. Đầu ra của nó được sử dụng làm đầu vào cho bài toán nhận dạng mặt, nhận dạng cảm xúc, Trong khóa luận này chúng tôi đưa ra một phương pháp lai và xây dựng hệ thống áp dụng phương pháp lai này nhằm mục đích nhận dạng các điểm đặc trưng trong các bức ảnh mặt người thông qua hướng tiếp cận trích chọn đặc trưng hình học. Hệ thống của chúng tôi đã được xây dựng hoàn chỉnh và các kết quả chạy thử nghiệm trên bộ dữ liệu Cohn – Kanade thu được là khả quan. Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung iii Mục lục Lời cảm ơn i Tóm tắt ii Mục lục iii Danh sách hình vẽ v Danh sách bảng vii Chương 1 Giới thiệu 1 Chương 2 Phát hiện khuôn mặt người trong ảnh 2D 3 2.1 Giới thiệu 3 2.2 Tổng quan về công nghệ phát hiện khuôn mặt 3 2.2.1 Chiến lược phát hiện khuôn mặt 3 2.2.2 Xác định hướng quay của đầu 5 2.2.3 Một số phương pháp dùng phát hiện khuôn mặt 7 2.3 Nhận dạng khuôn mặt dùng đặc trưng giống Haar và Adaboost 8 2.3.1 Cơ sở lý thuyết đặc trưng giống Haar 8 2.3.2 Phương pháp học máy Adaboost 9 Chương 3 Tổng quan về các phương pháp trích chọn đặc trưng 13 3.1 Các hướng tiếp cận 13 3.2 Phương pháp trích chọn đặc trưng hình học 14 3.2.1 Tổng quan 14 3.2.1 Xác định các điểm đặc trưng trên khuôn mặt 14 3.2.2 Phát hiện hình dáng các bộ phận trên khuôn mặt 16 3.2.3 Nhân trắc học và áp dụng với phương pháp trích chọn đặc trưng hình học 17 3.3 Trích chọn đặc trưng diện mạo 19 3.3.1 Tổng quan 19 3.3.2 Mã LBP 19 3.3.3 Bộ lọc Gabor 23 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung iv Chương 4 Xây dựng hệ thống nhận dạng các điểm đặc trưng 25 4.1 Tổng quan về hệ thống 25 4.2 Thiết kế hệ thống 27 4.3 Thực nghiệm 33 4.3.1 Phát hiện khuôn mặt trong ảnh 33 4.3.2 Xác định các vùng đặc trưng 36 4.3.3 Xác định 6 điểm đặc trưng 41 4.3.3 Xác định 14 điểm đặc trưng 46 Chương 5 Tổng kết và hướng phát triển 55 Tài liệu tham khảo 56 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung v Danh sách hình vẽ Hình 1 Xác định đường cắt của đầu. 6 Hình 2  Ví dụ về 3 hướng quay của đầu. 7 Hình 3 – Ảnh tích hợp 9 Hình 4  Sơ đồ hệ thống nhận dạng khuôn mặt. 10 Hình 5  Hệ thống nhận dạng khuôn mặt. 12 Hình 6  Lặp để xác định ngưỡng trên cửa sổ tìm kiếm 14 Hình 7  Phép chiếu toàn bộ 15 Hình 9  Sơ đồ hệ thống tự động xác định điểm đặc trưng. 16 Hình 10 – Mô hình nhiều trạng thái với mặt trực diện. 17 Hình 11 – Mô hình nhân trắc học của mặt (a) Các điểm mốc, (b) Khoảng cách. 18 Hình 12 - Ví dụ về LBP và độ tương phản cục bộ C 20 Hình 13 - Tập hợp các điểm xung quanh P tt . 20 Hình 14 – Phần thực của bộ lọc Gabor với 5 tần xuất và 8 hướng với w max = /2, hàng ứng với sự thay đổi tần suất, cột ứng với sự thay đổi hướng. 23 Hình 15 – Một ví dụ về ảnh sau khi nhân xoắn với 48 bộ lọc Gabor 24 Hình 16 – 20 điểm đặc trưng. 25 Hình 17 – Hệ thống nhận dạng 20 điểm đặc trưng. 27 Hình 18 – Vị trị, kích thước con ngươi. 28 Hình 19 – Các vùng đặc trưng trên khuôn mặt. 29 Hình 20 – Thuật toán 2 đỉnh. 30 Hình 21 – Xác định đường biên chính bằng thuật toán đồ thị liên thông. 31 Hình 22 – Một số ví dụ phát hiện khuôn mặt bằng đặc trưng giống Haar trên hệ cơ sở dữ liệu Conh – Kanade . 36 Hình 23 – Kết quả nhận dạng khuôn mặt thời gian thực (sử dụng camera). 36 Hình 24 – Chia khuôn mặt thành 3 phần. 37 Hình 25 – Một số ví dụ về xác định vùng mắt phải. 39 Hình 26 – Một số ví dụ về xác định vùng mắt trái 40 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung vi Hình 27 – Một số ví dụ xác định vùng miệng (a) đúng, (b) sai. 41 Hình 28 – Đánh dấu hàng có histogram lớn nhất. 41 Hình 29 – Xác định vị trí mống mắt bằng histogram. 42 Hình 32 – Xác định mống mắt là tâm vùng đặc trưng. 42 Hình 31 – Một ví dụ dùng thuật toán phát hiện cạnh Canny sau khi lấy ngưỡng. 43 Hình 32 – Ví dụ về xác định 2 lỗ mũi. 43 Hình 33 – Xác định đường mép bằng histogram (a)Trường hợp chính xác, (b) Trường hợp không chính xác. 44 Hình 34 – Ví dụ lấy ngưỡng trong khoảng [5 50] 45 Hình 35 – Ví dụ xác định cạnh bằng thuật toán Canny. 45 Hình 36 – Ví dụ xác định 2 điểm khóe miệng. 46 Hình 37 – Thực nghiệm 8 điểm đặc trưng. 46 Hình 38 – Ví dụ về xác định 8 điểm đặc trưng. 54 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung vii Danh sách bảng Bảng 1 – Tỷ lệ khoảng cách giữa các mốc. 18 Bảng 2 – Danh sách các điểm đặc trưng. 26 Bảng 3 - Bộ cơ sở dữ liệu Cohn – Kanade. 34 Bảng 4 – Kết quả nhận dạng khuôn mặt trên bộ cơ sở dữ liệu Cohn – Kanade. 35 Bảng 5 – Các bộ phân lớp cascade. 38 Bảng 6 – Kết quả xác định vùng mắt phải. 39 Bảng 7 – Kết quả xác định vùng mắt trái. 39 Bảng 8 – Kết quả xác định vùng miệng. 40 Bảng 9 – Kết quả nhận dạng điểm mống mắt 42 Bảng 10 – Kết quả nhận dạng 2 lỗ mũi. 43 Bảng 11 – Kết quả xác định 2 khóe miệng 44 Bảng 12 – Danh sách kích thước ảnh mẫu kiểm tra 50 Bảng 13 – Sai số trung bình. 53 Bảng 14 – Kết quả xác định 2 điểm P7,P8 với 10 mẫu. 54 Chương 1. Giới thiệu Nguyễn Thành Trung 1 Chương 1 Giới thiệu Trong tất cả các nền văn minh từ trước đến nay, giao tiếp là một hoạt động không thể thiếu, nó xuất hiện mọi nơi mọi lúc, trong mọi lĩnh vực và ảnh hưởng trực tiếp tới cuộc sống của từng cá thể. Giao tiếp là một nhu cầu xã hội cơ bản, nó xuất hiện sớm nhất trong đời sống của mỗi người và là yếu tố ảnh hưởng trực tiếp tới quá trình hình thành lên tâm sinh lý của con người. Hơn thế nữa, giao tiếp giúp con người có thể truyền tải thông tin, học hỏi tri thức và thể hiện cảm xúc. Nhờ có giao tiếp làm cho con người văn hóa, xã hội văn minh và đất nước phát triển. Nhận thấy tầm quan trọng của hoạt động giao tiếp nên con người đã bỏ rất nhiều thời gian và công sức vào nghiên cứu yếu tố quyết định thành công của việc giao tiếp, không chỉ trong lĩnh vực giao tiếp giữa con người với con người, mà ngày nay con người đã bắt đầu nghiên cứu về các hệ thống tương tác người – máy. Mặt khác, trong giao tiếp thì khuôn mặt là nơi con người thể hiện suy nghĩ, tình cảm, thái độ nên để con người và máy tính có thể tương tác với nhau tự nhiên hơn thì các hệ thống được xây dựng dựa trên nền tảng là những thay đổi của khuôn mặt. Muốn xác định được các thay đổi đó cần trích chọn được ra các yếu tố riêng biệt của từng khuôn mặt, trên khía cạnh đó bài toán Trích chọn đặc trưng trên khuôn mặt ra đời là động lực to lớn thúc đẩy sự phát triển của các hệ thống tương tác người – máy tự động. Là một bài toán cơ bản và đã có rất nhiều các giải pháp trích chọn đặc trưng khác nhau được đưa ra nhưng hầu hết các giải pháp trước đó đều gặp khó khăn trong việc xử lý các bức ảnh khuôn mặt với độ phân giải khác nhau hay với những điều kiện ánh sáng không thuận lợi. Trong khóa luận này, chúng tôi sẽ trình bày về phương pháp lai để xác định các điểm đặc trưng trên khuôn mặt. Phương pháp lai này sẽ khắc phục được những khó khăn mà các phương pháp trước đó gặp phải như ảnh hưởng của điều kiện ánh sáng hay một số nhiễu trong ảnh. Dựa vào phương pháp lai này chúng tôi xây dựng lên một hệ thống để xác định 20 điểm đặc trưng, hệ thống đã được chạy thử nghiệm trên bộ dữ liệu Cohn – Kanade và cho kết quả khả quan. Phần còn lại của khóa luận được trình bày như sau: tại Chương 2 chúng tôi giới thiệu tổng quan về bài toán phát hiện khuôn mặt người trong ảnh 2D. Tiếp theo, chúng tôi [...]... pháp trên xuất hiện phương pháp thứ ba là phương pháp lai (hybrid) giữa hai phương pháp sử dụng đặc trưng hình học và đặc trưng diện mạo 13 Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung 3.2 Phương pháp trích chọn đặc trưng hình học 3.2.1 Tổng quan Những đặc trưng hình học thường là những vị trí đặc biệt trên khuôn mặt như góc của mắt, miệng,… hoặc là hình dáng của các bộ phận trên khuôn. .. Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung 3.3 Trích chọn đặc trưng diện mạo 3.3.1 Tổng quan Một dạng khác của trích chọn đặc trưng là trích trọn đặc trưng diện mạo để xác định những thay đổi trên khuôn mặt Một số phương pháp tiểu biểu như : Principle Component Analsys (PCA) [19], Gabor Wavelet Analysis [1,19] và Local Binary Pattern [20,21] và được áp dụng trên toàn bộ bề mặt bức... pháp trích chọn đặc trưng Trong chương này phần đầu chúng tôi sẽ trình bày tổng quan về các hướng tiếp cận để trích chọn đặc trưng Tiếp đó chúng tôi sẽ trình bày về hai hướng tiếp cận chính là trích chọn đặc trưng là trích chọn đặc trưng hình học và đặc trưng diện mạo 3.1 Các hướng tiếp cận Hiện nay có rất nhiều các phương pháp trích dẫn dữ liệu từ khuôn mặt, mỗi phương pháp có những ưu nhược điểm và đặc. .. với một điểm đặc trưng Mỗi một vector 15 Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung đặc trưng ứng với vùng ảnh kích thước 13x13 pixel, có độ lớn là 13x13x(18+1) = 8281 Những vector đặc trưng được sử dụng để xây dựng một mô hình và dự đoán một điểm có là điểm đặc trưng hay không Trong khi huấn luyện, mô hình đặc trưng Gentle – boost sử dụng các vector đặc trưng trích chọn từ các... pháp trích chọn đặc trưng trên khuôn mặt người trong Chương 3 Sau đó, tại Chương 4 chúng tôi trình bày về hệ thống nhận dạng các đặc trưng trên khuôn mặt của mình Cuối cùng là phần tổng kết, đánh giá và hướng phát triển chúng tôi trình bày trong Chương 5 2 Chương 2 Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung Chương 2 Phát hiện khuôn mặt người trong ảnh 2D 2.1 Giới thiệu Bài toán trích trọn đặc. .. trưng giống Haar, nếu có một đặc trưng giống Haar nào đó không cho ra kết quả là khuôn mặt người thì các đặc trưng khác không cần xét nữa Thứ tự xét các đặc trưng giống Haar trong chuỗi sẽ được xác định dựa vào trọng số của đặc trưng đó, do Adaboost quyết định dựa vào số lần và thứ tự xuất hiện của các đặc trưng giống Haar 12 Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung Chương... tra người lái xe có ngủ gật hay không, hệ thống phân tích cảm xúc trên khuôn mặt, hệ thống nhận dạng khuôn mặt cho các máy ảnh kỹ thuật số, Ngày nay, đã có rất nhiều các phương pháp trích chọn đặc trưng với những cách thức rất khác nhau nhưng tất cả các phương pháp đó đều bao gồm hai công đoạn chính là: Phát hiện khuôn mặt người trong ảnh,  Trích chọn đặc trưng  Để hiểu rõ hơn về bài toán trích chọn. .. Nguyễn Thành Trung 2.3 Nhận dạng khuôn mặt dùng đặc trưng giống Haar và Adaboost 2.3.1 Cơ sở lý thuyết đặc trưng giống Haar Một số đặc trưng giống Haar thường dùng như: + Đặc trưng cạnh (Edge Features): + Đặc trưng đường thẳng (Line Features): + Đặc trưng tâm – xung quanh (Center – surround Features): Dùng các đặc trưng trên ta có thế tính được các giá trị của đặc trưng giống Haar bằng cách lấy hiệu... thức của dữ liệu được trích dẫn thì chia ra làm 2 hướng tiếp cận chính: Thứ nhất, hướng tiếp cận dựa trên đặc trưng hình học là hướng tiếp cận dựa vào các bức ảnh trực diện khuôn mặt lấy từ khâu phát hiện khuôn mặt, trích chọn đặc trưng về hình học biểu diễn hình dáng, vị trí các phần của khuôn mặt như mắt, mũi, miệng, lông mày Cụ thể xác định một số các điểm đặc trưng trên khuôn mặt: 2 mống mắt, điểm... khóe miệng, một số các điểm khác ở vùng trán, mắt,… Thứ hai, hướng tiếp cận dựa trên đặc trưng diện mạo là hướng tiếp cận dựa vào cấu trúc phân bổ của cường độ sáng của điểm ảnh trên bề mặt của bức ảnh để trích chọn các đặc trưng Trong đó trích chọn đặc trưng diện mạo có ưu điểm là ít phức tạp hơn phương pháp trích chọn đặc trưng hình học, các khâu ít hơn nhưng độ chính xác thường thấp hơn Tùy thuộc vào . Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung ii Tóm tắt Bài toán trích chọn đặc trưng trên ảnh mặt người là bài toán cơ bản và quan trọng. phương pháp trích chọn đặc trưng 13 3.1 Các hướng tiếp cận 13 3.2 Phương pháp trích chọn đặc trưng hình học 14 3.2.1 Tổng quan 14 3.2.1 Xác định các điểm đặc trưng trên khuôn mặt 14 3.2.2. 3.2.2 Phát hiện hình dáng các bộ phận trên khuôn mặt 16 3.2.3 Nhân trắc học và áp dụng với phương pháp trích chọn đặc trưng hình học 17 3.3 Trích chọn đặc trưng diện mạo 19 3.3.1 Tổng quan 19