Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CNTT & TRUYỀN THÔNG  Nguyễn Thị Hƣơng HỆ THỐNG XÁC ĐỊNH & ĐÁNH GIÁ TRẠNG THÁI MẮT NGƢỜI Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS. Vũ Duy Linh Thái Nguyên - 2013 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii LỜI CẢM ƠN Em xin trân trọng cảm ơn các thầy giáo, cô giáo trong Viện Công nghệ thông tin, trường Đại học Công nghệ thông tin và truyền thông, Đại học Thái Nguyên đã nhiệt tình giảng dạy và hết lòng giúp đỡ em trong quá trình học tập và nghiên cứu đề tài. Luận văn được hoàn thành tại trường Đại học Công nghệ thông tin và truyền thông dưới sự hướng dẫn của TS Vũ Duy Linh. Em xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới thầy. Em cũng xin chân thành cảm ơn các bạn đồng nghiệp phòng Khảo thí & Đảm bảo chất lượng trường Đại học Hải Phòng đã tạo điều kiện giúp đỡ trong quá trình hoàn thành luận văn này. Sự quan tâm, giúp đỡ của gia đình và bạn bè, đặc biệt lớp Cao học K9C trường Đại học Công nghệ thông tin và truyền thông đã cổ vũ, động viên em trong suốt thời gian học tập và thực hiện đề tài. Mặc dù có nhiều cố gắng song luận văn không thể tránh khỏi những thiếu sót, tác giả mong nhận được sự đóng góp ý kiến của các thầy cô và các bạn. Xin chân thành cảm ơn! Thái Nguyên, tháng 01 năm 2013 Tác giả Nguyễn Thị Hương Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “ Hệ thống xác định & đánh giá trạng thái mắt ngƣời ” là do tôi tự tìm hiểu và đƣợc hoàn thành dƣới sự hƣớng dẫn của thầy giáo TS Vũ Duy Linh Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4 MC LC MỞ ĐẦU i CHƢƠNG I. TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN XÁC ĐỊNH MẶT NGƢỜI TRONG ẢNH SỐ 10 1.1. Xử lý ảnh và các vấn đề cơ bản trong xử lý ảnh. 10 1.1.1. Xử lý ảnh là gì? 10 1.1.2. Các vấn đề cơ bản trong xử lý ảnh 11 1.2. Chuẩn sinh trắc học ( Biometric ) 14 1.2.1. Định nghĩa chuẩn sinh trắc học : 14 1.2.2. Ứng dụng của chuẩn sinh trắc học 14 1.3. Bài toán xác định mặt ngƣời trong ảnh số. 17 1.3.1. Giới thiệu về bài toán xác định mặt ngƣời trong ảnh số 17 1.3.2. Định nghĩa bài toán xác định mặt ngƣời. 17 1.3.3. Các phƣơng pháp chính xác định mặt ngƣời 17 1.4. Ƣu điểm của việc xác định vị trí mắt 18 CHƢƠNG 2. CÁC PHƢƠNG PHÁP XÁC ĐỊNH VỊ TRÍ MẮT NGƢỜI TRÊN KHUÔN MẶT 20 2.1. Xác định tọa độ mắt bằng cách sử dụng các so sánh mẫu 21 2.1.1. Phƣơng pháp 21 Bằng cách sử dụng hai mô hình 21 2.1.2. Những thuận lợi và khó khăn xác định vị trí mắt khi sử dụng phƣơng pháp so sánh mẫu 26 2.2. Xác định tọa độ mắt sử dụng phƣơng pháp Moments 26 2.3. Xác định tọa độ mắt bằng cách sử dụng phƣơng pháp chiếu 33 2.4. Xác định tọa độ mắt sử dụng phƣơng pháp Knowledge 46 CHƢƠNG 3. XÂY DỰNG CHƢƠNG TRÌNH VÀ CÀI ĐẶT THỬ NGHIỆM 47 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 5 3.1. Giới thiệu về Matlab 47 3.2. Thuật toán để phát hiện vị trí của mắt cho hình ảnh sắc nét 47 3.3. Mô tả các CSDL dùng cho thực nghiệm 53 3.3.1. CSDL ORL. 53 3.3.2. CSDL FERET. 54 3.3.3. CSDL SIMILAR. 55 3.3.4. CSDL BIOID. 56 3.4. Phƣơng pháp đánh giá độ chính xác: 57 3.5. Hệ thống đánh giá trạng thái mắt ngƣời 59 3.6. Cấu trúc hệ thống 63 KẾT LUẬN 66 TÀI LIỆU THAM KHẢO 67 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 6 DANH MC CÁC HÌNH VẼ, ẢNH CHP Số hiệu hình vẽ Tên hình vẽ Trang 1.1 Quá trình xử lý ảnh 3 1.2 Các giai đoạn trong xử lý ảnh 3 1.3 Các điểm trên khuôn mặt 12 2 Kết quả xác định các thông số khuôn mặt 13 2.1 Tìm kiếm trung tâm mắt sử dụng phƣơng pháp so sánh mẫu 14 2.2 Các biến thể của các mẫu dùng xác định vị trí mắt 15 2.3 Kết quả xác định vị trí của vùng mắt 16 2.4 Kết quả xác định vị trí của mắt bằng việc sử dụng mẫu b4 17 2.5 Trích chọn vùng mắt trái bằng cách xử lý hai giai đoạn 18 2.6 Xác định tọa độ trung tâm trên hình ảnh nhị phân 19 2.7 Xác định tọa độ trung tâm dựa trên hai phƣơng pháp 21 2.8 Ảnh khuôn mặt, cho mà dự toán tọa độ mắt là sai 22 2.9 Ví dụ ƣớc tính chính xác của tọa độ mắt 23 2.10 Sử dụng các thành phần I2 để xác định trung tâm mắt 25 2.11 Thủ tục xác định tọa độ của mắt (biến thể "a"). 28 2.12 Chức năng hoạt nghiệm 28 2.13 Kết quả xác định vị trí mắt sử dụng phƣơng pháp chiếu 30 2.14 Cửa sổ hàm W cho các phiên bản khác nhau của phép quay đầu 31 2.15 Hàm S và F cho các phiên bản khác nhau cảu phép quay đầu 32 2.16 Kết quả dùng phƣơng pháp đơn gian hóa 32 2.17 Một số kết quả xác định tọa độ mắt của CSDL ỎL 33 2.18 Mô hình khuôn mặt đƣợc sử dụng để thử nghiệm 34 2.19 Tính toán và xác minh tọa độ của mắt 34 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 7 2.20 Kết quả tính toán của mắt dòng vị trí trong mỗi nửa mặt 35 2.21 Bám sát vị trí của dòng mắt 38 2.22 Vị trí của dòng mắt trong mỗi nửa mặt. 38 2.23 Tính toán của mắt phối hợp trong chuỗi video 39 3.1 Sơ đồ khối của phƣơng pháp 41 3.2 Kết quả thuật toán xác định vị trí mắt ngƣời 45 3.3 Một số kết quả khác 45 3.4 CSDL ORL 46 3.5 Cơ sở dữ liệu hình ảnh khuôn mặt FERE 47 3.6 Mặt hình ảnh cơ sở dữ liệu tƣơng tự 49 3.7 Cơ sở dữ liệu hình ảnh khuôn mặt BIOID 49 3.8 Trung tâm phối hợp mắt và mối quan hệ giữa chúng 50 3.9 Định vị trí của mắt trên CSDL FERET 51 3.10 Xác định vị trí của mắt trên CSDL BIOID 51 3.11 Giai đoạn tỉnh táo sắp ngủ và ngủ 53 3.12 Đánh giá hƣớng quay theo vị trí mắt ngƣời 55 3.13 Hệ thống đánh giá trạng thái mắt ngƣời 57 3.14 Một ví dụ về việc đánh giá trạng thái của mắt 58 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 8 MỞ ĐẦU Thông tin con ngƣời thu nhận từ thế giới bên ngoài, đến hơn 80% đƣợc ghi nhận bằng mắt tức là ở dạng ảnh. Vì vậy xử lý ảnh là một ngành khoa học đã, đang và sẽ phát triển mạnh có ứng dụng rộng rãi trong khoa học và đời sống thực tiễn nhƣ vẽ bản đồ, trong lĩnh vực quảng cáo, siêu thị, trong quân sự…. Xác định mắt ngƣời trên khuôn mặt là một kỹ thuật máy tính để xác định các vị trí và các kích thƣớc của mắt ngƣời trong các ảnh bất kỳ (ảnh kỹ thuật số). Nhận dạng mắt ngƣời là một trong những công việc cơ sở chủ yếu cho việc căn chỉnh mặt ngƣời và nhận dạng mặt ngƣời. Việc nhận dạng mắt ngƣời này đang đối mặt với nhiều thách thức khác nhau nhƣ hƣớng nhìn, biểu hiện cảm xúc của mặt ngƣời thay đổi và các điều kiện ánh sáng khác nhau thay đổi. Hệ thống nhận dạng làm việc theo cơ chế so sánh ảnh mặt ngƣời đầu vào với các ảnh mặt ngƣời đƣợc lƣu trữ trong CSDL(Face Recognition System). Công nghệ nhận dạng mặt ngƣời là một trong những lĩnh vực phát triển nhanh nhất trong các hệ thống sinh trắc học. Công nghệ sử dụng khuôn mặt để nhận dạng và điểm đặc biệt là có thể thực hiện việc nhận dạng mà không cần sự tƣơng tác với ngƣời nhƣ 1 số công nghệ khác(vân tay, con ngƣơi…). Ngày nay công nghệ nhận dạng mặt ngƣời đƣợc đƣa vào sử dụng trong nhiều lĩnh vực trong cuộc sống nhƣ truy tìm tội phạm, đảm bảo an ninh, hộ chiếu điện tử… Biometric là một phƣơng pháp nhận ra danh tánh của một ngƣời dựa trên Physiological hoặc hành vi đặc trƣng,các tính năng đo đƣợc mặt, dấu vân tay, bàn tay geometry, iris, retinal, giọng nói… biometric xác thực ngày càng đƣợc sử dụng trong các lĩnh vực nhƣ ngân hàng, bán lẻ, quốc phòng, sản xuất, y tế các ngành công nghiệp, chứng khoán, khu vực công, sân bay an ninh…Sự phát triển của biometric trên cơ sở sử dụng mặt ngƣời ngày càng lớn. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 9 Xác định vị trí khuôn mặt là 1 trong những điều kiện quan trọng nhất trong hệ thống nhận dạng mặt ngƣời. Hiệu suất làm việc của hệ thống phụ thuộc vào việc xác định chính xác vị trí mặt ngƣời trong ảnh ở đầu vào cũng nhƣ việc xác định vị trí mặt ngƣời khi xây dựng cơ sở dữ liệu cho hệ thống. Xác định chính xác vị trí mắt ngƣời giúp cho các phƣơng pháp xử lý ảnh mặt ngƣời đƣợc dễ dàng hơn. Ví dụ sau khi xác định đƣợc vị trí mắt ngƣời có thể sử dụng để xác định đƣờng đối xứng của khuôn mặt, xây dựng model của khuôn mặt, sử dụng trong các bài toán đánh giá trạng thái của mắt ngƣời, chuẩn hóa khuôn mặt theo chuẩn Sinh trắc học. Đó là lý do mà em chọn đề tài “ Hệ thống xác định & đánh giá trạng thái mắt ngƣời ”. Luận văn đƣợc trình bày gồm có 3 chƣơng:  Chƣơng 1 . Tổng quan về xử lý ảnh và bài toán xác định mặt ngƣời.  Chƣơng 2 . Các phƣơng pháp xác định vị trị mắt ngƣời Gồm có : 4 phƣơng pháp 1. Xác định tọa độ mắt sử dụng mẫu so sánh. 2. Xác định tọa độ mắt sử dụng phƣơng pháp Moments. 3. Xác định tọa độ mắt sử dụng phƣơng pháp chiếu. 4. Xác định tọa độ mắt sử dụng phƣơng pháp Knowlegde.  Chƣơng 3 . Xây dựng chƣơng trình và cài đặt Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 10 CHƢƠNG I. TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN XÁC ĐỊNH MẶT NGƢỜI TRONG ẢNH SỐ 1.1. Xử lý ảnh và các vấn đề cơ bản trong xử lý ảnh. 1.1.1. Xử lý ảnh là gì? Quá trình xử lý ảnh đƣợc xem nhƣ là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận. Hình 1.1 Quá trình xử lý ảnh Mục đích của xử lý ảnh gồm: - Biến đổi ảnh, làm tăng chất lƣợng ảnh. - Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá các nội dung của ảnh. Nhận biết và đánh giá đƣợc nội dung của ảnh là để phân biệt đƣợc đối tƣợng này với đối tƣợng khác, từ đó ta có thể mô tả đƣợc ảnh ban đầu. Có một số phƣơng pháp nhận dạng nhƣ: nhận dạng cạnh của một số đối tƣợng trên ảnh, tách cạnh, phân đoạn hình ảnh …. Các kỹ thuật này đƣợc ứng dụng nhiều trong y học nhƣ: xử lý tế bào, nhiễm sắc thể; nhận dạng chữ viết trong văn bản… Hình 1.2: Các giai đoạn trong xử lý ảnh Ảnh Xử lý ảnh Ảnh “tốt hơn” Kết luận Lƣu trữ Tiền xử lý lylý Trích chọn đặc điểm Hệ quyết định Thu nhận ảnh (Scanner, Camera, Senssor ) Hậu xử lý Đối sánh rút ra kết luận [...]... quan tới việc xác định vị trí mắt ngƣời: Xác định trạng thái mắt nhắm hay mở (hệ thống đặt trên ô tô để kiểm soát lái xe, hay hệ thống kiểm tra bảo vệ ngủ tại các cơ quan quan trọng, xác định hƣớng nhìn của khuôn mặt dựa trên vị trí mắt, xây dựng model khuôn mặt… Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 20 CHƢƠNG 2 CÁC PHƢƠNG PHÁP XÁC ĐỊNH VỊ TRÍ MẮT NGƢỜI TRÊN... của việc trích vùng mắt và đối xứng của vùng liên quan với con ngƣời đƣợc xác định vị trí mắt Mặt khác, tính chính xác của trích chọn của vùng mắt và đối xứng của nó phụ thuộc vào chất lƣợng của các mẫu và thích nghi với mắt trên hình ảnh đƣa vào Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 22 Các biến thể của mẫu, nó đƣợc sử dụng xác định vị trí vùng mắt, đƣợc trình bày... nhau nhƣ hình dạng của mắt ngƣời; 2 Thay đổi thủ tục tìm vùng mắt; 3 Sử dụng thêm toán tử xác định vị trí của mắt trung tâm bên trong các khu vực đƣợc xác định Mẫu 1 2 3 4 Hình 2.3 Kết quả xác định vị trí của vùng mắt Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 24 Ảnh hƣởng của hình dạng mẫu trên kết quả xác định vị trí của mắt (đối xứng của vùng mắt ) đƣợc trình bày... các luật xác định mặt ngƣời nên chỉ đƣợc áp dụng trong một số ứng dụng nhƣ nhận dạng thẻ căn cƣớc Nó chỉ đƣợc phát triển mạnh mẽ từ những năm 1990 khi có những tiến bộ trong công nghệ video và ngày nay thì các ứng dụng của xác định mặt ngƣời đã trở nên phổ biến trong cuộc sống 1.3.2 Định nghĩa bài toán xác định mặt ngƣời Xác định khuôn mặt ngƣời là một kỹ thuật máy tính để xác định các vị trí và kích... nhận đƣợc của vùng mắt xác định vị trí hiển thị cao hiệu quả và hữu ích thực tế của phƣơng pháp so sánh các mẫu (bất kể là đã lựa chọn mắt trái hoặc mắt phải).Ta có thể biết chắc chắn rằng kết quả xác định vị trí không phụ thuộc vào biến thể của mẫu đƣợc sử dụng Tuy nhiên, một trong những chú ý là những trở ngại trên khuôn mặt (mắt đóng và kính) có ảnh hƣởng đáng kể vào kết quả xác định vị trí Bên cạnh... khuôn mặt, tọa độ của các mắt trung tâm và trục đối xứng khuôn mặt, khoảng cách giữa các trung tâm của mắt Hình 2 Kết quả xác định các thông số khuôn mặt Trục đối xứng khuôn mặt có thể đƣợc xác định từ ví dụ trên cơ sở tọa độ của các mắt trung tâm hay góc của mắt Tuy nhiên, hiệu quả của phƣơng pháp phát hiện mắt (hoặc xác định tọa độ của mắt góc) là giới hạn thông qua đôi mắt có thể đóng cửa hoặc ảnh... đen trắng cho đến mở rộng cho ảnh mầu và có nhiều mặt ngƣời trong ảnh Đến nay các bài toán xác định mặt ngƣời đã mở rộng với nhiều miền nghiên cứu nhƣ nhận dạng khuôn mặt, định vị khuôn mặt, xác định trạng thái mắt ngƣời, theo dõi mặt ngƣời hay nhận dạng cảm xúc mặt ngƣời… Phát hiện mặt ngƣời trong ảnh là phần đầu tiên của một hệ thống nhận dạng mặt ngƣời Các hệ thống nhận dạng khuôn mặt đƣợc bắt đầu... nghệ nhận dạng sinh trắc học đƣợc coi là tốt nhất Tuy nhiên, mặc dù độ chính xác cao, mọi ngƣời thƣờng nghĩ rằng công nghệ này là không thuận tiện Vì vậy, rất khó để có đƣợc chấp nhận phổ quát của ngƣời dùng cuối Giác mạc đã đƣợc quét bằng máy quét cần thiết để đọc thông tin giác mạc trong thẳng đứng cố định của nó Scanner cho mắt và mù mắt giác mạc và với ngƣời dân là không hợp lệ  Bề mặt lỗ Hệ thống. .. khu vực xác định vị trí mắt Hình 2.1 Tìm kiếm trung tâm mắt sử dụng phương pháp so sánh mẫu Trong ví dụ này, mắt trung tâm là giao điểm đƣờng chéo của hình chữ nhật trên khu vực xác định vị trí mắt Đây cũng là trung tâm của hình chữ nhật - điểm này đƣợc đặt ở giữa của chiều rộng và chiều cao của hình chữ nhật Từ kết quả này, tính chính xác độ tính toán tọa độ của mắt phụ thuộc vào độ chính xác của... Những thuận lợi và khó khăn xác định vị trí mắt khi sử dụng phƣơng pháp so sánh mẫu  Bất lợi chính của phƣơng pháp đƣợc mô tả này là không thể xác định vị trí chính xác tọa độ của mắt trong trƣờng hợp ngƣời đeo kính hoặc mắt nhắm  Lợi thế của phƣơng pháp này là nhận thức là đơn giản, hơn thế nữa đƣợc thực hiện trên cơ sở các ứng dụng định kỳ duy nhất của một thủ tục 2.2 Xác định tọa độ mắt sử dụng phƣơng . vị trí mắt ngƣời 55 3.13 Hệ thống đánh giá trạng thái mắt ngƣời 57 3.14 Một ví dụ về việc đánh giá trạng thái của mắt 58 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên. tới việc xác định vị trí mắt ngƣời: Xác định trạng thái mắt nhắm hay mở (hệ thống đặt trên ô tô để kiểm soát lái xe, hay hệ thống kiểm tra bảo vệ ngủ tại các cơ quan quan trọng, xác định hƣớng. phụ thuộc vào việc xác định chính xác vị trí mặt ngƣời trong ảnh ở đầu vào cũng nhƣ việc xác định vị trí mặt ngƣời khi xây dựng cơ sở dữ liệu cho hệ thống. Xác định chính xác vị trí mắt ngƣời