PHẦN MỞ ĐẦU Xử lý ảnh ngành khoa học đem lại cho người bước tiến vượt bậc mang tính cách mạng, đưa người tiến sang kỉ nguyên Một vài năm trở lại công nghệ thông tin với phát triển kéo theo phát triển hàng loạt ngành khoa học nhiều lĩnh vực khác sinh học, kinh tế, viễn thông, quân sự, giải trí… có bước tiến nhanh so với quy trình mà đáng phải trải qua Với phát triển ngày hoàn thiện công nghệ phần cứng, công nghệ phần mềm có bước tiến quan trọng đóng góp phần không nhỏ cho phát triển xã hội loài người đặc biệt lĩnh vực xử lý ảnh Hơn thập kỷ vừa qua, giới chứng kiến xuất nhiều công trình nghiên cứu toán xác định khuôn mặt người, từ ảnh đen trắng, xám đến ảnh màu, từ ảnh tĩnh đến liệu ảnh thu nhận từ camera ngày hôm Các nghiên cứu từ toán đơn giản, ảnh có khuôn mặt người nhìn thẳng vào thiết bị thu hình đầu tư thẳng đứng ảnh đen trắng Cho đến ngày hôm toán mở rộng cho ảnh màu, có nhiều khuôn mặt ảnh, có nhiều tư thay đổi ảnh Không mà mở rộng phạm vi từ môi trường xung quanh đơn giản (trong phòng thí nghiệm) môi trường xung quanh phức tạp (như tự nhiên) nhằm đáp ứng nhu cầu thật nhiều người Sở dĩ toán phát mặt người quan tâm nghiên cứu có nhiều ứng dụng thực tiễn sống Ở nước ta nay, việc kiểm soát tự động có nhiều bước phát triển đáng kể, việc ứng dụng công nghệ nhận dạng mặt người vào hệ thống giám sát tự động ngày thiết thực có khả ứng dụng rộng rãi nhiều lĩnh vực đời sống kinh tế xã hội Kiểm tra trạng thái người lái xe có ngủ gật, tập trung hay không, hỗ trợ thông báo cần thiết vấn đề cấp thiết giải toán an toàn giao thông, điều kiện Việt Nam, hàng ngày tai nạn giao thông trung bình cướp sinh mạng 30 người làm bị thương 60 người khác Vì vậy, em lựa chọn đề tài “Kiểm tra trạng thái biểu cảm khuôn mặt người lái xe”, bố cục nội dung luận văn bao gồm chương mục sau: Chương 1: Trình bày tổng quan sở lý thuyết xử lý ảnh phát mặt người ảnh Chương 2: Trình bày số vấn đề nhằm giải toán kiểm tra trạng thái biểu cảm khuôn mặt người Chương 3: Trình bày chức chương trình thử nghiệm Sleep1.0 Phần kết luận: trình bày nội dung làm được, hạn chế định hướng phát triển đề tài Tài liệu tham khảo: trình bày tài liệu tham khảo sử dụng để hoàn thành luận văn MỤC LỤC PHẦN MỞ ĐẦU MỤC LỤC DANH MỤC CÁC HÌNH CHƯƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH .8 1.1 Khái quát xử lý ảnh 1.2 Một số khái niệm xử lý ảnh .9 1.2.1 Ảnh số 1.2.2 Điểm ảnh 1.2.3 Mức xám (gray level) 1.2.4 Xử lý ảnh số cần phải xử lý ảnh số .10 1.3 Các vấn đề chung liên quan đến xử lý ảnh số 10 1.3.1 Xử lý ảnh mức thấp 11 1.3.2 Những khó khăn xử lý ảnh số .12 1.4 Ứng dụng hệ thống xử lý ảnh 13 1.5 Quá trình xử lý ảnh số 14 1.6 Các thành phần hệ thống xử lý ảnh 18 1.7 Phát mặt người ảnh 21 1.7.1 Khái niệm phát mặt người ảnh 21 1.7.2 Một số kỹ thuật xử lý ảnh sử dụng phát mặt người ảnh 21 CHƯƠNG 2: MỘT SỐ VẤN ĐỀ TRONG GIẢI QUYẾT BÀI TOÁN KIỂM TRA TRẠNG THÁI BIỂU CẢM KHUÔN MẶT 23 2.1 Trạng thái biểu cảm khuôn mặt người 23 2.1.1 Trạng thái, cảm xúc .26 2.1.2 Các trạng thái tâm lý .27 2.1.2.1 Trạng thái cân 28 2.1.2.2 Vui vẻ 28 2.1.2.3 Buồn rầu 29 2.1.2.4 Ngạc nhiên 29 2.1.2.5 Cáu giận 29 2.1.2.6 Phẫn nộ .30 2.1.3 Trạng thái ngủ gật .30 2.2 Phát mặt người ảnh 31 2.2.1 Phương pháp phân tích thành phần 31 2.2.1.1 Eigenface 36 2.2.1.2 Cách triển khai 37 2.2.2 Phương pháp sử dụng đặc trưng Haar kết hợp Adaboost 40 2.2.2.1 Adaboost 40 2.2.2.2 Đặc trưng Haar 42 2.3 Phát ngủ gật 45 2.3.1 Mắt thời gian thực, Gaze tư khuôn mặt 45 2.3.2 Phát theo dõi đồng tử .54 CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM .65 3.1 Biểu cảm trạng thái ngủ gật người lái xe .65 3.2 Thay đổi trạng thái đôi mắt 66 3.3 Giới thiệu chương trình .66 PHẦN KẾT LUẬN 69 TÀI LIỆU THAM KHẢO .71 DANH MỤC CÁC HÌNH Hình 1.1 Mô trình biến đổi hình học .13 Hình 1.2 Các thành phần hệ thống xử lý ảnh 18 Hình 2.1 a) Mô tả liệu đấu vào mặt phẳng chiều; b)Mô tả thành phần mặt phẳng 33 Hình 2.2 Dữ liệu khôi phục lại với thành phần 36 Hình 2.3 Mô tả hình thức không gian ảnh khuôn mặt không gian ảnh 38 Hình 2.4 Vài đặc trưng Haar 43 Hình 2.5 Áp dụng đặc trưng Haar vào ảnh 43 Hình 2.6 Vài đặc trưng Haar xây dựng 43 Hình 2.7 Mô tả SAT .44 Hình 2.8 Mô tả RSAT 44 Hình 2.9 Mô tả RSAT 45 Hình 2.10 Sơ đồ hệ thống giám sát cảnh báo 49 Hình 2.11 Tổng quan hệ thống giám sát cảnh giác cho tài xế .50 .51 Hình 2.12 Nguyên lý hiệu ứng đồng tử sáng tối 51 .51 Hình 2.13 Hồng ngoại chiếu sáng mắt (a) Hình ảnh đồng tử tối tạo đèn LEDs hồng ngoại không đặt trục quang học camera; (b) hình ảnh đồng tử sáng tạo đèn LEDs hồng ngoại đặt dọc theo trục quang học camera 51 .52 Hình 2.14 Cấu hình nguồn sáng IR 52 .53 Hình 2.15 Bức ảnh thực tế hình dạng hai vòng hồng ngoại chiếu sáng .53 .53 Hình 2.16 (a) sáng (b) hình ảnh đồng tử tối với tia sáng 53 Hình 2.17 Ví dụ thu hình ảnh với mong muốn hiệu ứng đồng tử sáng (a) Không có kính, (b) có kính; (c) Có kính râm 54 .55 Hình 2.18 Thiết kế camera bên động 55 .56 Hình 2.19 Sơ đồ hệ thống theo dõi phát đồng tử 56 .56 Hình 2.20 Hình loại bỏ can thiệp chiếu sáng (a) Vùng hình ảnh gồm ánh sáng xung quang ánh sáng hồng ngoại; (b) Vùng ảnh lẻ gồm ánh sáng bên ngoài; (c) Kết hình ảnh từ việc loại trừ (b) (a) 56 Hình 2.21 Loại bỏ can thiệp chiếu sáng qua việc loại trừ hình ảnh 57 Hình 2.22 Hình ảnh đồng tử sáng tối riêng biệt 58 .59 Hình 2.23 Sơ đồ khối vòng loại trừ hình ảnh .59 .60 Hình 2.24 Ánh sáng chói khung mắt có độ sáng cân với đồng tử 60 .61 Hình 2.25 Theo dõi phát đồng tử sử dụng lọc Kalman 61 .62 Hình 2.26 Quỹ đạo thực dự đoán vị trí đồng tử 30 khung hình trình tự .62 Hình 2.27 Lọc Kalman theo dõi kết với kính .62 Hình 2.28 Ví dụ theo dõi học trò theo can thiệp mạnh mẽ chiếu sáng bên 63 Hình 2.29 Định nghĩa thời gian nhắm mắt tốc độ mở /nhắm mắt 63 Hình 3.1 Trạng thái khuôn mặt thay đổi a) lúc bình thường, b) buồn ngủ 65 Hình 3.2 Sự thay đổi trạng thái mắt trái 66 Hình 3.3 Sự thay đổi trạng thái mắt phải 66 Hình 3.4 Sự thay đổi góc chụp đôi mắt .66 Hình 3.5 Lấy ảnh từ camera 67 Hình 3.6 Ảnh trạng thái mắt trái 67 Hình 3.7 Ảnh trạng thái mắt phải 68 CHƯƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH 1.1 Khái quát xử lý ảnh Xử lý ảnh lĩnh vực mang tính khoa học công nghệ Nó ngành khoa học mẻ so với nhiều ngành khoa học khác tốc độ phát triển nhanh, kích thích trung tâm nghiên cứu, ứng dụng, đặc biệt máy tính chuyên dụng riêng cho Xử lý ảnh đưa vào giảng dạy bậc đại học nước ta khoảng chục năm Nó môn học liên quan đến nhiều lĩnh vực cần nhiều kiến thức sở khác Đầu tiên phải kể đến Xử lý tín hiệu số môn học cho xử lý tín hiệu chung, khái niệm tích chập, biến đổi Fourier, biến đổi Laplace, lọc hữu hạn…Thứ hai, công cụ toán Đại số tuyến tính, Xác suất, thống kê Một số kiến thức cần thiết Trí tuệ nhân tạo, Mạng nơ ron nhân tạo đề cập trình phân tích nhận dạng ảnh Các phương pháp xử lý ảnh ứng dụng chính: Nâng cao chất lượng ảnh phân tích ảnh Ứng dụng biết đến nâng cao chất lượng ảnh báo truyền qua cáp từ Luân Đôn đến New York từ năm 20 kỉ XX Vấn đề nâng cao chất lượng ảnh có liên quan tới phân bố mức sáng độ phân giải ảnh Việc nâng cao chất lượng ảnh phát triển vào khoảng năm 50 kỉ XX Điều giải thích được, sau chiến thứ hai, máy tính phát triển nhanh tạo điều kiện cho trình xử lý ảnh số thuận lợi Năm 1964, máy tính có khả xử lý nâng cao chất lượng ảnh từ mặt trăng vệ tinh Ranger Mỹ bao gồm: làm đường biên, lưu ảnh Từ năm 1964 đến nay, phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng Các phương pháp tri thức nhân tạo mạng nơron nhân tạo, thuật toán xử lý đại cải tiến, công cụ nén ảnh ngày áp dụng rộng rãi thu nhiều kết khả quan 1.2 Một số khái niệm xử lý ảnh 1.2.1 Ảnh số Ảnh số tạo nên từ hàng trăm ngàn hàng triệu ô vuông nhỏ coi thành tố ảnh thường biết tên gọi pixels 1.2.2 Điểm ảnh Ảnh thực tế ảnh liên tục không gian giá trị độ sáng Để xử lý ảnh máy tính cần thiết phải tiến hành số hoá ảnh Trong trình số hoá, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thông qua trình lấy mẫu (rời rạc hoá không gian) lượng hoá thành phần giá trị mà nguyên tắc mắt thường không phân biệt điểm kề Trong trình người ta sử dụng khái niệm điểm ảnh gọi từ picture element Như vậy, ảnh tập hợp pixel Điểm ảnh hay gọi pixel (picture element, pels, image elements) xem dấu hiệu hay cường độ sáng toạ độ không gian đối tượng Ảnh xem tập hợp điểm ảnh Khi số hoá thường biểu diễn ma trận chiều a[i][j] mà phần tử có giá trị nguyên véc tơ cấu trúc màu 1.2.3 Mức xám (gray level) Mức xám kết mã hoá tương ứng cường độ sáng điểm ảnh với giá trị số - kết trình lượng hoá Cách mã hoá thường dùng 16, 32 hay 64 mức Mã hoá 256 mức phổ biến lý kỹ thuật Vì, 28=256 (0,…,255) nên với 256 mức, pixel mã hoá bit 1.2.4 Xử lý ảnh số cần phải xử lý ảnh số Trong dạng truyền thông bản: lời nói, văn bản, hình ảnh, âm hình ảnh dạng truyền thông truyền tải thông tin mạnh mẽ Bằng thị giác, người nhận biết hiểu giới xung quanh Ví dụ: Những hình ảnh trái đất, hình ảnh dự báo thời tiết… Có tới 99% lượng thông tin biết giới xung quanh nhận biết thông qua thị giác Việc trang bị cho máy tính có khả thị giác người việc dễ dàng Chúng ta sống không gian 3D, máy tính cố gắng phân tích đối tượng không gian 3D cảm biến có sẵn (camera) lại thường cho ảnh 2D Như vậy, việc mát thông tin hình ảnh xảy Với cảnh động di chuyển đối tượng hay di chuyển camera, tất việc làm cho việc mát sai lệch thông tin lớn Ngày nay, với phát triển ngành CNTT, mong muốn đưa hình ảnh mà người nhìn thấy vào máy tính để thực mục đích khác như: phân tích ảnh, phục hồi ảnh Để máy tính hiểu phân tích ảnh ảnh cần mã hoá biểu diễn dạng số gọi ảnh số Việc xử lý ảnh máy tính nhằm mục đích phân tích ảnh phục hồi thông tin bị sai lệch ảnh trình thu nhận Như vậy, xử lý ảnh số thực phép xử lý ảnh số máy tính Việc hiểu ảnh, phân tích ảnh thị giác máy nhằm mục đích nhân hiệu thị lực người, giúp nhận biết tốt giới xung quanh 1.3 Các vấn đề chung liên quan đến xử lý ảnh số Người ta chia xử lý ảnh thành mức: Xử lý ảnh mức thấp xử lý ảnh mức cao (thị giác máy) Phương pháp xử lý ảnh mức thấp thường sử dụng kiến thức (knowledge) nội dung hay ngữ nghĩa ảnh 10 trường xung quanh Hình 2.20 (a) cho thấy ảnh mà phần (phía bên trái) hình trông sáng, sáng với đồng tử Ngưỡng đơn giản hình ảnh hoàn toàn dựa vào cường độ lúc phát đồng tử vào xuất vùng sáng khác hình ảnh Để phát đồng tử, vùng sáng khác ảnh phải loại bỏ chúng gây bất lợi ảnh hưởng tới phát đồng tử Các cụm hình loại bỏ thực cách loại trừ hình ảnh chủ có chiếu sáng môi trường bên từ nguồn sáng đèn hồng ngoại ánh sáng môi trường xung quanh Kết ảnh có chứa hiệu ứng chiếu sáng đèn hồng ngoại ta thấy đồng tử sáng hình tối Kết tìm thấy hiệu lớn việc cải thiện vững mạnh tính xác thuật toán theo dõi mắt dướisự can thiệp mạnh mẽ chiếu sáng phía ngoài, ánh sáng mạnh chiếu tới nguồn hồng ngoại gần mô tả Hình 2.20 Hình 2.21 Loại bỏ can thiệp chiếu sáng qua việc loại trừ hình ảnh Để theo dõi mắt thực, loại trừ hình ảnh phải thực cách có hiệu thời gian thực Muốn làm điều cần thiết kế thiết bị thu Video phát từ khung hình chẵn xen kẽ (đầu máy ảnh) tín hiệu lẻ Sau sử dụng luân phiên để quay bên bên vòng 57 hồng ngoại tạo khu vực hình ảnh đồng tử sáng tối Sau chương trình viết để chia khung hình hành hai dạng hình ảnh (chẵn lẻ), đại diện cho hình ảnh đồng tử sáng tối riêng biệt Khu vực hình ảnh chắn loại trừ số hóa từ khu vực hình ảnh lẻ để tạo ảnh khác biệt Hình 2.22 Hình ảnh đồng tử sáng tối riêng biệt Xác định vị trí ban đầu đồng tử Kết hình ảnh đưa từ việc loại trừ chiếu sáng từ bên ngoài, đồng tử phát cách tìm kiểm toàn hình ảnh để xác định vùng sáng mà chúng đáp ứng kích thước, hình dạng hạn chế khoảng cách Để làm cửa sổ tìm kiếm phải quét toàn ảnh Tại vị trí, phần hình ảnh bao phủ cửa sổ kiểm tra để xác định số lượng phương thức phân phối cường độ Người ta cho phân phối cường độ theo phân phối không theo mẫu, đồng tử không bị bao phủ cửa sổ theo hai phương thức phân phối cường độ cửa sổ bao gồm đồng tử Ngưỡng sau áp dụng cho hình ảnh cửa sổ phân phối cường độ xác định hai phương thức Ngưỡng xác định tự động sử giảm thiểu khoảng cách 58 thông tin (Kullback [22]) Điều mang lại hình ảnh đôi bao gồm đốm đôi chứa đồng tử Điểm đốm đôi sau xác định hình dạng, kích thước, khoảng cách so với đồng tử khác đặc điểm chuyển động để đảm bảo đồng tử Các bước nhận dạng quan trọng số khu vực hình ảnh ánh sáng chói kính có mức độ sáng (xem Hình 2.24, ánh sáng chói bị loại bỏ tiến trình loại trừ hình ảnh) Chúng gây lỗi cho đồng tử mà không theo tiến trình xác minh Cửa sổ di chuyển đến vị trí việc xác nhận không thành công Trọng tâm đốm bị quay lại vị trí đồng tử bị phát việc xác nhận thành công Quá trình sau lặp lại để phát đồng tử khác Theo dõi đồng tử qua lọc Kalman Một vấn đề vô quan trọng để liên tục theo dõi người qua việc theo dõi đồng tử họ từ khung hình đến khung hình khác thời gian thực Hình 2.23 Sơ đồ khối vòng loại trừ hình ảnh Điều thực cách phát đồng tử khung hình Đây phương pháp phức tạp nhiên làm chậm tốc độ theo dõi đồng thử, làm cho việc theo dõi tử thời gian thực cần tìm kiếm hình ảnh lại cho khung hình Điều hoàn thành cách có hiệu cách sử dụng chương trình dự đoán định vị 59 Dự đoán liên quan tới việc xác định vị trí khoảng cách đồng tử khung hình dựa cào vị trí Định vị xác định xác vị trí thông qua tìm kiếm khu vực Bước đầu đảm bảo định vị hiệu xác cho bước thứ hai giới hạn khu vực tìm kiếm trung khung hình khu vực nhỏ Hình 2.24 Ánh sáng chói khung mắt có độ sáng cân với đồng tử Hai yếu tố quan trọng cần xem xét thực kế hoach Nhân tố tìm kiếm kích cỡ cửa sổ cho nhân tố thứ hai Một cửa sổ tìm kiếm lớn có kết tìm kiếm không cần thiết tốn thời gian cửa sổ tìm kiếm nhỏ dễ dàng thông tin đồng tử Một vài nhân tố ảnh hưởng đến kích thước cửa sổ tìm kiếm bao gồm kích cỡ đồng tử không chắc vị trí dự đoán Sự đa dạng kích cỡ đồng tử khoảng cách, đối tượng vị trí không chắn phụ thuộc vào tính đăng đặc tính đặc điểm nhiễu hình ảnh Một cách hiệu sử dụng cửa sổ tìm kiếm thích nghi, khu vực tìm kiếm xác định tự động dựa kích cỡ đồng tử lỗi vị trí Bộ lọc Kalman cung cấp chế để thực diều Bộ lọc Kalman tập hợp thuật toán đệ quy, ước tính vị trí đối tượng di chuyển không chắn khung thời gian Ở tìm kiếm đồng tử tính toán độ rộng khu vực lớn thết để tìm khung hình tiếp theo, xung quanh vị trí dự đoán để chắn tìm đồng tử với chắn định Các điều kiện đệ quy ước tính qua phép đo trước tiến trình lặp lại với ước tính sử dụng cho dự án dự đoán cho ước tính 60 Bản chất đệ quy tính hay lọc Kalman- làm cho việc thực khả thi nhiều thực tế Phương pháp theo dõi đồng tử dựa lọc Kalman định dạng cụ thể sau: Một chuỗi khung hình ảnh lưu lại Chuỗi hình ảnh cắt mẫu mối khung hình t, sau xử lý để xác định vị trí đồng tử Trạng thái đồng tử thời điểm (khung hình) đặc trưng vị trí vận tốc Đặt (ct,rt) đại cho vị trí điểm ảnh đồng tử ( trọng tâm nó) thời gian t (ut,vt) vận tốc thời điểm t theo hướng c r tương ứng Vector trạng thái thời điểm t thể xt = (ct,rt, ut,vt)t Hình 2.25 Theo dõi phát đồng tử sử dụng lọc Kalman Để nghiên cứu hiệu lực lọc Kalman cho theo dõi đồng tử, nghiên cứu khác biệt giữavị trí đồng tử dự đoán thực tế hình 2.26 Nó cho thấy quỹ đạo thực tế vị trí ước đoán 30 khung hình trình tự sử dụng lọc Kalman Nó rõ ràng từ minh họa vị trí đồng tử dự báo thực tế phụ hợp 61 Hình 2.26 Quỹ đạo thực dự đoán vị trí đồng tử 30 khung hình trình tự Kết theo dõi Hình 2.27 Lọc Kalman theo dõi kết với kính Chuyển động tần số nhấp nháy mắt, thời gian nhắm mắt, tốc độ nhắm mắt, PERCLOS tham số phát triển gần PERCLOS đo tỷ lệ phần trăm nhắm mắt theo thời gian, không kể thời gian dành cho việc nhắm mắt bình thường Nó coi tham số mắt hợp lệ để mô tả mệt mỏi lái xe [13] Nghiên cứu thực Wierwillw et al [25] cho thấy các lái xe cảnh giác có thấp nhiều số đo PERCLOS so với người lái xe buồn ngủ Một tham số mắt khác có tiềm số tốt mệt mỏi tốc độ nhắm / mở mắt, tức số lượng thời gian cần thiết để hoàn toàn nhắm mắt mở mắt Nghiên cứu sơ tốc độ nhắm mắt khác rõ rệt mắt buồn ngủ chịu cảnh báo Đối với nghiên cứu 62 này, tập trung vào tính toán thời gian thực hai thông số để mô tả chuyển động mí mắt Để có số đo (PERCLOS tốc độ nhắm mắt), đề xuất tiếp tục theo dõi đồng tử / đối tượng xác định thời gian thực, số lượng nhắm mắt dựa diện tích em đồng tử / ngươiđã bịt mí mắt Cụ thể, mắt nhắm xảy kích thước co lại đồng tử /con phát thu lại phần nhỏ (20%) kích thước thực Hình 2.28 Ví dụ theo dõi học trò theo can thiệp mạnh mẽ chiếu sáng bên Hình 2.29 Định nghĩa thời gian nhắm mắt tốc độ mở /nhắm mắt 63 Như thể hình 2.29, thời gian mắt nhắm riêng lẻ định nghĩa khác biệt thời gian hai khoảng khắc thời gian liên tiếp, t2 t3, kích thước đồng tử / 20% kích thước tối đa học sinh Và tốc độ mắt nhắm riêng lẻ định nghĩa khoảng thời gian t1 đến t2 t3 đến t4, thời gian kích thước đồng tử / từ 20% đến 80% kích thước thực tế Tính toán PERCLOS tốc độ nhắm mắt trung bình (AECS) Thời gian nhắm mắt riêng lẻ tốc độ nhắm mắt phản ánh mức độ tỉnh táo lái xe Cả hai PERCLOS AECS khoảnh khắc thời gian cụ thể tính toán khoảng thời gian cố định (30 s) Tốc độ trung bình nhắm/mở mắt tính trung bình số học tất tốc độ nhắm mắt thời gian cố định (30 s) Tuy nhiên, phép đo lường lần hai tham số không xác định lượng tỉnh táo người chất ngẫu nhiên Một cách xác mạnh mẽ tính toán trung bình chạy (thời gian theo dõi) tham số Trung bình chạy tính toán hai tham số thời gian sử dụng liệu liệu trường hợp thời gian trước ví dụ Để có trung bình chạy đo lường PERCLOS, chương trình liên tục theo dõi kích thước người giám sát việc nhắm mắt trường hợp thời gian Thời gian mắt nhắm tích lũy sử dụng để tính toán PERClos Chúng tính toán biện pháp đo PERCLOS dựa tỷ lệ nhắm mắt 30 giây Thời hạn tùy ý điều chỉnh người sử dụng 64 CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM Như biết, toán phát mặt người đặt từ lâu với hàng loạt đề tài khoa học xác lập, công trình nghiên cứu công bố, ứng dụng triển khai Trong chương trình bày hệ thống hóa số vấn đề việc phát biểu cảm khuôn mặt người ảnh từ tiến hành cài đặt thử nghiệm thuật toán phát mặt người ngủ gật sở đánh giá trạng thái nhắm mắt người lái xe 3.1 Biểu cảm trạng thái ngủ gật người lái xe Kỹ thuật phát trạng thái ngủ gật người lái xe trập trung vào thay đổi trạng thái đôi mắt khuôn mặt nhận dạng a) b) Hình 3.1 Trạng thái khuôn mặt thay đổi a) lúc bình thường, b) buồn ngủ Đối tượng cần phân tích ảnh khuôn mặt người hai trạng thái bình thường ngủ gật, dựa vào kiện ban đầu khuôn mặt bình thường đặc điểm nhận dạng quanh vùng mắt dùng làm sở so sánh với kiện nhận dạng đôi mắt trạng thái ngủ gật Công việc cần nhận dạng hệ thống bao gồm hai giai đoạn phát giám sát đồng tử: - Phát đồng tử bắt đầu với trình loại bỏ can thiệp ánh sáng từ bên ngoài, sau định vị cặp đồng tử ảnh - Theo dõi vị trí đồng tử tìm kiếm đồng tử dựa vào vị trí đồng tử khung hình trước 65 3.2 Thay đổi trạng thái đôi mắt Hình ảnh mắt trái phải trạng thái từ bình thường có thay đổi góc chụp, đồng tử thay đổi vị trí đến trạng thái ngủ gật Hình 3.2 Sự thay đổi trạng thái mắt trái Hình 3.3 Sự thay đổi trạng thái mắt phải Các hình ảnh đôi mắt góc chụp camera bị thay đổi thu nhận để làm trích trọn đặc trưng so sánh trạng thái đôi mắt Hình 3.4 Sự thay đổi góc chụp đôi mắt 3.3 Giới thiệu chương trình 66 Chương trình sử dụng tập liệu thu nhận qua camera lưu lại trình thay đổi trạng thái khuôn mặt khoảng thời gian định với file đầu vào xử lý dạng video Sau lấy ảnh mẫu đôi mắt lấy làm liệu để so sánh: Hình 3.5 Lấy ảnh từ camera Hình 3.6 Ảnh trạng thái mắt trái 67 Hình 3.7 Ảnh trạng thái mắt phải Chức quản lý ảnh mẫu Chức phần mềm cài đặt đưa số khung ảnh làm mẫu Cho phép chụp hình ảnh từ camera phân tách ảnh đôi mắt theo thư mục hình 3.6 3.7 Các bước thực sau: - B1: Mở camera quay mặt người lấy từ file video có sẵn - B2: Phân tích trích trọn đặc trưng ảnh làm mẫu so sánh - B3: Lưu mẫu vừa định nghĩa: lưu ảnh mẫu với điểm đặc trưng Chức quản lý điểm đặc trưng ảnh tiến hành so sánh, kết luận Các điểm đặc trưng ảnh hưởng trực tiếp đến kết luận chương trình cảnh bảo theo biểu cảm khuôn mặt Vì việc quản lý điểm đặc trưng cần thiết - B1: Dựa mẫu lưu lại , tiến hành phân tích đặc trưng theo quy tắc phân tích nêu chương - B2: Dựa kết phân tích đưa kết luận phù hợp 68 PHẦN KẾT LUẬN Hiện quốc gia tiên tiến: Xe hơi, xe khách, xe tải phương tiện giao thông đường thiếu đời sống hàng ngày Điều cho người cư ngụ thành phố lớn trung tâm quận, huyện Bài toán đặt nước ta với hệ thống giao thông đường không đồng phức tạp không đáp ứng nhu cầu di chuyển đại chúng Thực tế đưa kinh tế phát triển, nhu cầu cần thiết Các sở đào tạo lái xe mở nhiều không đáp ứng thị trường, thường hay rút ngắn công đoạn đào tạo lý thuyết kỹ thuật lái xe mà đào tạo theo cách đơn quen thuộc hàng ngày Do kinh phí đầu tư để xây dựng địa hình thực tế, phòng thí nghiệm đào tạo kỹ thuật lái xe phân tích biểu cảm, trạng thái người lái xe tốt để xử lý tình nguy hiểm Bên cạnh đó, toán phát mặt người đặt từ lâu với hàng loạt đề tài khoa học xác lập, công trình nghiên cứu công bố, ứng dụng triển khai Bài toán đặt nhiều thách thức khó khăn Trong luận văn này, tác giả tập trung nghiên cứu hướng phát mặt người nhận dạng biểu cảm khuôn mặt, cụ thể đạt kết sau: - Trình bày khái quát xử lý ảnh toán phát mặt người ảnh - Hệ thống hóa số vấn đề việc phát biểu cảm khuôn mặt người ảnh - Cài đặt thử nghiệm thuật toán phát mặt người ngủ gật sở đánh giá trạng thái nhắm mắt người lái xe Để cải tiến độ xác cho mô hình tại, công việc em tìm hiểu thêm việc triển khai giai đoạn phát số kỹ thuật học máy khác mạng neural, SVM, với cách trích rút đặc trưng khác mở rộng tập liệu khuôn mặt khuôn mặt Nhằm hướng tới hệ thống 69 phát hoàn chỉnh, em tiếp tục tìm hiểu tiếp cận vấn đề thu nhận thông số trực tiếp xe tốc độ, độ đánh lái v.v sau hướng tới việc tích hợp vào hệ thống giám sát tự động 70 TÀI LIỆU THAM KHẢO [1] Lương Mạnh Bá, Nguyễn Thanh Thủy, “Nhập môn xử lý ảnh số”, NXB khoa học kỹ thuật [2] Đỗ Năng Toàn, Phạm Việt Bình (2008) “Giáo trình xử lý ảnh”, NXB khoa học kỹ thuật [3] Morimoto, C.H., Koons, D., Amir, A & Flickner, M (2000) “Pupil detection and tracking using multiple light sources” Image and Vision Computing, 18: 331–335 [4] Ueno, H., Kaneda, M & Tsukino, M (1994), “Development of drowsiness detection system” Proceedings of 1994 Vehicle Navigation and Information Systems Sonference, Yokohama, Japan, August 1994, pp.15–20 [5] Saito, H., Ishiwaka, T., Sakata, M & Okabayashi, S (1994), “Applications of driver’s line of sight to automobiles–what can driver’s eye tell” Proceedings of 1994 Vehicle Navigation and Information Systems Conference, Yokohama, Japan, August 1994, pp.21–26 [6] Ueno, H., Kaneda, M & Tsukino, M (1994), “Development of drowsiness detection system” Proceedings of 1994 Vehicle Navigation and Information Systems Sonference, Yokohama, Japan, August 1994, pp.15–20 [7] Kaneda, M et al (1994) “Development of a drowsiness warning system” The 11th International Conference on Enhanced Safety of Vehicle, Munich [8] Onken, R (1994)Daisy, “An adaptive knowledge-based driver monitoring and warning system” Proceedings of 1994 Vehicle Navigation and Information Systems Conference, Yokohama, Japan, August 1994, pp.3–10 71 ... TRA TRẠNG THÁI BIỂU CẢM KHUÔN MẶT 23 2.1 Trạng thái biểu cảm khuôn mặt người 23 2.1.1 Trạng thái, cảm xúc .26 2.1.2 Các trạng thái tâm lý .27 2.1.2.1 Trạng thái cân... giao thông trung bình cướp sinh mạng 30 người làm bị thương 60 người khác Vì vậy, em lựa chọn đề tài Kiểm tra trạng thái biểu cảm khuôn mặt người lái xe , bố cục nội dung luận văn bao gồm chương... định khuôn mặt người Hay số tác giả gọi hướng tiếp cận hướng tiếp cận theo phương pháp học 22 CHƯƠNG 2: MỘT SỐ VẤN ĐỀ TRONG GIẢI QUYẾT BÀI TOÁN KIỂM TRA TRẠNG THÁI BIỂU CẢM KHUÔN MẶT 2.1 Trạng thái