CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP MỤC LỤC DANH MỤC HÌNH VẼ Hình 2.1: đặt trưng Haar-like Hình 2.2: Các đặc trưng mở rộng đặc trưng Haar-like sở Hình 2.3: Cách tính Integral Image ảnh Hình 2.4: Ví dụ cách tính nhanh tổng điểm ảnh vùng D ảnh Hình 2.5 : Ví dụ cách tính nhanh tổng điểm ảnh vùng D ảnh với đặc trưng xoay 45o Hình 2.6 : Boosting Hình 2.7 : cascade of classifiers Hình 2.8: Cascade of boosting classifiers Hình 3.1: Sơ đồ tổng quan hệ thống phát theo vết xe oto Hình 3.2a: Minh họa cho trình lấy mẫu xe (phía trước xe) Hình 3.2b: Minh họa cho trình lấy mẫu xe (phía trước xe) Hình 3.2c: Minh họa cho trình lấy mẫu xe (phía trước xe) Hình 3.3a: Minh họa cho trình lấy mẫu xe (phía sau xe) Hình 3.3b: Minh họa cho trình lấy mẫu xe (phía sau xe) Hình 3.4a: Minh họa trình kiểm thử sở liệu “cars.xml” Hình 3.4b: Minh họa trình kiểm thử sở liệu “cars.xml” Hình 3.4c: Minh họa trình kiểm thử sở liệu “cars.xml” 4-2016 CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP Hình 3.5: Sơ đồ khối chương trình nhận dạng xe oto Hình 3.6: Sơ đồ khối hệ thống hoàn chỉnh tổ chức phần mềm hệ thống Hình 3.7: Mô tả hệ thống phát xe oto dùng thuật toán Haar Hình 3.8: Mẫu camera sử dụng luân văn Hình 4.1: Kết Quả thực thi hệ thống với góc quay trực diện Hình 4.2: Kết Quả thực thi hệ thống với góc quay trực diện Hình 4.3: Kết thực thi hệ thống với góc quay lệch 30º 4-2016 CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP 4-2016 DANH MỤC BẢNG BIỂU Bảng 2.1: Thuật toán phát đồng thời co giãn vùng đặc trưng đối tượng [3, trang11] Bảng 3.1: Cấu trúc file sở liệu đặc trưng đối tượng xe oto Bảng 3.2: Mã lệnh điển hình thuật toán phát nhận dạng xe oto Bảng 3.3: Mã lệnh thực thuật toán đếm xe oto CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP DANH SÁCH CÁC TỪ VIẾT TẮT STT Từ viết tắt Tên đầy đủ SVM Support Vector Machine HMM Hidden Markov Model SNoW Sparse Network of Winnows SAT Summed Area Table OCR Optical Character Recognition OpenCV Open Source Computer Vision IPP Intel Intergrated Performance Primitives BSI Back-illuminated Sensor SoC System On Chip 4-2016 CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP 4-2016 MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU DANH SÁCH CÁC TỪ VIẾT TẮT CHƯƠNG I: TỔNG QUAN VỀ HỆ THỐNG DÒ TÌM OTÔ TRÊN ĐƯỜNG CAO TỐC 12 1.1 GIỚI THIỆU CHUNG 12 1.2 MỤC ĐÍCH NGHIÊN CỨU 13 1.3 CÁC ĐỀ TÀI ĐÃ NGHIÊN CỨU VÀ HƯỚNG NGHIÊN CỨU ĐỀ NGHỊ 13 1.4 TỔNG QUAN VỀ PHÁT HIỆN VÀ NHẬN DẠNG XE 14 1.4.1 Phát xe 14 1.4.2 Nhận dạng xe 14 1.5 LÝ DO THỰC HIỆN ĐỀ TÀI 14 1.6 MỤC TIÊU ĐỀ TÀI 15 1.7 NHIỆM VỤ LUẬN VĂN 15 1.7.1 Phạm vi thực 15 1.7.2 Dự kiến lĩnh vực ứng dụng đề tài 16 CHƯƠNG II: CƠ SỞ LÝ THUYẾT VỀ PHÁT HIỆN ĐỐI TƯỢNG 17 2.1 CÁC PHƯƠNG PHÁP PHÁT HIỆN HÌNH ẢNH XE 17 2.1.1 Phát dựa ảnh 17 2.1.2 Phát dựa dạng hình học 18 CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP 4-2016 2.2 PHƯƠNG PHÁP ĐƯỢC SỬ DỤNG TRONG LUẬN VĂN 20 2.2.1 Các đặc trưng Haar-like 20 2.2.2 Tổng quan Adaboot 23 2.2.2.1 Tiếp cận Boosting 24 2.2.2.2 Adaboost 25 2.2.3 Giai đoạn huấn luyện phân loại (stage) 29 2.2.4 Tầng phân loại (Cascade of Classifiers) 30 2.2.5 Cascade of boosting classifiers 33 2.2.6 Đặc tính co giãn vùng đặc trưng đối tượng 34 2.2.6.1 Phát biểu toán 34 1.2.6.2 Thuật toán 35 CHƯƠNG III : XÂY DỰNG HỆ THỐNG PHÁT HIỆN VÀ THEO VẾT XE OTO36 3.1 Ý TƯỞNG XÂY DỰNG VÀ HOẠT ĐỘNG CỦA HỆ THỐNG 36 3.2 TIẾN HÀNH XÂY DỰNG CƠ SỞ DỮ LIỆU ẢNH XE 37 3.2.1 Xây dựng sở liệu 37 3.2.1.1 Thu thập hình ảnh xe 37 3.2.1.3 Tiến hành lấy mẫu, tạo sở liệu huấn luyện 38 3.2.1.4 Tiến hành học huấn luyện cho máy tính 41 3.2.2 Ghi nhận thử mẫu sở liệu kết 45 3.3 TIẾN HÀNH XÂY DỰNG THUẬT TOÁN 47 3.3.1 Thuật toán phát xe 47 3.3.2 Thuật toán nhận dạng kiểu xe 47 CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP 4-2016 3.3.4 Thuật toán đếm số lượng đối tượng 49 3.4 TIẾN HÀNH XÂY DỰNG PHẦN MỀM 50 3.4.1 Chuẩn bị hệ thống công cụ lập trình thích hợp 50 3.4.2 Tổ chức chương trình phần mềm hệ thống 50 3.4.3 Sử dụng thuật toán Haar-like phối hợp với mã lệnh Visual C++ 52 3.4.4 Xây dựng phần mềm 53 3.5 HỆ THỐNG PHẦN CỨNG VÀ CÁC CÔNG CỤ LIÊN QUAN 54 3.5.1 Camera 54 3.5.2 Máy tính cá nhân công cụ phần mềm 55 3.6 VÀI NÉT VỀ THƯ VIỆN OPENCV 55 3.6.1 OpenCV gì? 55 3.6.2 Các hàm xử lý thư viện OpenCV 56 a , Các hàm xử lý liệu 56 b , Các hàm phân tích vận động theo vết đối tượng 57 c , Các hàm nhận dạng đối tượng 57 d, Các hàm giao diện thu nhận video 57 CHƯƠNG IV : KẾT QUẢ ĐẠT ĐƯỢC VÀ ĐÁNH GIÁ 58 4.1 KẾT QUẢ ĐẠT ĐƯỢC 58 4.2 DEMO HỆ THỐNG 59 4.3 NHẬN XÉT 61 4.3.1 Ưu điểm 61 4.3.2 Nhược điểm 61 CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP 4-2016 4.3.2.1 Chủ Quan 62 4.3.2.1 Khách Quan 62 4.4 KẾT LUẬN 64 CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP 4-2016 LỜI CẢM ƠN Trước tiên, xin cảm ơn thầy PGS.TS Nguyễn Tiến Dũng Th.S Nguyễn Việt Hưng gợi mở, quan tâm, giúp đỡ cho học viên suốt thời gian thực đề tài tốt nghiệp Bên cạnh đó, học viên xin gởi lời cảm ơn đến tất thầy cô trực tiếp giảng dạy suốt khóa học; người bạn quan tâm, động viên chia sẻ kiến thức kinh nghiệm chuyên ngành trình học tập rèn luyện vừa qua học viên Cũng xin chân thành cảm ơn quan tâm hỗ trợ, tạo điều kiện hết lòng động viên tinh thần lẫn vật chất thành viên gia đình suốt thời gian qua Sau cùng, học viên gởi lời chúc sức khỏe, hạnh phúc đến quý thầy cô, gia đình bạn bè Trường Đại học Bách Khoa Hà Nội Tháng năm 2016 Học Viên Cù Xuân Toản CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP 4-2016 ABSTRACT Now, in the age of the 21st century, thanks for the high speed development of Science and Technology, human is inventing and processing many scientific projects with theirs mega-structures From the alternatives of machines and engines instead of human in works which required a high-level of decision and concentrating, the results, facts and effects is being trusted These things are really huge meaning, thus increases values of lives ‘s quality days by days In this thesis, issues named “Vehicles Detection and Recognition Based on Computer Vision”, also have same ways of thinking above This is one of the most amazing applications and projects which is resrearched and approached by many scientists who working in fields of “Computer Vision” and “Digital Image Processing” cause of demands in real lives and diversified approaching methods This project shows some problems which related to the basic knowledge that being built on contents within The author used tools called “OpenCV” to apply Haarlike features that ran on Visual C++.NET environment and AdaBoost (Adaptive Boost) algorithms to speed up the detection and recognition processing on all perspectives and types of vehicles Results have got a feature called “realtime effects” in detection and recognition.This is importance for modifying traffics, controlling lanes, extracting information of vehicles, … 10 CÙ XUÂN TOẢN LUÂN VĂN TỐT NGHIỆP 4-2016 Với “cars.xml” file sở liệu chứa đặc trưng xe oto huấn luyện với góc nhìn phía trước phía sau xe c) Dùng khung hình chữ nhật bao quanh đối tượng phát Khi xe oto phát nhận dạng, dùng hình chữ nhật màu đỏ bao bao quanh đối tượng cvRectangle(img, cvPoint(r->x, r->y), cvPoint(r->x + r->width, r->y + r->height), CV_RGB(255, 0, 0), 2, 8, 0); d) Đếm hiển thị số lượng xe oto std::cout