BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP.HCM oOo PHẠM NHỰT TÙNG NHẬN DẠNG BIỂN BÁO GIAO THÔNG HỖ TRỢ LÁI XE LUẬN VĂN THẠC SĨ KỸ THUẬT TP. HCM 12- 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP.HCM oOo PHẠM NHỰT TÙNG NHẬN DẠNG BIỂN BÁO GIAO THÔNG HỖ TRỢ LÁI XE CHUYÊN NGÀNH: KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA MÃ SỐ: 605260 LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. NGUYỄN ĐỨC THÀNH TP. HCM 12- 2013 LUẬN VĂN ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI THÀNH PHỐ HỒ CHÍ MINH Cán bộ hướng dẫn khoa học : TS.Nguyễn Đức Thành Cán bộ chấm nhận xét 1 : TS. Hoàng Minh Trí Cán bộ chấm nhận xét 2 : TS.Đinh Hoàng Bách Luận văn thạc sĩ được bảo vệ tại Trường Đại học Giao thông vận tải Tp. HCM ngày 27 tháng 12 năm 2013 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. PGS.TS Đồng Văn Hướng Chủ tịch Hội đồng; 2. TS. Hoàng Minh Trí Ủy viên, phản biện; 3. TS. Đinh Hoàng Bách Ủy viên, phản biện; 4. TS. Nguyễn Hữu Chân Thành Ủy viên, thư ký; 5. TS. Đặng Xuân Kiên Ủy viên. Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa. CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN-ĐTVT (ký tên) PGS.TS Đồng Văn Hướng (ký tên) TS.Võ Công Phương PHỤ LỤC : HỆ THỐNG BIỂN BÁO HIỆU GIAO THÔNG ĐƯỜNG BỘ VIỆT NAM MỤC LỤC LIỆT KÊ CÁC BẢNG 2 CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN 5 1.1 GIỚI THIỆU 5 1.2 MỤC ĐÍCH NGHIÊN CỨU 6 1.3 CÁC ĐỀ TÀI ĐÃ NGHIÊN CỨU, THÀNH TỰU ỨNG DỤNG VÀ HƯỚNG NGHIÊN CỨU ĐỀ NGHỊ 6 1.4 TỔNG QUAN VỀ GIẢI THUẬT PHÁT HIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THÔNG 8 1.4.1 Phát hiện biển báo giao thông 8 1.4.2 Phân loại biển báo giao thông 9 1.5 LÝ DO THỰC HIỆN ĐỀ TÀI 10 1.6 MỤC TIÊU ĐỀ TÀI 11 1.7 NHIỆM VỤ LUẬN VĂN 11 1.7.1 Phạm vi thực hiện 11 1.7.2 Dự kiến các lĩnh vực ứng dụng của đề tài 11 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 12 2.1 CÁC PHƯƠNG PHÁP PHÁT HIỆN BIỂN BÁO GIAO THÔNG 12 2.1.1 Phát hiện, phân loại dựa trên ảnh 15 2.1.2 Phát hiện, phân loại dựa trên dạng hình học 16 2.2 PHƯƠNG PHÁP ĐƯỢC SỬ DỤNG TRONG LUẬN VĂN 17 2.2.1 Phát hiện biển báo giao thông 18 2.2.2 Biểu diễn ảnh 24 2.2.3 Phép biến đổi khoảng cách ảnh màu 27 2.2.4 Nhận dạng biển báo giao thông sử dụng phép biến đổi ảnh CDT 29 2.2.5 Lựa chọn đặc trưng 32 CHƯƠNG 3: XÂY DỰNG HỆ THỐNG 39 3.1 Ý TƯỞNG XÂY DỰNG VÀ HOẠT ĐỘNG CỦA HỆ THỐNG 39 3.2 HỆ THỐNG PHẦN CỨNG LIÊN QUAN 40 3.2.1 Webcam 40 3.3 HỆ THỐNG PHẦN MỀM LIÊN QUAN 41 3.3.1 Hệ điều hành Fedora 12 41 3.3.2 Thư viện mã nguồn mở về thị giác máy tính OpenCV 42 3.3.3 Thực thi chương trình và giải thuật 47 CHƯƠNG 4: KẾT QUẢ - NHẬN XÉT VÀ PHÂN TÍCH 56 4.1 KẾT QUẢ 56 4.2 NHẬN XÉT 72 4.2.1 Ưu điểm 72 4.2.2 Khuyết điểm 72 4.3 PHÂN TÍCH KẾT QUẢ ĐẠT ĐƯỢC 74 CHƯƠNG 5: KẾT LUẬN 76 5.1 KẾT QUẢ ĐẠT ĐƯỢC VÀ Ý NGHĨA 76 5.1.1 Kết quả đạt được 76 5.1.2 Ý nghĩa 77 5.2 HƯỚNG PHÁT TRIỂN 77 1 LIỆT KÊ CÁC HÌNH Hình 1.1 : Hệ thống nhận diện biển báo giao thông và xác định làn đường trong mẫu xe Opel/Insignia Hình 1.2 : Mô hình hệ thống nhận dạng biển báo giao thông đề nghị Hình 2.1 : Các không gian biểu diễn màu thông thường Hình 2.2 : Hình ảnh thể hiện kết quả nhận dạng biển báo giao thông Hình 2.3 : Phân chia các vùng màu HSV Hình 2.4 : Kết quả phân tách các màu quan tâm (đỏ, xanh, vàng) Hình 2.5 : Lược đồ cơ bản của AdaBoost Hình 2.6 : Một số cặp hình biển báo có mô tả histogram gần giống nhau Hình 2.7 : Phép tách màu và biến đổi khoảng cách màu (CDT) tương ứng Hình 2.8 : Khung ảnh đối tượng trước và sau khi lọc bỏ các điểm ảnh nằm ngoài đường biên và định dạng lại theo kích thước chuẩn 60x60 Hình 2.9 : Phép định dạng kích thước ảnh sử dụng giải thuật nội suy theo giá trị điểm lân cận gần nhất với không gian 1 chiều và 2 chiều Hình 2.10: Mô tả giải thuật lựa chọn vùng ảnh đặc trưng và trọng số tương ứng Hình 2.11: Một số hình ảnh biển báo cấm cùng kết quả sau khi thực hiện giải thuật lựa chọn vùng ảnh đặc trưng Hình 3.1 : Mô hình nhận dạng biển báo giao thông Hình 3.2 : Webcam Logitech C600 Hình 3.4 : Màn hình desktop của hệ điều hành Fedora 12 Hình 3.5 : Giới thiệu OpenCV Hình 3.6 : Ví dụ về phép biến đổi khoang cách Hình 3.7 : Ví dụ về hàm CvFindCotour Hình 3.8 : Khái quát giải thuật huấn luyện tập ảnh mẫu để tìm vùng ảnh đặc trưng cùng trọng số tương ứng cho từng ảnh mẫu Hình 3.9 : Một số kết quả từ việc tìm kiếm vùng điểm ảnh đặc trưng cho từng biển báo giao thông mẫu Hình 3.10: Sơ đồ khối chức năng của chương trình chính Hình 3.11: Khái quát giải thuật nhận dạng biển báo giao thông Hình 4.1 : Tập ảnh mẫu biển báo giao thông sử dụng cho huấn luyện Hình 4.2 : Một số kết quả nhận dạng biển báo từ tập ảnh biển báo giao thông mẫu Hình 4.3 : Một số kết quả nhận dạng biển báo từ hình chụp thực tế Hình 4.4 : Một số kết quả nhận dạng trực tuyến biển báo giao thông 2 Hình 4.5 : Kết quả nhận dạng trực tuyến biển báo giao thông khi đưa ra xa hơn Hình 4.6 : Kết quả nhận dạng trực tuyến biển báo giao thông trong điều kiện ánh sáng khác nhau LIỆT KÊ CÁC BẢNG Bảng 2.1 : Giải thuật lựa chọn vùng điểm ảnh đặc trưng với trọng số tương ứng Bảng 3.1 : Một phần đoạn chương trình chính thực hiện việc tìm vùng ảnh đặc trưng và tập trọng số tương ứng từ các ảnh biển báo giao thông mẫu Bảng 3.2 : Cấu trúc file XML lưu giữ các ảnh được xử lý tìm kiếm đặc trưng 3 LỜI CAM ĐOAN Tôi xin cam đoan rằng đây là công trình nghiên cứu của tôi và không sao chép các công trình nghiên cứu của người khác để làm sản phẩm của riêng mình. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Trong luận văn có sử dụng một số tài liệu, giáo trình của các tác giả, cơ quan, tổ chức đã được thể hiện trong phần tài liệu tham khảo. Tôi hoàn toàn chịu trách nhiệm về tính xác thực và nguyên bản của luận văn này. TP. Hồ Chí Minh, tháng 12, năm 2013 Tác giả luận văn Phạm Nhựt Tùng [...]... biển báo giao thông trong khung hình dựa trên các đặc tính về màu sắc, hình dạng của biển báo giao thông thông qua việc lọc các màu quan tâm (đỏ, cam, xanh lam) 1.4 TỔNG QUAN VỀ GIẢI THUẬT PHÁT HIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THÔNG Bài toán phát hiện và phân loại biển báo giao thông cụ thể qua 2 bước sau Camera Phát hiện biển báo giao thông Phân loại biển báo giao thông Phát cảnh báo LOA, ĐÈN BÁO Hình... tượng biển báo khả nghi là biển báo gì Qua đó, kết quả nhận dạng biển báo sẽ xuất ra thiết bị báo hiệu cảnh báo (âm thanh, hình ảnh) để trợ giúp người lái xe giúp điều khiển xe an toàn và thuận tiện hoặc cảnh báo nếu người lái xe điều khiển xe đi ngược lại với nội dung biển báo giao thông trên đường Cả 2 giai đoạn phát hiện và nhận dạng biển báo giao thông đều dựa trên cùng một giải thuật cơ bản đó là... chuyển tới bộ phát hiện biển báo giao thông để so sánh các đặc trưng của đối tượng với tập mẫu các đặc trưng hình dạng biển báo đã được tạo lập trước đó để xác định xem đối tượng có phải là biển báo giao thông hay không ? là biển báo gì? (cấm, nguy hiểm, chỉ dẫn) Tập mẫu các đặc trưng hình dạng biển báo được xây dựng bằng cách đem so sánh từng biển báo trong tập các ảnh biển báo giao thông mẫu sau khi đã... hệ thống nhận dạng biển báo giao thông đề nghị HỆ THỐNG NHÚNG 1.4.1 Phát hiện biển báo giao thông Phát hiện biển báo giao thông dựa trên thuật toán xây dựng tập các mẫu đối tượng bằng phương pháp lựa chọn đặc trưng nổi bật của từng đối tượng biển báo giao thông so với các đối tượng khác không phải là biển báo giao thông Các ảnh sau khi chụp từ camera (hoặc trích xuất từ một file video định dạng AVI)... hiện, nhận dạng biển báo giao thông đáp ứng trong thời gian thực là mục tiêu của đề tài luận văn này 1.7 NHIỆM VỤ LUẬN VĂN  Tìm hiểu, phát triển giải thuật phát hiện và nhận dạng biển báo giao thông  Xây dựng chương trình nhận dạng biển báo giao thông dựa trên công cụ Thị giác máy tính kết hợp hệ thống nhúng 1.7.1 Phạm vi thực hiện  Về lý thuyết: phương pháp phù hợp phát hiện và nhận dạng biển báo giao. .. thông khác nhau Việc nhận dạng được thực hiện từ phía trước biển báo giao thông tương tự như gặp trên đường giao thông 1.7.2 Dự kiến các lĩnh vực ứng dụng của đề tài  Hệ thống hỗ trợ, cảnh báo người lái xe an toàn  Hệ thống xe thông minh tự hành 12 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 CÁC PHƯƠNG PHÁP PHÁT HIỆN BIỂN BÁO GIAO THÔNG Nhận dạng biển báo giao thông đã là một vấn đề thách thức trong nhiều năm qua và... trên mô hình hệ thống nhúng nhằm phát hiện và phân loại biển báo giao thông hỗ trợ lái xe an toàn, thuận tiện Xa hơn nữa học viên mong muốn đề tài của mình có thể được ứng dụng để phát triển hệ thống xe thông minh tự hành dựa trên hệ thống biển báo giao thông, vạch kẻ đường, hạ tầng kết cấu giao thông, … Bài toán phát hiện và nhận dạng biển báo giao thông đã được nhiều nhóm các nhà khoa học, kỹ sư quan... với các biển báo giao thông còn lại để tìm ra những vùng (điểm) ảnh đặc trưng nhất trên từng biển báo với các biển báo giao thông khác Kết quả của quá trình trên ta sẽ thu được tập đối tượng khả nghi là biển báo giao thông cùng với kích thước và vị trí của chúng trong khung hình Tập đối tượng này sẽ được xử lý trong giai đoạn phân loại biển báo giao thông tiếp theo 1.4.2 Phân loại biển báo giao thông. .. tả, nhận dạng biển báo giao thông nhờ vào đặc điểm được thể hiện và quy định rõ ràng của biển báo giao thông 1.5 LÝ DO THỰC HIỆN ĐỀ TÀI Mong muốn đem lại những tiện ích hỗ trợ con người làm việc và nghỉ ngơi một cách hiệu quả nhất luôn là nguồn gốc, động lực cho sự phát triển của khoa học kỹ thuật mà trong đó có nghành tự động hóa Trên nền tảng đó, đề tài Nhận dạng biển báo giao thông hỗ trợ lái xe ... hiện biển báo giao thông Bộ phát hiện biển báo giao thông luôn được kích hoạt mỗi khi một ảnh được đưa vào xử lý Bộ phát hiện này sẽ tập trung xử lý dựa trên những thông tin đã biết trước về màu sắc đặc trưng, hình dạng, ký hiệu quy định trên biển báo giao thông Với 2 đặc trưng đầu vừa nêu ta có thể phân loại biển báo giao thông đường bộ Việt Nam thành bốn loại sau: biển báo cấm ( hình tròn đỏ), biển báo . quả nhận dạng biển báo từ tập ảnh biển báo giao thông mẫu Hình 4.3 : Một số kết quả nhận dạng biển báo từ hình chụp thực tế Hình 4.4 : Một số kết quả nhận dạng trực tuyến biển báo giao thông. phân loại biển báo giao thông cụ thể qua 2 bước sau. Hình 1.2 : Mô hình hệ thống nhận dạng biển báo giao thông đề nghị 1.4.1 Phát hiện biển báo giao thông Phát hiện biển báo giao thông. Nhận dạng biển báo giao thông hỗ trợ lái xe với mục tiêu tìm hiểu phương pháp, xây dựng giải thuật, thực thi trên mô hình hệ thống nhúng nhằm phát hiện và phân loại biển báo giao thông hỗ