Đang tải... (xem toàn văn)
NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ Nghiên cứu tìm hiểu các phương pháp nhận dạng biển báo giao thông và cài đặt thử nghiệm chương trình phát hiện và nhận dạng biển báo giao thông đường bộ từ hình ảnh tĩnh và video thu về, sau đó hiển thị thông tin cảnh báo dưới dạng hình ảnh.
1 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Trần Thị Tuyết NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2013 2 Luận văn được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: TS. NGUYỄN ĐỨC DŨNG Phản biện 1: Phản biện 2: Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc: giờ ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện của Học viện Công nghệ Bưu chính Viễn thông 1 MỞ ĐẦU Lý do chọn đề tài Ngày nay, khi tốc độ phát triển kinh tế, công nghiệp và dịch vụ ngày càng tăng, nhu cầu giao thông đi lại của con người càng trở thành vấn đề quan trọng. Tuy nhiên, Việt Nam giao thông luôn là một vấn đề nóng của xã hội. Từ quy mô phát triển đến cơ sở hạ tầng. Ý thức tự giác và cảnh giác của người tham gia giao thông tại Việt Nam lại chưa cao. Theo số liệu thống kê của Ủy ban An toàn giao thông Quốc gia, trong 9 tháng đầu năm 2013, cả nước đã xảy ra 23.619 vụ tai nạn, làm chết 6.908 người và 25.002 người bị thương. Từ tình hình thực tế giao thông tại Việt Nam, có nhiều nguyên nhân gây ra các vụ tai nạn giao thông đường bộ, nhưng phần lớn là do tài xế không làm chủ tốc độ, không quan sát hoặc không kịp nhận ra các loại biển báo và tín hiệu giao thông. Đây là những nguy hiểm đã được cảnh báo trước nhưng tai nạn vẫn thường xuyên xảy ra, gây không ít thiệt hại về tính mạng và tài sản của người tham gia giao thông. 2 Cho đến nay vấn đề này được nhiều nghiên cứu trên thế giới quan tâm. Nhưng những biển báo giao thông được nghiên cứu không phải dùng cho giao thông đường bộ tại Việt Nam. Trong khi đó tình hình nghiên cứu biển báo giao thông tại Việt Nam vẫn còn nhiều hạn chế và chưa đầy đủ. Vì vậy, luận văn đã chọn đề tài “Nhận dạng biển báo giao thông đường bộ” để nghiên cứu với mục đích hiểu được nền tảng công nghệ, các lý thuyết cơ bản trong bài toán xử lý ảnh và áp dụng trong việc nhận dạng biển báo giao thông một cách tự động. Mục đích nghiên cứu - Nghiên cứu tìm hiểu các phương pháp nhận dạng biển báo giao thông và cài đặt thử nghiệm chương trình phát hiện và nhận dạng biển báo giao thông đường bộ từ hình ảnh tĩnh và video thu về, sau đó hiển thị thông tin cảnh báo dưới dạng hình ảnh. Đối tượng và phạm vi nghiên cứu Biển báo giao thông đường bộ ở Việt Nam. Phương pháp nghiên cứu 3 - Tìm hiểu bộ ảnh biển báo giao thông đường bộ tại Việt Nam, thu thập hình ảnh, video biển báo giao thông từ các nguồn khác nhau (google image, tự chụp, …) - Tìm hiểu phương pháp phát hiện biển báo giao thông dựa trên trích chọn đặc trưng Haar-like kết hợp với bộ tăng tốc Adaboost. - Tìm hiểu phương pháp nhận dạng biển báo giao thông đường bộ: Luận văn có sử dụng phương pháp phân tích thành phần chính Principal Components Analysis (PCA) và máy vector hỗ trợ Support Vector Machine (SVM) để nhận dạng biển báo giao thông. - Cài đặt chương trình thử nghiệm và đánh giá kết quả nhận dạng. Bố cục luận văn Luận văn chia thành ba phần chính: Phần mở đầu, phần nội dung và phần kết luận. Phần mở đầu: Nêu lên lý do chọn đề tài, đối tượng và phạm vi nghiên cứu và phương pháp nghiên cứu của đề tài. Phần nội dung: 4 Chương 1: Tổng quan về xử lý ảnh. Chương này trình bày những lý thuyết cơ bản về xử lý ảnh, tổng quát các phương pháp phổ biến trong quá trình phát hiện và nhận dạng đối tượng. Chương 2: Phát hiện và nhận dạng ảnh. Phát biểu bài toán nhận dạng biển báo giao thông và trình bày nền tảng công nghệ, chi tiết các thuật toán hỗ trợ trong việc phát hiện và nhận dạng biển báo bao gồm: Trích chọn đặc trưng Haar-like, bộ tăng tốc Adaboost, phân tích thành phần chính PCA và bộ phân lớp SVM. Chương 3: Cài đặt và thử nghiệm. Tác giả sử dụng ngôn ngữ VC++ MFC của bộ Visual Studio 2008, và bộ thư viện xử lý ảnh mã nguồn mở OpenCV của Intel để xây dựng chương trình. Sau đó phân tích và đánh giá kết quả nhận dạng. Cuối cùng là Phần kết luận và hướng phát triển của đề tài. 5 Chương 1. TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1 Một số khái niệm trong xử lý ảnh 1.1.1 Xử lý ảnh là gì? 1.1.2 Một số khái niệm 1.2 Một số phương pháp biểu diễn ảnh 1.2.1 Mã loạt dài 1.2.2 Mã xích 1.2.3 Mã tứ phân. 1.3 Các phương pháp phát hiện biên ảnh 1.3.1 Một số khái niệm 1.3.2 Kỹ thuật phát hiện biên trực tiếp 1.3.2.1 Phương pháp Gradient 1.3.2.2 Kỹ thuật phát hiện biên Laplace 1.3.2.3 Kỹ thuật phát hiện biên theo phương pháp Canny 1.3.3 Phát hiện biên gián tiếp 1.3.4 Phân vùng ảnh 1.3.4.1 Phân vùng ảnh theo ngưỡng biên độ 1.3.4.2 Phân vùng ảnh theo vùng đồng nhất 1.3.4.3 Phân vùng ảnh theo kết cấu bề mặt 1.4 Phương pháp trích chọn đặc trưng ảnh Khái niệm. Có thể hiểu trích chọn đặc trưng là quá trình rút trích các đặc trưng đại diện cho ảnh, được gọi là các chi tiết đặc trưng. Các chi tiết đặc trưng này yêu cầu phải có 6 thuộc tính là khả năng bảo toàn tính đặc thù để phân biệt có trong ảnh, đồng thời phải có tính cô đọng, hỗ trợ chặt chẽ cho quá trình đối sánh và ít bị tác động bởi nhiễu hoặc sai lệch trong ảnh. Ngoài ra, còn yêu cầu phải dễ tính toán. 1.4.1 Đặc trưng Haar-like. 1.4.2 Đặc trưng Histogram of Oriented Gradients (HOG) 1.5 Các phương pháp nhận dạng đối tượng 1.5.1 Phương pháp Neural Networks (NN) Mạng noron nhân tạo (Artifical Neural Networks) mô phỏng lại mạng noron sinh học là một cấu trúc khối gồm các đơn vị tính toán đơn giản được liên kết chặt chẽ với nhau trong đó các liên kết giữa các noron quyết định chức năng của mạng. Về cơ bản mạng Neural là một mạng các phần tử (gọi là neural) kết nối với nhau thông qua các liên kết (các liên kết này được gọi là trọng số liên kết) để thực hiện một công việc cụ thể nào đó. Khả năng xử lý của mạng neural được hình thành thông qua quá trình hiệu chỉnh trọng số liên kết giữa các neural, nói cách khác là học từ tập hợp các mẫu huấn luyện. Ưu điểm: - Dễ cài đặt cùng với khả năng học và tổng quát hoá rất cao. 7 - Tốc độ xử lý nhanh - Linh hoạt và dễ bảo trì: Nhược điểm: - Tính chậm và xác suất không cao không có quy tắc tổng quát để xác định cấu trúc mạng và các tham số học tối ưu cho một (lớp) bài toán nhất định. - Tiêu chuẩn thu thập cơ sở dữ liệu huấn luyện còn khắt khe. - Đòi hỏi thời gian xử lý cao với mạng một mạng Neural lớn. 1.5.2 Phương pháp Support Vector Machine (SVM) Cho trước một tập huấn luyện, các ảnh được biểu diễn dưới dạng vector. Trong không gian vector, mỗi vertor được biểu diễn bởi một điểm. Phương pháp SVM sẽ tìm một siêu phẳng quyết định để phân chia không gian vector thành hai lớp. Chất lượng của siêu phẳng này phụ thuộc vào khoảng cách giữa các vector, tức là phụ thuộc vào các đặc trưng của ảnh. Ưu điểm: - Cho kết quả nhận dạng với độ chính xác cao - Bài toán huấn luyện SVM thực chất là bài toán QP trên một tập lồi, do đó SVM luôn có nghiệm toàn cục và duy nhất, đây chính là điểm khác biệt rõ nhất giữa 8 SVM so với phương pháp mạng Neural, vì mạng Neural vốn tồn tại nhiều điểm cực trị địa phương. Nhược điểm: - Hạn chế lớn nhất của SVM là tốc độ phân lớp rất chậm, tùy thuộc vào số lượng các véc tơ hỗ trợ. - Giai đoạn huấn luyện SVM đòi hỏi bộ nhớ rất lớn, do đó các bài toán huấn luyện với số lượng mẫu lớn sẽ gặp trở ngại trong vấn đề lưu trữ. Hiệu quả phân lớp của SVM phụ thuộc vào hai yếu tố: giải bài toán QP và lựa chọn hàm nhân. 1.5.3 Phương pháp Linear Discriminant Analysis Mục đích của LDA - Linear Discriminant Analysis là tìm cách phân loại các đối tượng (người, sự vật,…) vào một trong hai hay nhiều lớp đã được xác định trước dựa vào các đặt trưng (feature) dùng để mô tả đối tượng (ví dụ như các đặc trưng dùng để mô tả đối tượng khách hàng là giới tính, tuổi, nghề nghiệp, thu nhập,…) Ưu điểm: - Dễ dàng hơn để đào tạo, phương sai thấp, hiệu quả hơn nếu mô hình là chính xác. - LDA làm việc tốt khi số mẫu là lớn. [...]... Thu thập dữ liệu Biển báo giao thông ở Việt Nam được chia thành 5 nhóm: Nhóm biển chỉ dẫn, nhóm biển hiệu lệnh, nhóm biển báo cấm, nhóm biển báo nguy hiểm, nhóm biển phụ Trong ứng dụng demo, tác giả chỉ nhận dạng 13 loại biển báo Biển Số Biển Số Biển Số Biển Số báo hiệu báo hiệu báo hiệu báo hiệu 102 201b 207a 123a 202 207b 123b 203a 207c 130 131 201a 221b Bảng 3.1 Các biển báo nhận dạng trong ứng dụng... được dùng trong quá trình huấn luyện phát hiện biển báo gồm 2 loại: Positive, Negative 20 Bộ ảnh huấn luyện nhận dạng gồm 1100 ảnh, với mỗi loại biển báo cần nhận dạng có số lượng tối thiểu là 50 ảnh được lưu vào từng thư mục riêng và được đặt tên theo thứ tự Bộ ảnh mẫu là ảnh biển biển báo giao thông chuẩn của Bộ Giao thông vận tải được lưu với định dạng bmp và kích thước 80x80 trong thư mục Data\Labels... giả đã chụp được 480 biển báo Tỷ lệ nhận dạng chính xác là 92,33% Môi trường thời tiết xấu: mưa, nhiều mây, ánh sáng yếu Với 91 biển báo Tỷ lệ nhận dạng chính xác đạt 89% Môi trường ban đêm Số lượng ảnh chụp được là 38, chương trình cho nhận dạng chính xác là 68,42% Biển báo bị nghiêng (trái hoặc phải) Với 81 biển báo chụp được, chương trình nhận dạng chính xác 79% Biển báo bị phai mờ, bị bẩn,... cho việc nhận dạng biển báo sau này, dữ liệu sau khi huấn luyện 24 được lưu trong file “svmdatatrained.xml” bằng cách sử dụng hàm: svm.save("svmdatatrained.xml"); 3.3.4 Thực hiện Hình 3.29 Giao diện chính của chương trình Hình 3.32 Kết quả phát hiện và nhận dạng với 01 biển báo Hình 3.33 Kết quả phát hiện và nhận dạng với 02 biển báo 25 Hình 3.35 Kết quả phát hiện và nhận dạng biển báo trên video 3.4... quả nhận dạng cao hơn Nhược điểm: - PCA chỉ làm việc với dữ liệu numeric - PCA rất nhạy với nhiễu - Không phù hợp với các mô hình phi tuyến do PCA hoàn toàn dựa trên các biến đổi tuyến tính - Cài đặt thuật toán phức tạp Kết luận chương 1 11 Chương 2: PHÁT HIỆN VÀ NHẬN DẠNG ẢNH 2.1 Bài toán nhận dạng đối tượng 2.2 Các nghiên cứu liên quan đến nhận dạng đối tượng 2.3 Bài toán nhận dạng biển báo giao thông. .. hiện thiếu biển báo trong ảnh 3.3.3.2 Huấn luyện nhận dạng biển báo trong ảnh Các biển báo cần nhận dạng được đưa về cùng một kích thước là 50x50 để tiến hành huấn luyện Tác giả có 23 viết riêng một hàm ResizeImageTo50x50(const char* filename) trong chương trình để thực hiện công việc này Sau khi xây dựng được bộ dữ liệu phục vụ huấn luyện nhận dạng, tác giả sử dụng lớp đối tượng PCA của bộ thư viện... nhận dạng các loại biển báo giao thông Thử nghiệm trên video Với 56 video, kết quả chương trình có thể nhận dạng được là 81,45% 3.4.3 Đánh giá hiệu quả các phương pháp sử dụng trong luận văn 3.4.4 Những hạn chế của chương trình Kết luận chương 3 27 PHẦN KẾT LUẬN 1 Kết luận Sau một thời gian ngắn nghiên cứu về xử lý ảnh, tác giả đã tìm hiểu được một số lý thuyết áp dụng vào nhận dạng biển báo giao thông. .. lượng ảnh và video trong tập dữ liệu đầu vào bằng cách sử dụng camera chuyên dụng - Mở rộng cơ sở dữ liệu biển báo giao thông - Mở rộng loại biển báo nghiên cứu (nhiều hơn 13 loại biển báo) - Nâng cấp khả năng hệ thống, trở thành một hệ thống nhận dạng và đưa ra cảnh báo tức thời cho người tham gia giao thông ... 84,88% trên 86 biển báo chụp được 3.4.2 Đánh giá kết quả thử nghiệm trên 13 loại biển báo. Kết quả thử nghiệm trên 762 ảnh tĩnh như sau: 26 Số lượng Tỷ lệ phát hiện Tỷ lệ nhận dạng 36 87,8% 86% 45 93,6% 91% 45 97,7% 97,7% 21 25 90,15% 100 81% 67,92 % 30 Biển báo 93,24% 83,3% 163 85,7% 69,2% 90,6% 77 89,25% 84,4% 96,25% 95,8% 106 53 24 92% 88% Biển báo Số lượng Tỷ lệ phát hiện Tỷ lệ nhận dạng 37 96% 94,6%... trình nhận dạng biển báo sau này: Để huấn luyện nhận dạng bằng phương pháp SVM, tác giả sử dụng hàm: CvSVM svm(data, values, Mat(), Mat(),CvSVMParams(CvSVM::C_SVC, CvSVM::LINEAR, 0, 0, 0, 2,0, 0, 0, cvTermCriteria(CV_TERMCRIT_EPS,0, 0.01))); để tạo bộ huấn luyện nhận dạng với dữ liệu đầu vào là ma trận “data”, tương ứng với tên lớp được lưu trong ma trận “values” Nhằm mục đích sử dụng cho việc nhận dạng . được xây dựng : ))(()( 1 T t tt xhsignxH 15 2.6 Nhận dạng biển báo giao thông 2.6.1 Phương pháp phân tích thành phần chính PCA 2.6.1.1 Giới thi u phương pháp PCA. 2.6.1.2 Thuật. chưa cao. Theo số liệu thống kê của Ủy ban An toàn giao thông Quốc gia, trong 9 tháng đầu năm 2013, cả nước đã xảy ra 23.619 vụ tai nạn, làm chết 6.908 người và 25.002 người bị thương. Từ. là những nguy hiểm đã được cảnh báo trước nhưng tai nạn vẫn thường xuyên xảy ra, gây không ít thi t hại về tính mạng và tài sản của người tham gia giao thông. 2 Cho đến nay vấn đề này