ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN NGUYỄN THỊ HỒNG MINH NHẬN DẠNG TRỰC TUYẾN XE MÔ TÔ HAI BÁNH LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Thành Phố Hồ Chí Minh – Năm 2008 ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN NGUYỄN THỊ HỒNG MINH NHẬN DẠNG TRỰC TUYẾN XE MÔ TÔ HAI BÁNH CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 604801 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. TRƯƠNG ĐÌNH CHÂU Thành Phố Hồ Chí Minh – Năm 2008 Trang 2 LỜI CẢM ƠN Tôi xin chân thành gời đến toàn thể Quý Thầy Trường Đại học Công Nghệ Thông Tin lời cảm ơn chân thành nhất. Quý thầy cô đã truyền đạt cho tôi những kiến thức chuyên môn cũng như kinh nghiệm học tâp vô cùng quý báu và phong phú trong suốt thời gian học tại trường. Đặc biệt tôi xin cảm ơn sâu sắc đến Thầy TS. Trương Đình Châu đã hướng dẫn tôi rất tận tình trong suốt thời gian qua cùng những lời động viên, khích lệ đúng lúc giúp tôi vượt qua các thời điểm khó khăn nhất. Những tài liệu bổ ích mà thầy đã cung cấp cũng như những lời góp ý vô cùng quý báo đã giúp tôi hoàn thành tốt luận văn này. Tôi xin chân thành cảm ơn ThS. Nguyễn Thiện Minh đã giúp đỡ tôi rất nhiều trong thời gian tôi thực hiện luận văn. Ngoài ra tôi cũng xin cảm ơn gia đình, bạn bè đã giúp đỡ, góp ý và cổ vũ cho tôi trong suốt thời gian qua. Tp. Hồ Chí Minh, tháng 06 năm 2008 HỌC VIÊN: NGUYỄN THỊ HỒNG MINH. Trang 3 NHẬN XÉT (Của giảng viên hướng dẫn) Trang 4 NHẬN XÉT (Của giảng viên phản biện) Trang 5 MỤC LỤC 1.Giới thiệu: 12 2.Đặt vấn đề: 12 3.Phát biểu bài toán: 13 4.Mục tiêu luận văn: 14 5.Phạm vi giải quyết của đề tài: 14 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 15 1.Các hệ thống nhận dạng biển số xe (License Plate Recognition) : 15 2.Xử lý ảnh: 16 2.1.Các loại ảnh cơ bản: 16 2.2.Kỹ thuật chuyển ảnh sang ảnh mức xám (Gray Level): 17 2.3.Lược đồ mức xám (Histogram): 17 2.4.Xử lý ảnh bằng thuật toán K-means: 19 2.5.Lọc trung vị (Median): 21 2.6.Bộ lọc BlobsFiltering: 21 3.Mạng Neural nhân tạo: 22 3.1.Giới thiệu: 22 3.2.Ứng dụng của Neural Network: 24 3.3.Mô hình một Neural nhân tạo: 25 3.4.Mạng Neural một lớp: 27 3.5.Mạng Neural truyền thẳng 3 lớp: 27 4.Thiết lập mạng Neural: 28 4.1.Các bước chuẩn bị thiết lập mạng: 29 4.2.Các bước thiết kế mạng: 30 5.Phân loại cấu trúc mạng: 31 5.1.Mạng có cấu trúc tiến: 31 5.2.Mạng hồi quy (recurrent network): 33 6.Cơ sở lý thuyết và giải thuật huấn luyện cho mạng lan truyền ngược: 33 6.1.Cấu trúc mạng lan truyền ngược: 33 6.2.Huấn luyện cho mạng lan truyền ngược: 36 6.3.Vấn đề quá khớp và năng lực của mạng: 41 6.4.Hai phương pháp cải thiện tính tổng quát hóa: 44 6.5.Kết luận: 46 6.6.Ứng dụng mạng Neural trong lĩnh vực nhận dạng: 46 CHƯƠNG 3: HỆ THỐNG NHẬN DẠNG TRỰC TUYẾN BẢNG SỐ XE 49 1.Mô hình tổng quát hệ thống nhận dạng trực tuyến xe mô tô hai bánh: 49 2.Thu nhận ảnh (1): 50 3.Trích biển số, xử lý ảnh biển số và tách ký tự chữ số xe mô tô (2), (3): 51 4.Nhận dạng ký tự đơn trên biển số bằng mạng Neural nhân tạo (4): 64 2.1.Mô hình mạng: 64 2.2.Huấn luyện mạng: 64 5.Xây dựng hệ thống: 66 CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ 71 1.Dữ liệu thử nghiệm: 71 2.Kết quả thử nghiệm: 71 3.Đánh giá kết quả: 72 4.Một số kết quả minh họa thử nghiệm thuật toán: 74 Trang 6 CHƯƠNG 5: KẾT LUẬN 76 1.Các mặt đã đạt được: 76 2.Các mặt còn hạn chế: 76 3.Đề xuất hướng phát triển: 76 PHỤ LỤC: 78 1.Thư viện AForge: 78 2.Cảm biến phát hiện chuyển động: 81 3.Giao tiếp cổng COM: 85 Trang 7 DANH SÁCH CÁC HÌNH Hình 2.1: Ảnh nhận từ camera (a) và ảnh đã chuyển sang ảnh mức xám (b) 17 Hình 2.2: Lược đồ mức xám của các loại ảnh 18 Hình 2.3: Mô hình toán học tổng quát của mạng Neural 23 Hình 2.4: Neural một ngõ vào 25 Hình 2.5: Neural có nhiều ngõ vào 25 Hình 2.6: Các hàm truyền cơ bản 26 Hình 2.7: Mô hình mạng Neural một lớp 27 Hình 2.8: Mạng Neural truyền thẳng 3 lớp 28 Hình 2.9: Cấu trúc mạng Neural tiến 31 Hình 2.10: Cấu tạo một Neural 33 Hình 2.11: Hàm truyền logsig 34 Hình 2.12: Hàm truyền tansig 34 Hình 2.13: Hàm truyền pureline (tuyến tính) 35 Hình 2.14: Cấu trúc mạng một lớp 35 Hình 2.15: Mạng 2 lớp dùng Neural tagsig và pureline 36 Hình 2.16: Mạng bị quá khớp với mẫu học 42 Hình 2.17: Mạng được ngưng tiến trình huấn luyện đúng lúc 45 Hình 3.1: Mô hình hệ thống nhận dạng xe trực tuyến 49 Hình 3.2: Mô hình chụp ảnh xe 50 Hình 3.3: Phân tích phổ ngang cho ảnh chứa biển số 53 Hình 3.4: Tách dòng chứa biển số 54 Hình 3.5: Phân tích phổ ngang cho ảnh chứa biển số 54 Hình 3.6: Tách biển số 55 Hình 3.7: Một số ảnh sau khi tách được biển số 57 Hình 3.8: Ảnh bảng số 58 Hình 3.9: Ảnh bảng số (Gray level) 58 Hình 3.10: Ảnh bảng số (K-mean) 58 Hình 3.11: Ảnh bảng số (Invert) 58 Hình 3.12: Ảnh bảng số (Median) 59 Hình 3.13: Ảnh bảng số (BlobsFiltering) 59 Hình 3.14: Lược đồ chiếu ngang để tách dòng 60 Hình 3.15: Lược đồ chiếu dọc để tách ký tự 60 Hình 3.16: Kết quả tách ký tự 60 Hình 3.17: Một số hình ảnh tách ký tự 63 Hình 3.18: Chuẩn hóa ký tự về 20 x 10 64 Hình 3.19: Huấn luyện chữ 65 Hình 3.20: Huấn luyện số 66 Hình 3.21: Giao diện chương trình nhận dạng xe mô tô hai bánh 68 Hình 3.22: Chụp ảnh xe 69 Hình 3.23: Nhận dạng biển số và lưu thông tin vào cơ sở dữ liệu 70 Hình 4.1: Các bước trích biển số trong trường hợp 1 74 Hình 4.2: Các bước trích biển số trong trường hợp 2 75 Trang 8 DANH SÁCH CÁC BẢNG Bảng 3.1: Bảng mô tả thông tin ảnh biển số xe mô tô 51 Bảng 4.1: Mô tả tập ảnh IMG_TEST 71 Bảng 4.2: Cấu hình máy tính chạy thử nghiệm 71 Bảng 4.3: Bảng thống kê kết quả thử nghiệm trên tập dữ liệu 72 Trang 9 TÓM TẮT LUẬN VĂN Luận văn “Nhận dạng trực tuyến xe mô tô hai bánh” sẽ tập trung nghiên cứu những phần sau: • Dùng cảm biến phát tia hồng ngoại để phát hiện xe vào đúng vị trí • Xây dựng vi điều khiển giao tiếp máy tính thông qua cổng nối tiếp, ra lệnh cho máy tính tác động vào camera chụp ảnh. • Nhận ảnh có chứa biển số thông qua camera • Trích ảnh biển số và tách ký tự. • Nhận dạng ký tự trên ảnh biển số. • Lưu thông tin xe vào cơ sở dữ liệu (số xe, ngày giờ gửi,…) Do thời gian thực hiện đề tài có giới hạn, chắc chắn không thể tránh khỏi sai sót, tôi rất mong sự chỉ bảo và hướng dẫn thêm của quý Thầy Cô và các bạn. Trang 10 [...]... toán (2) • Ngõ ra: chuỗi kết quả ghi nhận lại giá trị từng ký tự trên biển số xe 4 Mục tiêu luận văn: Đây là bài toán về nhận dạng và xử lý ảnh, trong luận văn này, tôi tập trung nghiên cứu giải thuật trích biển số xe thông qua ảnh chụp hay camera, tách ký tự trên biển số và nhận dạng kí tự trên biển số xe, cụ thể như sau: − Xây dựng bộ cảm biến phát hiện ảnh biển số bằng tia hồng ngoại − Xây dựng một... toán sau: − Trích biển số trong ảnh đơn: (1) • Ngõ vào: ảnh chụp có nền phức tạp hay đoạn video • Ngõ ra: ảnh biển số được trích từ ảnh chụp hay đoạn video trên − Tách các ký tự trong ảnh biển số: (2) • Ngõ vào: ảnh biển số, là kết quả của bài toán (1) • Ngõ ra: ảnh các ký tự rời rạc trên biển số − Nhận dạng ký tự đơn trên biển số: (3) Trang 14 • Ngõ vào: ảnh các ký tự đơn trên biển số, là kết quả của... xe, chương trình trích biển số, chương trình tách ký tự trong hình biển số, chương trình nhận dạng từng ký tự trong biển số Sau đây tôi giới thiệu lịch sử về các phương pháp tiếp cận cho hệ thống này: • Các phương pháp trích biển số xe trong một ảnh: Đây là bước không thể thiếu trong bài toán nhận dạng biển số xe, do đó có rất nhiều hướng giải quyết bài toán này Cụ thể, có một số hướng tiếp cận chính... biển số xe (License Plate Recognition) : Đề tài nhận dạng trực tuyến xe mô tô bao gồm các bước phát hiện biển số xe, chụp lại ảnh, trích ảnh chứa vùng văn bản và dùng thuật toán thích hợp nhận dạng các ký tự trong biển số thành các ký tự ASCII để máy tính có thể lưu trữ và xử lý được Như vậy hệ thống nhận dạng sẽ bao gồm: bộ phận cảm biến phát hiện chuyển động, camera trực tuyến dùng để chụp ảnh xe, chương... ảnh khi có xe qua cổng, trích biển số, và nhận dạng biển số − Dùng ngôn ngữ CSharp để hiện thực chương trình 5 Phạm vi giải quyết của đề tài: Đề tài tập trung nghiên cứu các thuật toán nhằm giải quyết bài toán nhận dạng trực tuyến xe mô tô hai bánh trên ảnh đơn được chụp từ thiết bị camera trong đó phạm vi vấn đề như sau: − Ảnh có nền phức tạp, với các điều kiện sáng tối − Các loại biển số xe mô tô được... nay, các bãi giữ xe mô tô 2 bánh ở nước ta đều quản lí bằng cách thức thủ công đơn giản nhất đó là trong bãi giữ xe sẽ có ít nhất là 3 người: một người đọc biển số, một người khác sẽ ghi biển số xe vào thẻ giữ xe, sau đó sẽ bấm vào xe một phần vé xe, phần còn lại sẽ đưa cho chủ xe giữ Sau đó xe trong bãi sẽ do nhiều người trông chừng tùy theo bãi xe đó rộng hay hẹp, có nhiều hay ít góc khuất,… Ưu điểm... sống con người ngày càng hiện đại, giảm đi những công việc nặng nhọc trong đời sống hằng ngày Nhận dạng và xử lý ảnh cũng là một trong những chuyên ngành của tin học có tầm ứng dụng to lớn Có thể kể ra hàng loạt các lĩnh vực đã áp dụng kỹ thuật nhận dạng ảnh như: xử lý ảnh chụp vệ tinh, dự báo thời tiết, điều khiển giao thông công cộng, nhận dạng chữ viết tay, phân tích chữ ký, nhận dạng vân tay, nhận. .. dạng vân tay, nhận dạng mặt người,…Ở đề tài này tôi sẽ trình bày phương pháp nhận dạng xe mô tô hai bánh thông qua camera, sau đó qua các quá trình xử lý ảnh, tách ký tự, nhận dạng ký tự ta sẽ nhận được kết quả của biển số xe Đây là đề tài được nhiều cơ quan trong nước quan tâm khi xe mô tô đang là phương tiện đi lại chủ yếu của người dân 2 Đặt vấn đề: Thực tế hiện nay, các bãi giữ xe mô tô 2 bánh ở... biến đổi Hough để phát hiện các cặp đoạn thẳng gần song song ghép thành một ảnh ứng viên biển số ( Luận văn Thạc sĩ “Xây dựng thử nghiệm hệ thống nhận dạng tự động biển số xe ô tô” của Trần Đức Duẩn năm 2003), nhưng do biển số xe mô tô hiện nay ở nước ta không có đường bao (xe mới) hay do thời gian đường bao sẽ bị mờ (xe cũ) nên ta không thể dùng phương pháp này; hay tiếp cận theo hướng hình thái học,... sẽ lưu giữ lại biển số xe và sẽ in phần vé cho người gởi xe Phương pháp này khắc phục những nhược điểm của phương pháp thủ công, và giai đoạn nhận ảnh từ camera, xử lý, nhận dạng ký tự trên biển số sẽ là nội dung của đề tài nhận dạng trực tuyến xe mô tô hai bánh mà tôi sẽ trình bày 3 Phát biểu bài toán: Trong đề tài này tôi sẽ giải quyết vấn đề bằng cách phân rã thành ba bài toán liên quan lẫn nhau, . nhận dạng: 46 CHƯƠNG 3: HỆ THỐNG NHẬN DẠNG TRỰC TUYẾN BẢNG SỐ XE 49 1.Mô hình tổng quát hệ thống nhận dạng trực tuyến xe mô tô hai bánh: 49 2.Thu nhận ảnh (1): 50 3.Trích biển số, xử lý ảnh biển. camera chụp ảnh. • Nhận ảnh có chứa biển số thông qua camera • Trích ảnh biển số và tách ký tự. • Nhận dạng ký tự trên ảnh biển số. • Lưu thông tin xe vào cơ sở dữ liệu (số xe, ngày giờ gửi,…) Do. vào: ảnh biển số, là kết quả của bài toán (1). • Ngõ ra: ảnh các ký tự rời rạc trên biển số. − Nhận dạng ký tự đơn trên biển số: (3) Trang 13 • Ngõ vào: ảnh các ký tự đơn trên biển số, là kết