Đang tải... (xem toàn văn)
Tư động nhận dạng ký tự trên biển số xe
- 1 - HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA CÔNG NGHỆ THÔNG TIN ___o0o___ ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ XE Giảng viên hướng dẫn : PGS.TS. TỪ MINH PHƯƠNG Sinh viên thực hiện : NGUYỄN MINH TUẤN Lớp : D05CNPM Khoá : 2005-2010 Hệ : Đại học chính quy Hà Nội, tháng … /2009 ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ ĐỀ TÀI ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Họ và tên sinh viên: NGUYỄN MINH TUẤN Lớpp: D05CNPM Khoá: I (2005-2010) Ngành đào tạo: Công nghệ thông tin Hệ đào tạo: Đại học chính quy 1/ Tên đồ án tốt nghiệp: TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ XE 2/ Nội dung chính của đồ án: 1/Tìm hiểu bài toán tự động nhận dạng biển số xe 2/Tìm hiểu một số kỹ thuật xử lý và nhận dạng ảnh 3/Tìm hiểu thư viện mã nguồn mở OpenCV và LibSVM 4/ Cài đặt thử nghiệm chương trình tự động nhận dạng ký tự trên biển số xe 3/ Cơ sở dữ liệu ban đầu Dữ liệu là tập ảnh thu thập tại: • Bãi giữ xe khu đô thị Văn Quán • Xung quanh khu đô thị Văn Quán • Nhà để xe của chung cư CT2B khu đô thị Văn Quán • Trên mạng internet 4/ Ngày giao đồ án: 15/12/2009 5/ Ngày nộp đồ án : … /… /2009 TRƯỞNG BỘ MÔN (Duyệt) GIÁO VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) TRƯỞNG KHOA GVHD: PGS.TS.Từ Minh Phương - 2 - SVTH: Nguyễn Minh Tuấn HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ LỜI CẢM ƠN Để có được thành quả ngày hôm này, em xin chân thành cảm ơn các thầy cô khoa Công nghệ thông tin Học viện Công nghệ Bưu chính Viễn thông đã dạy dỗ, chỉ bảo em. Em xin chân thành cảm ơn thầy giáo Từ Minh Phương – Trưởng Khoa Công Nghệ Thông Tin, người đã trực tiếp hướng dẫn tận tình cho em trong đề tài này. Cảm ơn thầy đã dành thời gian và những kinh nghiệm quý báu cho em. Em đã học được rất nhiều trong quá trình làm đồ án. Một lần nữa xin chân thành cảm ơn thầy. Trong báo cáo của em, em đã sử dụng tài liệu “Giáo trình xử lý ảnh” của thầy Đỗ Năng Toàn – Viện công nghệ thông tin, “Nhập môn xử lý ảnh” của Đại học Bách Khoa Hà Nội và một tố tạp chí khoa học để tham khảo và nghiên cứu. Em xin chân thành cảm ơn. GVHD: PGS.TS.Từ Minh Phương - 3 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Hà Nội, ngày …/… /2009 Giáo viên hướng dẫn (Kí và ghi đủ họ tên, chức danh) PGS.TS. TỪ MINH PHƯƠNG GVHD: PGS.TS.Từ Minh Phương - 4 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN Hà Nội, ngày …/… /2009 Giáo viên phản biện (Kí và ghi đủ họ tên, chức danh) GVHD: PGS.TS.Từ Minh Phương - 5 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ MỤC LỤC DANH MỤC CÁC HÌNH VẼ 7 MỞ ĐẦU 8 Chương 1: BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE 10 Chương 2: CÁC KỸ THUẬT XỬ LÝ ẢNH LIÊN QUAN 21 Chương 3: TÁCH KÝ TỰ 28 Chương 4: NHẬN DẠNG KÝ TỰ 37 Chương 5: CÀI ĐẶT THỰC NGHIỆM 50 GVHD: PGS.TS.Từ Minh Phương - 6 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ DANH MỤC CÁC HÌNH VẼ Hình 1.1: Sơ đồ hệ thống tự động nhận dạng biển số xe Hình 1.2: Lưu đồ chi tiết của hệ thống tự động nhận dạng biển số xe Hình 1.3: Biển trắng Hình 1.4: Biển xanh Hình 1.5: Biển đỏ Hình 1.6: Kích thước biển trước Hình 1.7: Kích thước biển sau Hình 1.8: Ứng dụng của hệ thống tự động nhận dạng biển số xe Hình 1.9: Các module trong hệ thống tự động nhận dạng biển số xe Hình 1.10: Tách biển bằng dò biên và Hough Hình 1.11: Các bước tách ký tự sử dụng kỹ thuật tách ngưỡng Hình 1.12: Các bước tách ký tự sử dụng kỹ thuật sobel Hình 1.13: Noron sinh học Hình 2.1: Chuẩn hóa histogram Hình 3.1: Lưu đồ tách ký tự Hình 3.2: Ảnh qua quá trình nhị phân hóa Hình 3.3: Biển số được chia ra thành 6 hình chữ nhật nhỏ với histogram và ngưỡng của riêng nó Hình 3.4: Ảnh qua quá trình phát hiện biên sobel Hình 3.5: Đồ thị chiếu ngang của biển số Hình 3.6: Đồ thị chiếu ngang của biển số sau khi xóa phép chiếu ngang trong khoảng [b,t] Hình 3.7: Đồ thị chiếu ngang đối với ảnh nhị phân hóa Hình 3.8: Đồ thị chiếu ngang đối với ảnh phát hiện biên sobel Hình 3.9: Đồ thị chiếu dọc đối với ảnh nhị phân hóa Hình 4.1: Sơ đồ tổng quát một hệ nhận dạng Hình 4.2: Siêu phẳng phân chia hai tập mẫu Hình 4.3: Một mặt phân chia phi tuyến có thể trở thành một siêu phẳng trong không gian lớn hơn Hình 4.4: Mặt phẳng [-1, 1] x [-1, 1] trong R2 thành mặt cong trong R3 Hình 4.5: RBF Gaussian Kernel có thể chuyển một mặt bất kỳ thành một siêu phẳng Hình 4.6: Hàm nhận dạng SVM 2 - vs – rest có giá trị bé nhất, nên mẫu cần nhận dạng là lớp thứ Hình 4.7: SVM loại trừ Hình 4.8: Sơ đồ loại trừ trong các tình huống Hình 5.1: Tập dữ liệu Hình 5.2: Phương pháp tách ký tự được lựa chọn Hình 5.3: Kết quả chọn tham số gama bằng tool của libSVM Hình 5.4: Giao diện chính của chương trình Hình 5.5: Giải thích giao diện chính của chương trình GVHD: PGS.TS.Từ Minh Phương - 7 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ MỞ ĐẦU Cùng với sự phát triển của công nghệ và khoa học kỹ thuật, các hệ thống giao thông thông minh đang dần trở thành những công cụ hỗ trợ đắc lực cho con người. Có rất nhiều thành tựu khoa học công nghệ trong giao thông vận tải giúp các nhà quản lý giám sát và điều khiển sự di chuyển, hoạt động của các phương tiện giao thông ở các đô thị lớn. Một trong số đó là hệ thống nhận dạng biển số xe tự động. Hệ thống này làm đơn giản hóa việc nhận dạng biển số xe bằng cách áp dụng các kỹ thuật xử lý ảnh để xử lý ảnh hoặc một đoạn video có chứa phương tiện giao thông. Trong những năm gần đây, số lượng các phương tiện tham gia vào giao thông ngày càng tăng do nhu cầu đi lại, sản xuất của người dân ngày càng nhiều. Lưu lượng các phương tiện giao thông sử dụng ở những nơi công cộng rất lớn. Vấn đề quản lý các phương tiện giao thông tại các địa điểm công cộng, bãi giữ xe là một bài toán lớn cho các nhà quản lý. Bên cạnh vấn đề quản lý sao cho phù hợp, yêu cầu về kinh tế cũng không thể bỏ qua. Mặc dù việc sử dụng mắt người là cách tốt nhất để đọc biển số xe nhưng đó không phải là cách giải quyết trên quy mô rộng lớn. Bài toán đặt ra ở đây cho những người làm khoa học là cần phải xây dựng một hệ thống tự động quản lý các phương tiện giao thông nơi công cộng với một chi phí phù hợp với điều kiện kinh tế Việt Nam. Trong hệ thống này cần có một chương trình nhận dạng biển số xe tự động trên ảnh. Kết hợp chương trình này với phần cứng phù hợp thành một hệ thống hoàn chỉnh. Hệ thống này giúp các nhà quản lý giảm thiểu nhân lực, tiết kiệm chi phí, triển khai trên quy mô rộng. Đồng thời hỗ trợ con người trong những công việc tẻ nhạt như nhận xe, trả xe, ghi vé xe…Hệ thống nhận dạng biển số xe tự động mong muốn phải làm việc được trong nhiều điều kiện và môi trường khác nhau như thiếu ánh sáng, độ tương phản của ảnh đầu vào thấp, ảnh đầu vào nhòe, biển số bẩn, điều kiện thời tiết khắc nghiệt. Ngoài việc hỗ trợ coi giữ xe ở những nơi công cộng, hệ thống nhận dạng biển số xe còn được lắp đặt với nhiều mục đích khác nhau. Hệ thống nhận dạng biển số xe được lắp cùng với hệ thống tự động mở cổng, sẽ nhận dạng biển số xe của công ty, biển số xe của khách để tiến hành mở cổng. Trên các trạm thu phí người ta sử dụng hệ thống tự động nhận dạng biển số xe để thu lộ phí các phương tiện giao thông. Hay trên các xa lộ, các trọng điểm giao thông, người ta lắp đặt hệ thống này để hỗ trợ công tác điều tra, truy bắt tội phạm… Hiện nay, trên thế giới các hệ thống nhận dạng biển số xe tự động đang được áp dụng một cách rộng rãi, điển hình là hệ thống tự động nhận dạng biển số xe ANPR (Automatic Number Plate Recognition). Nhưng các hệ thống này yêu cầu sử dụng các thiết bị chuyên dụng có giá thành cao, đồng thời khó áp dụng ở Việt Nam. Vì vậy việc xây dựng một hệ thống tương tự phù hợp với điều kiện của Việt Nam là một yêu cầu thiết yếu. Ngoài ra do đặc thù biển số xe của mỗi nước là khác nhau nên không thể áp dụng một cách trực tiếp hệ thống ANPR vào Việt Nam. Nhìn chung các hệ thống nhận dạng biển số xe tự động được chia thành 3 phần chính: phát hiện vùng chứa biển số (tách biển số), phân đoạn ký tự (tách ký tự) và nhận dạng kí tự đã GVHD: PGS.TS.Từ Minh Phương - 8 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ tách. Đồ án này nhằm giải quyết hai vấn đề: phân đoạn ký tự (tách ký tự) và nhận dạng kí tự đã tách. Bố cục của đồ án này bao gồm 5 chương: • Chương 1: Bài toán nhận dạng biển số xe • Chương 2: Các kỹ thuật xử lý ảnh liên quan • Chương 3: Tách kí tự • Chương 4: Nhận dạng kí tự • Chương 5: Cài đặt thử nghiệm GVHD: PGS.TS.Từ Minh Phương - 9 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ Chương 1: BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE 1.1.Hệ thống tự động nhận dạng biển số xe 1.1.1. Giới thiệu Hệ thống tự động nhận dạng biển số xe là hệ thống có khả năng phân tích, xử lý hình ảnh biển số xe trên các hình ảnh chụp được từ các thiết bị thu hình, cho kết quả đầu ra là chuỗi ký tự trên biển số. Nguồn hình ảnh cho ứng dụng có rất nhiều nhưng thường là hình ảnh được thu nhận trực tiếp từ camera. Đầu vào của hệ thống là ảnh phương tiện giao thông có biển số xe. Đầu ra là chuỗi ký tự trên biển số xe. Hình 1.1: Sơ đồ hệ thống tự động nhận dạng biển số xe Trong đồ án này, em xin phát triển một hệ thống tự động nhận dạng biển số xe với một số giới hạn: • Biển số là biển số Việt Nam tức là hệ thống chỉ hoạt động ở phạm vi trong nước. Nếu đưa hệ thống ra hoạt động ở nước ngoài thì độ chính xác sẽ giảm. • Hệ thống chỉ xử lý ảnh có chứa biển số nền trắng chữ đen. • Vùng ảnh biển số có góc nghiêng ≤ 4 o Từ những điều kiện trên, bài toán tự động nhận dạng biển số xe được phát biểu như sau: Xây dựng hệ thống tự động nhận dạng biển số xe Việt Nam. Đầu vào là ảnh chụp phương tiện cùng với biển số. Đầu ra là các ký tự trên biển số xe dưới dạng text. 1.1.2. Lưu đồ chi tiết của hệ thống GVHD: PGS.TS.Từ Minh Phương - 10 - SVTH: Nguyễn Minh Tuấn Tiền xử lý Ảnh thu từ camera Phát hiện vùng biển số Nhận dạng ký tự Tách ký tự trên biển số Chuỗi ký tự [...]... toán: tách ký tự và nhận dạng ký tự Hệ thống tự động nhận dạng biển số xe Nhận dạng ký tự Tách ký tự Phát hiện vùng biển số Nhận dạng Hình 1.9: Các module trong hệ thống tự động nhận dạng biển số xe 1.2.1 Các phương pháp tách biển số xe GVHD: PGS.TS.Từ Minh Phương - 15 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP a TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ Hướng tiếp cận dò biên và biến đổi Hough • Ý tư ng của... một số ứng dụng phổ biến đối với hệ thống nhận dạng biển số xe: • Đối với các cơ quan: ứng dụng sẽ nhận dạng, và biết được xe đó có phải là xe của cơ quan mình không, để tiến hành tự động đóng mở cổng Hình 1.8: Ứng dụng của hệ thống tự động nhận dạng biển số xe GVHD: PGS.TS.Từ Minh Phương - 14 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ • Tại các bãi xe tự động: sẽ nhận. .. NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ Yêu cầu ảnh Lọc nhiễu, chuẩn hóa histogram Nâng cao chất lượng ảnh Tiêu chí của biển số Trích biển số Chọn ngưỡng Phát hiện biên sobel Trích ký tự Chuẩn hóa ký tự Kích thước chuẩn Nhận dạng ký tự Engine nhận dạng ký tự Trainning Chuỗi ký tự kết quả Mạng noron nhân tạo hoặc hệ SVM (Super vector Machine) Dữ liệu ký tự Hình 1.2: Lưu đồ chi tiết của hệ thống tự động. .. dọc để phát hiện ra các ký tự - Tách các ký tự - Chuẩn hóa ký tự về một kích thước cố định 1.2.2.2 Nhận dạng ký tự Sau khi tách rời được các ký tự, việc tiếp theo là nhận dạng ký tự Bài toán nhận dạng ký tự là bài toán đã được phát triển và sử dụng trong rất nhiều ứng dụng như nhận dạng chữ viết tay, nhận dạng chữ in Với bài toán nhận dạng biển số xe, số lượng ký tự ít, các kiểu font chữ ít cho nên độ... ký tự có thể gặp phải một số khó khăn như dính ký tự, dính viền biển số với ký tự, không thể tách được ký tự do ký tự quá mờ hoặc biển số quá cũ Đôi khi ký tự tách được lại có một số nhiễu đi kèm Đặc biệt đối với Việt Nam, rất nhiều ký tự trên biển số bị che lấp bởi các đinh ốc gắn vào biển Đây là một thách thức lớn đối với quá trình nhận dạng Có rất nhiều phương pháp để thực hiện tách ký tự, một số. .. cận có một ưu và nhược điểm Đa số các ứng dụng đều sử dụng cách tiếp cận biến đổi Hough 1.2.2 Các phương pháp tách ký tự và nhận dạng ký tự 1.2.2.1 Tách ký tự Bước tiếp theo sau khi tách được biển số xe là tách ký tự trên biển số Đây là một bước quan trọng trong quy trình nhận dạng biển số xe tự động bởi vì tất cả các bước sau đó đều phụ thuộc vào bước này Nếu tách ký tự không chính xác thì mọi cố gắng... Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ Ở Việt Nam, biển số xe là tấm biển gắn trên mỗi xe cơ giới, được cơ quan công an cấp khi mua xe mới hoặc chuyển nhượng xe Biển số xe được làm bằng hợp kim nhôm sắt, có dạng hình chữ nhật hoặc hơi vuông, trên đó có in những con số và chữ cho biết: vùng và địa phương quản lý, các con số cụ thể khi tra trên máy tính còn cho biết danh... Hình 1.5: Biển đỏ o Nền biển màu vàng chữ trắng là xe thuộc Bộ tư lệnh Biên phòng (ít gặp) o Nền biển màu vàng chữ đen là xe cơ giới chuyên dụng làm công trình • Kích thước của biển số: GVHD: PGS.TS.Từ Minh Phương - 12 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP o TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ Biển số xe ô tô gồm 2 biển không giống nhau về kích thước nhưng giống về chữ và số trong biển Một biển gắn... tự động nhận dạng biển số xe 1.1.3 Một số quy định về biển số xe Việt Nam Nhìn chung biển số xe đều có những đặc điểm: hình vuông hoặc hình chữ nhật, có màu sáng, phủ sơn phản quang, có chứa một số ký tự, thường được gắn ở đằng trước hoặc đằng sau xe hoặc cả hai Tuy nhiên, ở mỗi quốc gia biển số xe lại có những đặc thù riêng về kích thước, tỷ lệ chiều rộng/chiều dài, số lượng ký tự, kiểu ký tự GVHD:... TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ Đối với ký thuật Sobel người ta sử dụng 2 mặt nạ nhân chập theo 2 hướng x, y là: Các bước tính toán: Bước 1: Tính I Hx và I Bước 2: Tính I Hx + I GVHD: PGS.TS.Từ Minh Phương Hy Hy - 27 - SVTH: Nguyễn Minh Tuấn ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ Chương 3: TÁCH KÝ TỰ Trong chương này em xin trình bày cụ thể các bước để tách ký tự Chúng . vùng biển số Nhận dạng ký tự Tách ký tự trên biển số Chuỗi ký tự ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ Hình 1.2: Lưu đồ chi tiết của hệ thống tự động nhận dạng biển số xe 1.1.3 TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ Chương 1: BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE 1.1.Hệ thống tự động nhận dạng biển số xe 1.1.1. Giới thiệu Hệ thống tự động nhận dạng biển số xe là hệ thống. ảnh Trích ký tự Trích ký tự Trích biển số Trích biển số Nhận dạng ký tự Nhận dạng ký tự Dữ liệu ký tự Dữ liệu ký tự Trainning Trainning Engine nhận dạng ký tự Engine nhận dạng ký tự Mạng noron