Đang tải... (xem toàn văn)
Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)
HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - NGUYỄN DUY LONG NHẬN DẠNG BIỂN SỐ XE DÙNG PHƢƠNG PHÁP HỌC SÂU CNNs LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) TP Hồ Chí Minh – 2018 HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - NGUYỄN DUY LONG NHẬN DẠNG BIỂN SỐ XE DÙNG PHƢƠNG PHÁP HỌC SÂU CNNs Chuyên ngành: Hệ thống thông tin Mã số:8480104 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS TS LÊ HOÀNG THÁI TP Hồ Chí Minh – 2018 i LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chƣa đƣợc công bố cơng trình khác Tp Hồ Chí Minh, ngày 20 tháng năm 2018 Học viên thực luận văn Nguyễn Duy Long ii LỜI CẢM ƠN Tơi xin bày tỏ lòng biết ơn chân thành đến PGS.TS Lê Hoàng Thái, Thầy tận tâm dẫn, truyền đạt kiến thức kinh nghiệm q báu cho tơi suốt q trình thực luận văn Tôi xin đƣợc gửi lời cảm ơn đến q Thầy Cơ giáo khoa Đào tạo Sau đại học, Học Viện Cơng Nghệ Bƣu Chính Viễn Thơng sở thành phố Hồ Chí Minh trang bị cho kiến thức tảng quan trọng suốt q trình tơi theo học Tơi xin chân thành cảm ơnq cơng ty Tâm Tồn Thắng tạo điều kiện cung cấp số liệu cho hồn thiện luận văn Và cuối cùng, tơi xin đƣợc gửi lời cảm ơn đến gia đình bạn bè, ngƣời động viên suốt thời gian vừa qua Mặc dù cố gắng song luận văn khơng tránh khỏi thiếu sót Tơi mong nhận đƣợc ý kiến đóng góp Thầy Cơ để tơi hồn thiện đề tài Xin trân trọng cảm ơn Tp Hồ Chí Minh, ngày 20 tháng năm 2018 Học viên thực luận văn Nguyễn Duy Long iii Mục Lục LỜI CAM ĐOAN i LỜI CẢM ƠN ii Mục Lục iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT .v DANH SÁCH BẢNG vi DANH SÁCH HÌNH VẼ vii MỞ ĐẦU Chƣơng – TỔNG QUAN 1.1 Khái niệm hệ thống nhận dạng biển số xe 1.1.1 Khái niệm 1.1.2 Lịch sử phát triển 1.1.3 Cách thức hoạt động hệ thống .4 1.1.4 Ứng dụng thực tiễn Việt Nam 1.2 Một số nghiên cứu phƣơng pháp cách ly biển số, phân đoạn ký tự từ ảnh chụp camera 1.2.1 Chuyển đổi Hough .5 1.2.2 Hình thái học 1.3 Một số nghiên cứu phƣơng pháp nhận dạng ký tự biển số từ ảnh chụp camera 1.4 Đề xuất phƣơng pháp áp dụng luận văn Chƣơng – CƠ SỞ LÝ THUYẾT 2.1 Tổng quan mạng noron, luật học delta lan truyền ngƣợc .8 2.1.1 Giới thiệu mạng noron 2.1.2 Một số kiểu mạng noron 10 2.1.3 Mạng noron lan truyền ngƣợc MLP 11 2.2 Giới thiệu mạng noron tích chập kỹ thuật cải tiến .15 iv 2.2.1 Giới thiệu mạng noron tích chập 15 2.2.2 Convolution .15 2.2.3 Mơ hình mạng noron tích chập 16 2.2.4 Xây dựng mạng noron tích chập 17 2.3 Phƣơng pháp cải tiến gần 21 2.3.1 Phƣơng pháp học không giám sát để huấn luyện trọng ban đầu 21 2.3.2 Phƣơng pháp Dropout Deep Neural Networks 21 Chƣơng – THỰC NGHIỆM 24 3.1.Thực nghiệm mạng noron tự xây dựng liệu ảnh sƣu tập 24 3.2 Thực nghiệm mạng noron dùng thƣ viện liệu ảnh sƣu tập 27 3.3.Thực nghiệm phƣơng pháp phân lớp truyền thống dựa vào hình thái học sử dụng thƣ viện open CV liệu ảnh sƣu tập .28 3.4 Thực nghiệm mạng noron đa lớp liệu ảnh sƣu tập .31 Chƣơng – CÀI ĐẶT VÀ KIỂM THỬ .33 4.1 Cài đặt ứng dụng 33 4.1.1 Nền tảng công nghệ sử dụng 33 4.1.2 Các chức chƣơng trình .35 4.2 Kiểm thử đánh giá .38 4.3 Nhận xét 42 KẾT LUẬN 44 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 45 v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt ANN Artificial Neural Network Mạng noron nhân tạo ALPR Automatic License Plate Recognition Tự động nhận dạng biển số xe CNNs Convolutional Neural Network Mạng noron tích chập FNN Feedforward Neural Network Mạng noron truyền thẳng MLP MultiLayer Perceptron Mạng noron có nhiều tầng ẩn ME Mean Error Sai số trung bình MSE Mean Squared Error Sai số trung bình tổng bình phƣơng MPE Mean Percentage Error Phần trăm sai số trung bình vi DANH SÁCH BẢNG Bảng 4.1: Bảng thống kê kết nhận dạng ảnh tự tạo 41 Bảng 4.2: Bảng thống kê kết nhận dạng ảnh thực tế 41 Bảng 4.3: So sánh kỹ thuật áp dụng luận văn với cơng ty Tâm Tồn Thắng .42 vii DANH SÁCH HÌNH VẼ Hình 2.1: Mơ hình noron sinh học Hình 2.2: Mơ hình noron nhân tạo McCulloch Pitts Hình 2.3: Ánh xạ phi tuyến noron 11 Hình 2.4: Mơ hình mạng noron truyền thẳng đơn giản 12 Hình 2.5: Cơ chế tích chập 16 Hình 2.6: Ví dụ mạng noron tích chập 17 Hình 2.7: Ý tƣởng mạng noron tích chập 17 Hình 2.8: Ví dụ phép tốn tích chập 18 Hình 2.9: Ví dụ áp dụng phép tính Conv ảnh 18 Hình 2.10: Các thành phần Conv 19 Hình 2.11: Phƣơng pháp học khơng giám sát cho trọng 21 Hình 2.12: Mạng noron chuẩn/mạng áp dụng Drop - Out 22 Hình 3.1: Mẫu biển 11 ký tự (Nhãn: 74-DY038.45_1) 24 Hình 3.2: Mẫu biển ký tự (Nhãn: 09-T13567_1) 24 Hình 3.3: Biển số nhãn:82-T8242.84_0 25 Hình 3.4: Biển số nhãn: 79-V41104_0 25 Hình 3.5: Ảnh đầu vào sau vecto hóa 25 Hình 3.6: Nhãn ảnh đầu vào sau vecto hóa 25 Hình 3.7: Noron sau huấn luyện 26 Hình 3.8: Tập tin trọng 26 Hình 3.9: Kết kiểm thử mạng noron 27 Hình 3.10: Thực nghiệm noron dùng thƣ viện 28 Hình 3.11: Giao diện đăng ký ứng dụng TTT-SP 29 Hình 3.12: Giao diện chức ứng dụng TTT-SP 29 Hình 3.13: Sau đăng nhập thành công 30 Hình 3.14: Giao diện vận hành TTT-SP 30 Hình 3.15: Thực nghiệm mạng CNNs đơn giản 31 Hình 4.1: Mơ hình mạng 34 Hình 4.2: Huấn luyện sau 460 lần lặp 34 viii Hình 4.3: Huấn luyện sau 32460 lần lặp 35 Hình 4.4: Giao diện trang chủ chƣơng trình 36 Hình 4.5: Chọn ảnh cần nhận dạng 36 Hình 4.6: Bƣơc tiến hành nhận dạng 37 Hình 4.7: Đăng nhập vào chƣơng trình 37 Hình 4.8: Đăng nhập với quyền quản trị 38 Hình 4.9: Tiếp tục huấn luyện mơ hình mạng chƣơng trình 38 Hình 4.10: Kiểm thử với ảnh thực tế 39 Hình 4.11: Tọa độ cửa sổ 40 Hình 4.12: Biển số nhận dạng sai 40 32 DeepMnist.py – dùng cho việc huấn luyện kiểm thử Nhận xét: Mạng noron truyền thẳng (feedforward neural network) tốt với liệu dạng ảnh (kích thƣớc lớn) Chính liên kết đầy đủ tạo nên hạn chế cho mô hình Sau thực nghiệm ta thấy ba mơ hình mục 3.1 – 3.2 – 3.4, số lần lặp ít, 500 lần, mơ hình mạng noron đa lớp đơn giản cho kết cao Thực nghiệm phƣơng pháp phân lớp truyền thống mục 3.3 nhằm cho thấy số mặt hạn chế phƣơng pháp làm tiền đề cho việc đề xuất phƣơng pháp mơ hình mạng CNNs cải tiến đƣợc cài đặt chƣơng 33 Chƣơng – CÀI ĐẶT VÀ KIỂM THỬ Ngồi mơ hình đƣợc xây dựng dùng cho mục đích thực nghiệm chƣơng 3, luận văn xây dựng thêm mơ hình mạng CNNs dùng cho ứng dụng thực tế 4.1 Cài đặt ứng dụng 4.1.1 Nền tảng công nghệ sử dụng Ngôn ngữ: Python version 3.6.4 – Anaconda 3, javascript kết hợp công nghệ ajax, html Thƣ viện: Tensorflow, opencv Card hình: GeForce 940MX 2GB nhằm tăng tốc độ huấn luyện mơ hình Font chữ: Soxe2banh.ttf (Loại bỏ bớt số ký tự không đƣợc sử dụng biển số xe máy Việt Nam) Luận văn xây dựng sử dụng mạng CNNs giải công đoạn: Dò tìm biển số Sử dụng tầng convolution trƣợt cửa sổ lần lƣợt ảnh Vị trí đƣợc khoanh vùng mang giá trị xác suất cao Sau tất vị trí đƣợc cho biển số (đặt ngƣỡng xác suất >0.5) đƣợc gộp lại thành vị trí chung ảnh Nhận dạng chuỗi ký tự biển số Mỗi vị trí cửa sổ ảnh đƣợc nhận dạng chuỗi ký tự Xây dựng mơ hình mạng gồm ba tầng tầng fully connected nhƣ hình 4.1 [15]: 34 Hình 4.1: Mơ hình mạng Sau 460 lần lặp, mơ hình đạt độ xác về: Sự xuất biển số (phù hợp): 72% Nhận dạng xác ký tự biển: 40% Độ lỗi: ~1288.52 (trong độ lỗi xuất biển số: ~280.21, độ lỗi ký tự: ~1008.31 ) Hình 4.2: Huấn luyện sau 460 vòng lặp Sau 32460 lần lặp, mơ hình đạt độ xác về: 35 Sự xuất biển số (phù hợp): 90% Nhận dạng xác ký tự biển: 74% Độ lỗi: ~458.71 (trong độ lỗi xuất biển số: ~116.02, độ lỗi ký tự: ~342.68 ) Hình 4.3: Huấn luyện sau 32460 lần lặp Mã nguồn bao gồm: gen.py – tạo ảnh huấn luyện kiểm thử common.py – chứa biến chung extractbgs.py – lấy ảnh từ thƣ viện ảnh model.py – mơ hình dùng cho việc huấn luyện kiểm thử train.py – dùng cho việc huấn luyện kiểm thử mơ hình Sau huấn luyện đƣợc lƣu trữ với tên weights.npz detect.py – dùng cho việc phát biển số, nhóm khung phát biển số nhận dạng ký tự biển số index.html – giao diện website chƣơng trình styles.css – phục vụ cho giao diện website chƣơng trình app.js - phục vụ cho giao diện website chƣơng trình weights.npz: tập tin chứa trọng mơ hình mạng 4.1.2 Các chức chƣơng trình Giao diện chƣơng trình: 36 Hình 4.4: Giao diện trang chủ chƣơng trình Để chọn ảnh cần nhận dạng, ta nhấp chuột vào hình ảnh menu bên trái Hình 4.5: Chọn ảnh cần nhận dạng Để nhận dạng ảnh, ta nhấp chuột vào nút “Process” bên dƣới Kết đƣợc hiển thị ảnh bên dƣới ảnh 37 Hình 4.6: Bƣơc tiến hành nhận dạng Để đăng nhập vào chƣơng trình ta nhấn nút Login menu Hình 4.7: Đăng nhập vào chƣơng trình Chƣơng trình cho phép tiếp tục huấn luyện mơ hình mạng sau đăng nhập với quyền quản trị 38 Hình 4.8: Đăng nhập với quyền quản trị Để tiếp tục huấn luyện mơ hình mạng, ta nhấn nút “Training” giao diện Hình 4.9: Tiếp tục huấn luyện mơ hình mạng chƣơng trình Đầu vào việc tiếp tục huấn luyện mạng tập tin trọng số cũ (tập tin weights.npz), sau việc huấn luyện hoàn tất, tập tin lƣu trữ trọng số đƣợc tạo 4.2 Kiểm thử đánh giá Hình ảnh thực tế: 261 ảnh sƣu tập (đƣợc sử dụng tƣơng tự cho thực nghiệm chƣơng - mục 3.3) Mơ hình mạng đƣợc huấn luyện liên tục ba ngày với 100000 lần lặp, lần lặp sử dụng 50 ảnh huấn luyện khác Tiến hành kiểm thử với ảnh thực tế sƣu tập: 39 Hình 4.10: Kiểm thử với ảnh thực tế Khoanh vùng biển số đạt252/261 ảnh thực tế ~ 96.5% Nhận dạng ký tự phân vùng biển số đạt 105/261 ảnh thực tế ~ 40.2% Thay đổi: 32 -> 48 đặc trƣng / số lần lặp: 32 000 Khoanh vùng biển số đạt 252/261 ảnh thực tế ~ 96.5% Nhận dạng ký tự phân vùng biển số đạt 213/261 ảnh thực tế ~ 81.6% Hạn chế mơ hình: nhƣ đề cập mục 4.1.1, phƣơng pháp khoanh vùng dựa việc lựa chọn cửa sổ cho xác suất cao nhất, việc nhận dạng ký tự phân vùng phụ thuộc lớn vào phân vùng biển số có xác hay khơng, nhiều trƣờng hợp sai vài ký tự cửa sổ cho xác suất cao lại không phù hợp để đƣa kết nhận dạng Nhƣ ví dụ bên dƣới, mơ hình đƣa sáu tọa độ cửa sổ chuỗi ký tự nhận dạng đƣợc tƣơng ứng Cửa sổ có tọa độ (7,25) với xác suất 0,84 đƣa kết xác, nhiên cửa sổ có tọa độ (7,20) với xác suất 0.94 đƣợc chọn mang lại kết nhận dạng ký tự khơng xác 40 Hình 4.11: Tọa độ cửa sổ Hình 4.12: Biển số nhận dạng sai 41 Nơron lớp tự xây dựng Nơron lớp dùng thƣ viện CNNs 16 đặc trƣng CNNs 32 đặc trƣng tầng & 64 đặc trƣng tầng kết hợp drop out Số lần lặp 500 500 500 500 Hệ số học 0.001 0.001 0.001 0.001 Tỷ lệ nhận dạng ký tự (%) 26 28% 74% Bảng 4.1: Bảng thống kê kết nhận dạng ảnh tự tạo CNNs 32 đặc trƣng tầng & 64 đặc trƣng tầng CNNs 48 đặc trƣng tầng & 64 đặc trƣng tầng Số lần lặp 500 32 000 Phƣơng pháp hình thái học Khơng Hệ số học 0.001 0.001 Không Tỷ lệ khoanh vùng biển số (%) 49% 96,5 Không Tỷ lệ nhận dạng ký tự (%) 40,2 81,6 94,6 Bảng 4.2: Bảng thống kê kết nhận dạng ảnh thực tế Phƣơng án giải pháp nhằm nâng cao hiệu suất độ xác: Tăng thời gian huấn luyện mơ hình Thay đổi hệ số học phù hợp 42 Thay đổi cấu trúc mơ hình (tăng thêm tầng ẩn, tăng từ 16 lên 32 đặc trƣng) Kết hợp số kỹ thuật xử lý ảnh (phân ngƣỡng, lọc,…) nhằm tiền xử lý ảnh đầu vào CNNs 48 đặc trƣng tầng & 64 đặc trƣng tầng Phƣơng pháp hình thái học cơng ty Tâm Toàn Thắng Kỹ thuật tiền xử lý ảnh đầu vào Không Chuyển đổi ảnh xám, Bộ lọc Sobel Khoanh vùng biển số CNNs với thƣ viện tensorflow Phân đoạn ký tự CNNs với thƣ viện tensorflow Thống kê histogram, kỹ thuật Phân ngƣỡng, Bộ lọc Canny phát cạnh, đƣờng biên Kỹ thuật Phân ngƣỡng, lọc nhiễu với Bộ lọc Gaussian Nhận dạng ký tự CNNs với thƣ viện tensorflow Kỹ thuật template machine với thƣ viện openCV Tỷ lệ nhận dạng ký tự (%) 81,6 94,6 Bảng 4.3: So sánh kỹ thuật áp dụng luận văn với cơng ty Tâm Tồn Thắng 4.3 Nhận xét Tuy mơ hình ln văn nhiều hạn chế (do hạn chế thời gian huấn luyện, thời gian kiểm thử nhƣ việc lựa chọn, thiết lập mô hình, tự khởi tạo ngẫu nhiên trọng ban đầu) chƣa thể so sánh với ứng dụng đƣợc đƣa vào thƣơng mại Nhƣng sở lý thuyết phƣơng pháp nhận dạng áp dụng CNNs mở hƣớng toán nhận dạng biển số xe nhờ vào khả rút trích đặc trƣng linh hoạt hiệu (tạo nên đồ đặc trƣng mạnh) 43 Trong thực tế, ta chọn giải toán cụ thể mà nhu cầu mở rộng không lớn không đòi hỏi độ linh hoạt cao Với tốn nhƣ mạng CNNs mơ hình hiệu 44 KẾT LUẬN Luận văn trình bày tổng quan hệ thống nhận dạng biển số xe, tổng quan kỹ thuật áp dụng trƣớc đƣợc áp dụng thực tế Trong luận văn tập trung vào nghiên cứu kỹ thuật, phƣơng pháp mạng noron truyền thẳng bản, mạng CNNs kết hợp drop - out áp dụng vào tồn nhận dạng thực tế tốn nhận dạng biển số xe Thơng qua việc tìm hiểu, thực nghiệm đánh giá cho thấy đƣợc hiệu phƣơng pháp “Deep learning” toán nhận dạng nói chung nhận dạng biển số xe nói riêng Luận văn tìm hiểu nhƣ áp dụng số kỹ thuật cải tiến đƣợc đề cập gần vào mơ hình mạng noron đa lớp, đồng thời xây dựngchƣơng trình phần mềm nhận dạng biển số xe, góp phần hỗ trợ cho khâuquản lý xe đầu vào/ra hệ thống bãi giữ xe Tuy nhiên bên cạnh kết đạt đƣơc, luận văn số hạn chế làmơ hình khoanh vùng biển số chƣa phù hợp dẫn đến giai đoạnnhận dạng ký tự khơng xác thời gian kiểm thử chậm nên thời gian tới luận văn tiếp tụccải thiện mơ hình để kết nhận dạng đƣợc cải thiện 45 DANH MỤC CÁC TÀI LIỆU THAM KHẢO [1] Hsieh, J.W., Yu, S.H., Chen, Y.S (2002), “Morphology-based license plate detection from complex scenes” IEEE International Conference on Pattern Recognition [2] VinhDu Mai, Duoqian Miao and Ruizhi Wang,“An Improved Method for Vietnam License Plate Location based on Mathematic Morphology & Measuring Properties of Image Regions” [3] VinhDu Mai, Duoqian Miao and Ruizhi Wang, “Vietnam License Plate Recognition System based on Edge Detection and Neural Networks” [4] Du, S., Ibrahim, M., Shehata, M., Member, S., Badawy, W (2013), “Automatic license plate recognition (alpr): A state-of-the-art review”IEEE Transactions on Circuits and Systems for Video Technology, 23 [5] VinhDu Mai, Duoqian Miao and Ruizhi Wang,“Recognition of Characters and Numbers in Vietnam License Plates based on Image Processing and Neural Network” [6] Dỗn Đạt Phƣớc, Nguyễn Đơng Hải Phƣơng, “Automatic License Plate Recognization in Camera Pictures” [7].Lê Thị Thu Hằng, Nghiên cứu mạng neural tích chập ứng dụng cho tốn nhận dạng biển số xe, Đại học cơng nghệ, Đại học Quốc gia Hà Nội; [8] Y LeCun and Y Bengio (1995), “Convotional networks for images, speech, and time-series.”M A Arbib, editor, The Handbook of Brain Theory and Neural Networks MIT Press [9].Syed Zain Masood, Guang Shu, Afshin Dehghan, Enrique G Ortiz(28/03/2017), “License Plate Detection and Recognition Using Deeply Learned Convolutional Neural Networks” [10] PGS.TS Lê Hoàng Thái, Bộ Slide giảng Mạng neron nhân tạo, Trƣờng Đại học Khoa Học Tự Nhiên, ĐHQG TP.Hồ Chí Minh 46 [11] http://neuralnetworksanddeeplearning.com/chap6.html/, truy nhập ngày truy nhập ngày 23/3/2018 [12] http://neuralnetworksanddeeplearning.com/chap2.html/, 23/3/2018 [13] http://cs231n.github.io/convolutional-networks/, truy nhập ngày 25/3/2018 [14] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov University of Toronto (06/2014), “Dropout: A Simple Way to Prevent Neural Networks from Overfitting” [15] http://matthewearl.github.io/2016/05/06/cnn-anpr/, truy nhập ngày 10/9/2017 ... tài nghiên cứu Nhận dạng biển số xe dùng phƣơng pháp học sâu CNNs cần thiết đáp ứng yêu cầu cấp thiết mục tiêu cải thiện độ xác cho hệ thống nhận dạng biển số tự động Luận văn đƣợc bố cục nhƣ... vùng chứa biển số xe nhận dạng ký tự biển số Cả toán phát vùng chứa biển số tốn nhận dạng ký tự sẽsử dụng mơ hình Convolutional Neural Networks để tiến hành nhận dạng cho biển đăng ký xe Việt Nam...HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - NGUYỄN DUY LONG NHẬN DẠNG BIỂN SỐ XE DÙNG PHƢƠNG PHÁP HỌC SÂU CNNs Chuyên ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC