BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG  LÊ HỒNG PHONG ỨNG DỤNG MẠNG NEURAL TÍCH CHẬP NHẬN DẠNG KÝ TỰ SỐ VIẾT TAY LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH TP HỒ CHÍ MINH – NĂM 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG LÊ HỒNG PHONG ỨNG DỤNG MẠNG NEURAL TÍCH CHẬP NHẬN DẠNG KÝ TỰ SỐ VIẾT TAY CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS.VŨ THANH HIỀN TP HỒ CHÍ MINH – NĂM 2016 CHUẨN Y CỦA HỘI ĐỒNG BẢO VỆ LUẬN VĂN  Luận văn tựa đề “Ứng Dụng Mạng Neural Tích Chập Nhận Dạng Ký Tự Số Viết Tay” đƣợc “Lê Hồng Phong” thực nộp nhằm thỏa mãn yêu cầu tốt nghiệp Thạc sĩ ngành Khoa Học Máy Tính Ngày bảo vệ lận văn, TPHCM, ngày … tháng … năm 2016 HỘI ĐỒNG CHẤM LUẬN VĂN Chủ tịch Hội đồng Ngƣời hƣớng dẫn GS.TSKH Hoàng Văn Kiếm ĐH Quốc Tế Hồng Bàng – TP.HCM TS Vũ Thanh Hiền ĐH Kinh Tế Tài Chính – TP.HCM Ngày … tháng … năm 2016 Ngày … tháng … năm 2016 Hiệu Trƣởng Viện Đào Tạo Sau Đại Học PGS.TS Thái Bá Cần TS Thái Hữu Tuấn Ngày … tháng … năm 2016 Ngày … tháng … năm 2016 i CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI TRƢỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG Luận văn thạc sĩ: Ứng Dụng Mạng Neural Tích Chập Nhận Dạng Ký Tự Số Viết Tay Do học viên: Lê Hồng Phong - Cao học khóa: – Đợt - Ngành: Khoa học máy tính thực Ngƣời hƣờng dẫn: TS Vũ Thanh Hiền Đã đƣợc bảo vệ trƣớc Hội đồng, ngày: … / … / 2016 theo Quyết định số …, ngày …/…/ 2016 Hiệu Trƣởng Trƣờng ĐH Quốc Tế Hồng Bàng Thành phần Hội đồng đánh giá Luận văn Thạc sĩ gồm: STT Họ tên Chức danh Hội đồng GS.TSKH Hoàng Văn Kiếm TS.GVC Võ Xuân Thể Phản biện PGS.TS Đỗ Văn Nhơn Phản biện TS Nguyễn Hòa TS Bùi Văn Minh Chủ tịch Ủy viên Ủy viên, Thƣ ký Chủ tịch Hội đồng đánh giá luận văn GS.TSKH Hoàng Văn Kiếm ii LÝ LỊCH CÁ NHÂN - Họ tên: Lê Hồng Phong - Ngày sinh: 03 tháng 09 năm 1987 - Nơi sinh: Bến Tre - Tốt nghiệp PTTH Trƣờng Bán Công Bình Đại, năm 2007 - Tốt nghiệp Đại học ngành Công nghệ thông tin Trƣờng ĐH Quốc Tế Hồng Bàng, Thành phố Hồ Chí Minh - Quá trình công tác: Thời gian Nơi công tác Chức vụ Từ năm 2010 đến Trƣờng ĐH Quốc Tế Hồng Bàng Thƣ ký văn phòng - Địa liên lạc: 5/19P Mễ Cốc, P.15, Q.8, TP.HCM - Điện thoại di động: 0983 162 630 - Email: lephonghbu@gmail.com iii LỜI CAM ĐOAN Tôi cam đoan luận văn “Ứng dụng mạng Neural tích chập nhận dạng ký tự số viết tay” nghiên cứu Ngoại trừ tài liệu tham khảo đƣợc trích dẫn luận văn này, cam đoan toàn phần hay phần nhỏ luận văn chƣa đƣợc công bố hay đƣợc sử dụng để nhận cấp nơi khác Không có sản phẩm /nghiên cứu ngƣời khác đƣợc sử dụng luận văn mà không đƣợc trích dẫn theo quy định Tp Hồ Chí Minh, ngày … tháng … năm 2016 Tác giả luận văn Lê Hồng Phong iv LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc đến TS.Vũ Thanh Hiền – Trƣờng Đại Học Kinh Tế Tài Chính TP.HCM, ngƣời hƣớng dẫn suốt trình nghiên cứu để có đƣợc kiến thức quý báu hoàn thành luận văn Tôi xin bày tỏ lòng biết ơn đến quý thầy quý cô Viện Đào tạo Sau Đại học Trƣờng Đại học Quốc tế Hồng Bàng cung cấp kiến thức quý báu cho suốt trình học tập nghiên cứu trƣờng Tôi xin gởi lời cảm ơn đến gia đình, đồng nghiệp, bạn bè ngƣời thân quan tâm giúp đỡ suốt thời gian học tập làm luận văn Do thời gian kiến thức có hạn nên luận văn không tránh khỏi thiếu sót định Tôi mong nhận đƣợc góp ý quý báu thầy cô Trân trọng Lê Hồng Phong v TÓM TẮT Nhận dạng ký tự viết tay lĩnh vực đƣợc quan tâm nghiên cứu đƣợc ứng dụng rộng rãi nhiều lĩnh vực nhƣ: nhận dạng chữ số phiếu chi ngân hàng, mã số bì thƣ dịch vụ bƣu chính, hay chữ số biểu mẫu … Vấn đề nhận dạng chữ viết tay nói chung nhận dạng chữ số viết tay nói riêng thách thức lớn nhà nghiên cứu Bài toán lớn đặt phía trƣớc phức tạp việc nhận dạng chữ viết phụ thuộc nhiều vào phong cách viết cách thể ngôn ngữ ngƣời viết Mạng Neural dựa việc mô cấp thấp hệ thống Neural sinh học, tƣơng lai với phát triển mô Neural sinh học có loại máy tính thông minh thật để phát triển lĩnh vực Từ ý tƣởng sáng tạo nhà khoa học đƣợc nêu kết hợp với kiến thức có ký tự số viết tay nên chọn đề tài nghiên cứu “Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay” Hiện có nhiều phƣơng pháp nhận dạng nhƣng để nhận dạng đƣợc chữ viết tay khóa khăn, ta phải xây dựng tập sở liệu mẫu ký tự viết tay lớn nhƣng xử lý đòi hỏi phải có độ xác cao thời gian thực ngắn Hệ thống “Ứng Dụng mạng NEURAL Tích chập nhận dạng ký tự số viết tay” nghiên cứu vấn đề nhƣ sau: - Xử lý phân tích đƣợc đƣợc ký tự ảnh đầu vào Chuyển đổi ký tự sang ma trận điểm ảnh ma trận Kernel Tiến hành nhận dạng ký tự thuật toán mạng neural tích chập Sau trình thực nghiệm tập liệu thực MNIST, hiển thị kết thu đƣợc qua trình nhận dạng vi ABSTRACT Recognizing the handwritten characters and digits is one of the most important fields which is researched and applied in our lives in so many ways Such as recognizing the characters or number on the receipt papers of the banks, the pin numbers on the envelopes of the post offices, or digits on the form The problems of recognizing the handwritten digits and characters cause a big issue to challenge the studying and the scientists The hard situations and huge questions always occur in the processing of the program because it is so complicated to regconize the hand writing It depends on the styles of the people who is writing and language expression of the writer The Neural network based on basic level simulations of biological neural systems , in the future with the development of biological neural simulation sewing machine intelligence have really to develop this field From these creative ideas of the scientist and the knowledge of handwritten characters and digits, i have chosen the topic "Application convolution neural network recognition of handwritten characters " Nowadays, there are so many methods of identification , but to recognize the handwriting is very difficult Even though we must build a large collective database of handwritten characters, when treatment requires high precision and shortest implementation time System "Application Integration convolution neural network recognition of handwritten characters" study the problem as follows: - Handling and analyzes the input image character Convert characters into pixel matrix and matrix Kernel Conduct a character recognition algorithm using neural network - convolution After the experiments on real data sets MNIST, showing the results obtained through the identification process vii NHẬN XÉT CỦA GIẢNG VIÊN HƢỚNG DẪN TP HCM, ngày … tháng … năm 2016 Chữ ký giảng viên viii Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay CHƢƠNG CÀI ĐẶT CHƢƠNG TRÌNH THỬ NGHIỆM 4.1 MÔI TRƢỜNG THỬ NGHIỆM 4.1.1 Phần cứng : Intel® Corei CPU P7359 @2.00GHz 2.00GHz - Processor - Memory (RAM) : 4GB 4.1.2 Phần mềm Visual Studio 2013 Ngôn ngữ sử dụng C# 4.1.3 Cơ sở liệu sử dụng ứng dụng 4.1.3.1 Nguồn gốc độ tin cậy liệu Trong “lịch sử” Computer Vision, có toán nhận dạng đến xem giải xong nhận dạng chữ số viết tay (hand-written digit recognition) nhận dạng mặt ngƣời (face recognition/detection) Trong nhận dạng chữ số viết tay xem dạng toán điển hình với dataset phổ biến nhƣ USPS MNIST Thực tế MNIST trở thành dataset chuẩn mực cho nhiều mô hình máy học nhiều năm qua Trên website MNIST, ta thấy đƣợc có tất 60.000 ký tự 10.000 ký số liệu đƣợc tổng hợp từ nhiều nhà phân tích uy tín giới nhƣ Yann LeCun, Corinna Cortes, Christopher J.C Burges 4.1.3.2 Bộ liệu chuẩn MNIST [1] - Bộ liệu MNIST bao gồm 10.000 mẫu ký số để nhận dạng, mẫu ma trận ảnh kích thƣớc 28x28 đen chữ trắng - Do ảnh ký số cần nhận dạng ta có định dạng trắng chữ đen nên ta chuyển ma trận ảnh MNIST từ đen chữ trắng sang trắng chữ đen để phù hợp với yêu cầu - Cơ liệu đƣợc sử dụng nghiên cứu MNIST[i] Cơ sở liệu chứa 60.000 hình ảnh để huấn luyện 10.000 hình ảnh để kiểm tra 52 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Hình 4-1 Minh họa liệu có sở liệu MNIST 4.1.3.3 Học liệu từ MNIST - Bộ liệu MNIST có 10.000 mẫu ký số để nhận dạng, sau đọc 10.000 mẫu ký số, ta bắt đầu thực trình tích chập 10.000 mẫu ký số để so với ảnh đầu vào tìm ký số có tỉ lệ xác cao 10.000 mẫu ký số hiển thị kết 53 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay 4.2 GIAO DIỆN CỦA ỨNG DỤNG 4.2.1 Hệ thống menu 4.2.2 Các tab control Hình 4-2 Giao diện ứng dụng 54 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Để minh họa bƣớc thực trình tích chập, nên ứng dụng có sử dụng tab control để mô bƣớc thực Riêng tab thứ 4, ngƣời dùng chọn ảnh trực tiếp đƣa kết nhận dạng Giới thiệu tab control có ứng dụng: Hình 4-3 Giao diện ứng dụng sau mở file ảnh 55 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Hình 4-4 Giao diện ứng dụng sau ảnh đóng khung 56 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Hình 4-5 Ảnh sau nhận dạng đưa kích thước chuẩn (32 X 32) 57 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Hình 4-6 Tùy vào người dùng chọn ảnh bên khung trái, khung phải hiển thị màu giá trị màu pixel có ảnh (32 X 32) 58 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Hình 4-7 Hình bên trái: Ma trận điểm ảnh sau thực convolution, từ kích thước 32 X 32 giàm 28 X 28 Hình bên phải:Ma trận điểm ảnh sau thực subsampling, từ kích thước 28 X 28 giàm 14 X 14 59 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Hình 4-8 Ảnh ban đầu kết sau nhận dạng 60 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay 4.3 Đánh giá kết đạt đƣợc 4.3.1 Nhận dạng ảnh (độ sai lệch) Số mẫu nhận dạng Số mẫu nhận dạng sai Tỉ lệ xác % Ảnh kích thƣớc < 64x64 10 70 Ảnh kích thƣớc > Ký số 64x64 10 100 Ảnh nét đậm 10 90 Ảnh nét nhạt 10 80 Ảnh kích thƣớc < 64x64 10 70 Ảnh kích thƣớc > Ký số 64x64 10 90 Ảnh nét đậm 10 90 Ảnh nét nhạt 10 80 Ảnh kích thƣớc < 64x64 10 70 Ảnh kích thƣớc > Ký số 64x64 10 90 Ảnh nét đậm 10 80 Ảnh nét nhạt 10 70 Ảnh kích thƣớc < 64x64 10 60 Ảnh kích thƣớc > Ký số 64x64 10 80 Ảnh nét đậm 10 90 Ảnh nét nhạt 10 60 Ảnh kích thƣớc < 64x64 10 60 Ký số 61 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Ảnh kích thƣớc > 64x64 10 80 Ảnh nét đậm 10 90 Ảnh nét nhạt 10 70 Ảnh kích thƣớc < 64x64 10 70 Ảnh kích thƣớc > Ký số 64x64 10 80 Ảnh nét đậm 10 90 Ảnh nét nhạt 10 70 Ảnh kích thƣớc < 64x64 10 80 Ảnh kích thƣớc > Ký số 64x64 10 90 Ảnh nét đậm 10 80 Ảnh nét nhạt 10 70 Ảnh kích thƣớc < 64x64 10 70 Ảnh kích thƣớc > Ký số 64x64 10 90 Ảnh nét đậm 10 90 Ảnh nét nhạt 10 80 Ảnh kích thƣớc < 64x64 10 70 Ảnh kích thƣớc > Ký số 64x64 10 90 Ảnh nét đậm 10 90 Ảnh nét nhạt 10 80 Ảnh kích thƣớc < 64x64 10 80 Ký số 62 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay - Ảnh kích thƣớc > 64x64 10 90 Ảnh nét đậm 10 90 Ảnh nét nhạt 10 80 Kiểm tra 10.000 ảnh ký số: Thời gian Nhận dạng sai Tỉ lệ sai 26 giây 128/ 10.000 1.28% 63 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN  Kết luận Tìm hiểu nắm đƣợc kiến thức mạng neural nhân tạo Hiểu rõ qui trình công việc xây dựng ứng dụng nhận dạng ký tự số viết tay, từ phát triển thành công phần mềm nhận dạng ký tự số viết tay Luận văn đƣợc hoàn thành mặt nội dung đề Đó kết hợp xử lí ảnh lý thuyết nhận dạng nhằm giải phần toán nhận dạng ký tự số viết tay Ứng dụng bƣớc đầu thử nghiệm đạt đƣợc kết thực nghiệm dựa 10.000 tập mẫu với độ xác 90%  Hạn chế - Tuy hoàn thành nội dung chƣơng trình nhận dạng nhƣng số hạn chế cần đƣợc khắc phục nhƣ: - Chƣơng trình mức thử nghiệm, chƣa áp dụng vào thực tế - Hệ thống cài đặt hạn chế giao diện - Việc quản lí nhớ chƣa đƣợc trọng, cụ thể cần phải thay đổi định dạng file ảnh lƣu trữ kích thƣớc định dạng file *.bmp lớn - Với nhựng ký tự dính xác chồng việc xử lý phân tích giới hạn chƣa xác, dẫn đến nhận dạng ký tự sai - Sự phức tạp cấu tạo ký tự nhiều cách viết khác nên chƣa thu thập đủ sở liệu ảnh ký tự - Do thời gian làm luận văn không nhiều, nên phần luận văn em chắn nhiều sai sót Mong thầy thông cảm bỏ qua Em xin chân thành cảm ơn  Hướng phát triển Luận văn nhận dạng ký tự số viết tay phát triển ứng dụng thiết bị di động nhằm mục đích mang lai tiện lợi cho ngƣời sử dụng Từ sở nhận dạng ký tự số viết tay phát triển lên để nhận dạng ký tự viết tay Anh Ngữ nhận dạng ký tự viết tay Việt Ngữ 64 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay TÀI LIỆU THAM KHẢO Ebook [1] Hoàng Kiếm, Nguyễn Hồng Sơn, Đào Minh Sơn, “Ứng dụng mạng neuron nhân tạo hệ thống xử lý biểu mẫu tự động”, Kỷ yếu hội nghị kỷ niệm 25 năm thành lập Viện Công nghệ Thông tin, 2001, tr 560-567 [2] “ Ứng dụng mạng neuron nhân tạo hệ thống xử lý biểu mẫu tự động”, Hồng Kiếm (Khoa công nghệ thông tin Đại học Khoa Học Tự Nhiên TPHCM), Nguyễn Hồng Sơn - Đào Minh Sơn ( Trung tâm máy tính, Cục xuất nhập cảnh, Bộ công an) [3] Lê Hoài Bắc, Lê Hoàng Thái, “Neural Network & Genetic Algorithm in Application to Handwritten Character Recognition”, Tạp chí tin học điều khiển học Tập 17, số 04, 2001, tr 57-65 [4] Nguyễn Thị Thanh Tân, Ngô Quốc Tạo, “Một cấu trúc mạng neuron thích hợp cho việc nhận dạng chữ số viết tay”, Kỷ yếu hội thảo FAIR03, NXB KH&KT Hà Nội, 2004, tr 200-210 [5] P V Dung, “Online handwriting recognition using multi convolution neural networks” In Proceedings of The Ninth International Conference on Simulated Evolution And Learning (SEAL 2012), Hanoi, Vietnam, December 2012, pp 310-319 Nguồn sở liệu tham khảo Internet [1] http://yann.lecun.com/exdb/mnist/ Nguồn tham khảo Internet [2] http://setosa.io/ev/image-kernels/ [3] http://www.codeproject.com/Articles/571462/Multiple-convolution-neuralnetworks-approach-for [4] http://micro.magnet.fsu.edu/primer/java/digitalimaging/processing/kernelmas koperation/index.html [5] https://ongxuanhong.wordpress.com/2015/12/29/convolutional-neuralnetworks-la-gi/ [6] http://www.ieev.org/2009/05/tich-chap-convolution-va-thuc-hanh.html [7] https://phvu.net/2012/10/31/neural-network-object-recognition/ 65 Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay 66 ... thức có ký tự số viết tay nên chọn đề tài nghiên cứu Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Hiện có nhiều phƣơng pháp nhận dạng nhƣng để nhận dạng đƣợc chữ viết tay khóa... Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay Conference on Intelligent nformation Hidding and Multimedia Signal Processing, 2008 Ứng dụng mạng neural tích chập nhận dạng ký tự số. .. mạng neural tích chập nhận dạng ký tự số viết tay Ký tự số ảnh nằm giao nhau, cắt ký số chứa ký số gây khó khăn việc nhận dạng, dẫn điến đọc ký tự sai Hình 1.5 Ảnh minh họa ký tự số nằm giao cắt