i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG TRẦN NGỌC MINH KỸ THUẬT NHẬN DẠNG CHỮ SỐ DỰA VÀO MẠNG NƠRON TRONG NHẬP ĐIỂM TỰ ĐỘNG Chuyên ngành: Khoa học máy tính Mã số: 60 48 0101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS.TS ĐỖ NĂNG TOÀN Thái Nguyên – năm 2015 ii LỜI CẢM ƠN Trước hết xin gửi lời cảm ơn sâu sắc đến thầy hướng dẫn khoa học PGS.TS Đỗ Năng Toàn dẫn khoa học, định hướng nghiên cứu tận tình hướng dẫn suốt trình làm luận văn Tôi xin cảm ơn Thầy viện Công Nghệ Thông Tin, Thầy Cô trường Đại học Công Nghệ Thông Tin Truyền Thông - Đại học Thái Nguyên quan tâm bảo trực tiếp giảng dạy, giúp đỡ suốt trình học tập nghiên cứu Tôi xin chân thành cảm ơn lãnh đạo phòng, ban trường Cao đẳng Cộng đồng Bắc Kạn tạo điều kiện cho học tập nghiên cứu đề tài Cuối cùng, xin cảm ơn gia đình bạn bè, người ủng hộ động viên để yên tâm nghiên cứu luận văn Trần Ngọc Minh iii LỜI CAM ĐOAN Tôi xin cam đoan công trình riêng tôi, hướng dẫn PGS.TS Đỗ Năng Toàn Các số liệu kết nghiên cứu luận văn trung thực không trùng lặp với đề tài khác Mọi tham khảo luận văn trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo hay gian trá xin hoàn toàn chịu trách nhiệm Trần Ngọc Minh iv MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN iii MỤC LỤC iv DANH MỤC HÌNH ẢNH vi MỞ ĐẦU CHƯƠNG KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NHẬN DẠNG PHIẾU ĐIỂM 1.1 Khái quát xử lý ảnh [1] 1.1.1 Các giai đoạn trình xử lý ảnh 1.1.2 Mô tả ảnh 1.1.3 Một vấn đề xử lý ảnh 1.2 Nhận dạng phiếu điểm 15 CHƯƠNG MẠNG NƠRON VÀ NHẬN DẠNG PHIẾU ĐIỂM 20 2.1 Mạng nơron nhân tạo[5] 20 2.1.1 Mô hình toán học 21 2.1.2 Phân loại 22 2.1.3 Các đặc trưng mạng nơron nhân tạo 24 2.1.4 Một số mô hình mạng nơron bản[5][6] 27 2.2 Kỹ thuật nhận dạng phiếu điểm 31 2.2.1 Hiệu chỉnh độ dịch chuyển 31 2.2.2 Hiệu chỉnh góc lệch 33 2.2.2.1 Phương pháp chiếu nghiêng 33 2.2.2.2 Phương pháp biến đổi Hough 35 2.2.2.3 Phương pháp láng giềng gần 37 2.3 Nhận dạng phiếu điểm dựa vào mạng nơron 38 2.3.1 Thiết kế mạng nơron 38 v 2.3.2 Lược đồ huấn luyện mạng 41 2.3.3 Thuật toán BackPropagation[9] 42 2.3.4 Nhận dạng đưa vào sở liệu 44 CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 45 3.1 Huấn luyện 45 3.1.1 Lựa chọn mẫu 45 3.1.2 Kết huấn luyện 49 3.2 Nhận dạng chữ số 49 3.3 Phân tích lựa chọn công cụ 50 3.3.1 Phân tích chọn công cụ 50 3.3.2 Chương trình thử nghiệm 51 PHẦN KẾT LUẬN 55 KẾT LUẬN VÀ KIẾN NGHỊ 56 TÀI LIỆU THAM KHẢO 57 vi DANH MỤC HÌNH ẢNH Hình 1.1: Ảnh gốc Hình 1.2: Ảnh giảm độ sáng Hình 1.3 Ảnh tăng cường độ sáng Hình 1.4: Ảnh gốc Hình 1.5: Ảnh giảm độ tương phản Hình 1.6: Ảnh tăng độ tương phản Hình 1.7: Mô thuật toán lọc trung vị để loại bỏ nhiễu Hình 1.8: Mô tả phép quay ảnh Hình 1.9: Mẫu bảng điểm thu nhận từ máy quét Hình 1.10: Bức ảnh trước điều chỉnh kích thước Hình 1.11: Bức ảnh sau điều chỉnh kích thước thành M*N Hình 2.1: Mô hình toán học mạng nơron Hình 2.2: Mô hình liệu tổng quát Hình 2.3: Mô hình thuật toán học có giám sát Hình 2.4: Mô hình mạng Hopfield Hình 2.5: Mô hình mạng ABAM Hình 2.6: Mô hình tổng quát mạng Perceptron Hình 2.7: Mô hình tổng quát mạng Back Propagation Hình 2.8: Mô hình mạng nơron ngược hướng Hình 2.9: (a) ảnh mẫu (b) ảnh cần nhận dạng Hình 2.10: Mô hình biểu đồ tần suất ảnh mẫu ảnh cần nhận dạng, (a) ảnh mẫu,(b) ảnh cần nhận dạng, (c) lược đồ tần suất ảnh mẫu ảnh cần nhận dạng vẽ chồng lên Hình 2.11: Các hình chiếu theo chiều thẳng đứng nằm ngang văn Hình 2.12: Biểu đồ minh hoạ phương pháp người láng giềng gần Hình 2.13: Cấu trúc mạng nơron vii Hình 2.14: Lược đồ thuật toán huấn luyện mạng Hình 2.15: Lược đồ thuật toán BackPropagation Hình 2.16: Lược đồ thuật toán nhận dạng kí tự Hình 3.1: Một mẫu liệu huấn luyện mạng Hình 3.4: Hoàn thành việc học mạng Hình 3.3: Ấn nút học mạng, bắt đầu trình học Hình 3.2: Trạng thái khởi đầu, khởi tạo trình học Hình 3.5: Tiến hành nhận dạng, chọn ảnh thử nghiệm Hình 3.6: Chương trình load ảnh thử nghiệm vào Hình 3.7: Kết nhận dạng MỞ ĐẦU Cùng với phát triển nhanh chóng phần cứng máy tính, phần mềm trở nên đa dạng, phong phú, hoàn thiện hỗ trợ hiệu cho người Các phần mềm ngày mô nhiều nghiệp vụ phức tạp, hỗ trợ cho người dùng sử dụng thuận tiện, thời gian xử lý nhanh chóng số nghiệp vụ tự động hoá cao số Mạng nơ ron nhân tạo mô xử lý thông tin, nghiên cứu từ hệ thống thần kinh sinh vật, giống não để xử lý thông tin Nó bao gồm số lượng lớn mối gắn kết cấp cao để xử lý yếu tố làm việc mối liên hệ giải vấn đề rõ ràng ANNs giống người, học kinh nghiệm, lưu kinh nghiệm hiểu biết sử dụng tình phù hợp Hiện nay, hầu hết sở giáo dục đào tạo nước ta trang bị phần mềm quản lý điểm nhằm nâng cao chất lượng giảng dạy quản lý học sinh, sinh viên, giúp giảm bớt phần lớn công việc đội ngũ cán quản lý giáo dục Tuy nhiên việc cập nhật điểm thi vào hệ thống phần mềm quản lý giáo dục thủ công, làm tốn nhiều công sức đội ngũ giáo vụ mà có nhiều sai sót đặc biệt với trường có số lượng môn học số sinh viên lớn Từ lý trên, chọn đề tài “KỸ THUẬT NHẬN DẠNG CHỮ SỐ DỰA VÀO MẠNG NƠRON TRONG NHẬP ĐIỂM TỰ ĐỘNG” với mong muốn phần giải phần khó khăn Thay phải nhập điểm thủ công, việc nhập điểm trở nên dễ dàng, thuận tiện với chương trình tự động cập nhật điểm Việc cập nhật điểm tự động rõ ràng giải khó khăn bất tiện chương trình quản lý điểm thông thường để lại * Đối tượng phạm vi nghiên cứu - Nghiên cứu trình phiếu điểm viết tay giảng viên qua máy quét thu hình ảnh đưa vào máy tính - Nhập điểm tự động trường Cao Đẳng Cộng Đồng Bắc Kạn * Hướng nghiên cứu đề tài - Phiếu điểm viết tay giảng viên qua máy quét thu hình ảnh đưa vào máy tính - Phân vùng ảnh thành vùng ảnh cần thiết: Mã sinh viên (hoặc số báo danh) Điểm thi - Nhận dạng thông qua mạng nơron với mẫu thu thập - Cập nhật vào Cơ sở liệu * Phương pháp nghiên cứu - Nghiên cứu tài liệu viết tổng quan - Phương pháp nghiên cứu toán nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động - Phương pháp phân tích, đánh giá đối tượng (phiếu điểm) - Nghiên cứu triển khai thử nghiệm chương trình * Ý nghĩa khoa học đề tài - Bản thân hiểu sâu áp dụng phương pháp cụ thể nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động - Nâng cao chất lượng công việc việc nhập điểm tự động cán quản lý giáo dục Giảm thiểu sai sót trình nhập điểm * Cấu trúc luận văn bao gồm chương sau: - Chương 1: Khái quát xử lý ảnh nhận dạng phiếu điểm - Chương 2: Mạng nơron nhận dạng phiếu điểm - Chương 3: Chương trình thử nghiệm kỹ thuật nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động - Kết luận: CHƯƠNG KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NHẬN DẠNG PHIẾU ĐIỂM 1.1 Khái quát xử lý ảnh [1] Xử lý ảnh mảng quan trọng kỹ thuật thị giác máy tính, tiền đề cho nhiều nghiên cứu thuộc lĩnh vực Hai nhiệm vụ trình xử lý ảnh nâng cao chất lượng thông tin hình ảnh xử lý số liệu cung cấp cho trình khác có việc ứng dụng thị giác vào điều khiển Đã có nhiều công trình nghiên cứu nhiều quốc gia từ năm 1920 đến xử lý ảnh góp phần thúc đẩy tiến lĩnh vực lớn mạnh không ngừng Quá trình việc thu nhận ảnh nguồn (từ thiết bị thu nhận ảnh dạng số tương tự) gửi đến máy tính Dữ liệu ảnh lưu trữ định dạng phù hợp với trình xử lý Người lập trình tác động thuật toán tương ứng lên liệu ảnh nhằm thay đổi cấu trúc ảnh phù hợp với mục đích khác 1.1.1 Các giai đoạn trình xử lý ảnh Để hình dung cấu hình hệ thống xử lý ảnh chuyên dụng hay hệ thống xử lý ảnh nghiên cứu, đào tạo, trước hết xem xét bước cần thiết xử lý ảnh a Thu nhận ảnh Ảnh thu nhận qua camera, thông thường ảnh thu nhận qua camera tín hiệu tương tự, tín hiệu số hoá Ảnh thu nhận từ vệ tinh qua cảm ứng hay ảnh, tranh quét scanner Sau lưu trữ máy tính Gồm có trình: 43 Bắt đầu Khởi tạo trọng số Tổng trọng số tín hiệu đầu vào Thông tin lỗi tính Cập nhật giá trị trọng số Kết thúc Hình 2.15: Lược đồ thuật toán BackPropagation  Khởi tạo trọng số - Giá trị trọng số liên kết nơron khởi tạo ngẫu nhiên  Feed Fordward: - Mỗi nơron tầng tính tổng trọng số tín hiệu vào - Sử dụng hàm activation để tính giá trị từ nơron 44  Back Propagation lỗi - Thông tin lỗi tính - Ta sử dụng giá trị để tính toán thông tin lỗi nơron lại  Cập nhật giá trị trọng số - Chúng ta sử dụng thông tin lỗi node để tính toán cập nhật lại giá trị cho trọng số liên kết nơron 2.3.4 Nhận dạng đưa vào sở liệu * Thuật toán: Các bước giai đoạn nhận dạng tóm tắt qua số bước sau:  Lựa chọn ảnh mà ta mong muốn nhận dạng  Phân tích ảnh thành dòng ánh xạ ảnh sang mảng kí tự  Mỗi dòng lại phân tách thành kí tự riêng biệt: + Điều chỉnh lại kích thước thành M*N + Phân tích xử lý ảnh kí tự để ánh xạ sang vector + Đưa vào mạng nơron tính toán output + Chuyển đổi output thành kí tự tương ứng ghi vào CSDL 45 Hình 2.16: Lược đồ thuật toán nhận dạng kí tự CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 3.1 Huấn luyện 3.1.1 Lựa chọn mẫu Chương trình nhận dạng kí tự chữ số viết tay thu nhận qua máy quét có nhiều kí tự nhiều hàng khác Luận văn xây dựng chương trình thử nghiệm áp dụng thuật toán BackPropagation để nhận dạng chữ số phục vụ cho việc nhập điểm tự động Xây dựng lớp kí tự số: 0, 1, 2, 3, 4, 5, 6, 7, 8, Do số kí tự chữ số khác mặt kích thước, kí tự ta xét thêm kích thước chữ số 46 Bước đầu thử nghiệm, xây dựng mẫu liệu chữ số viết tay Giảng viên trường Cao đẳng Cộng Đồng Bắc Kạn Các tập mẫu dùng để huấn luyện chữ số viết tay giảng viên trường Việc thu thập mẫu chữ viết tay giảng viên trường thực cách sử dụng máy quét Mẫu phiếu điểm nhận dạng chữ số viết tay: 47 48 49 3.1.2 Kết huấn luyện Tập liệu huấn luyện sau qua khâu tiền xử lý trích chọn đặc trưng đưa vào mạng nơron Sau kết thúc trình huấn luyện, hệ thống lưu lại giá trị tham số để phục vụ cho việc nhận dạng sau để kết luận từ liệu mẫu đưa vào thu tham số dựa mạng 3.2 Nhận dạng chữ số * Quy trình hệ thống nhận dạng: Đầu tiên, tập liệu huấn luyện gồm chữ số viết tay đọc vào chương trình Mỗi mẫu tập liệu huấn luyện gán giá trị tương ứng với số từ đến Sử dụng phương pháp ngưỡng toàn cục phương pháp xác định ngưỡng Otsu để xác định ngưỡng chuyển đổi ảnh xám sang ảnh nhị phân Sử dụng lọc trung vị để loại bỏ nhiễu Việc sử dụng lọc trung vị để lọc nhiễu phương pháp hiệu áp dụng rộng rãi Sau lọc nhiễu sử dụng phương pháp Projection Hozirontal để thực tách dòng trích rút vùng liệu cần lấy Sau huấn luyện, ta tiến hành thử nghiệm nhận dạng số viết tay Chức nhận dạng số viết tay xây dựng gồm vùng chính: vùng viết số (sử dụng chuột máy tính), vùng biểu đồ thị kết phân lớp, vùng kết nhận dạng tìm * Chức nhận dạng phiếu điểm gồm công đoạn: - Chọn phiếu điểm: Lựa chọn phiếu điểm cần nhận dạng - Xử lý phiếu điểm: Loại bỏ nhiễu ảnh phiếu điểm, trích chọn vùng hiển thị điểm ảnh - Nhận dạng: Sử dụng phương pháp Projection Hozirontal tạo để nhận dạng điểm phiếu 50 3.3 Phân tích lựa chọn công cụ 3.3.1 Phân tích chọn công cụ a Phân tích chọn công cụ Sau có ảnh phiếu điểm quét cách, việc nhận dạng phiếu điểm thực bước sau: - Tiền xử lý: Ảnh phiếu điểm sau quét thường có nhiễu, phần nhiệm vụ bước lọc nhiễu Sau ảnh phải biến đổi ảnh nhị phân để tạo điều kiện cho phân đoạn bước - Phân đoạn trích chọn đặc trưng: Tách ảnh qua tiền xử lý thành hàng, hàng bao gồm cột Sau từ cột tách kí tự cần nhận dạng, trích chọn đặc trưng - Huấn luyện nhận dạng: Xây dựng support vector nhận dạng từ phiếu điểm Trước nhận dạng, trình huấn luyện thực trước dựa tập mẫu có sẵn - Hậu xử lý: Tổng hợp kí tự nhận dạng riêng lẻ thành liệu để cập nhật vào sở liệu Chương trình phát triển hệ điều hành Windows, lập trình công cụ Visual C# Mẫu nhận dạng thu thập từ văn in, viết tay quét vào máy quét ảnh với kích cỡ định dạng khác nhau, thiết kế chương trình theo thuật toán nghiên cứu b Chuẩn hoá liệu - Input: Tập liệu huấn luyện gồm chữ số từ đến 9, phiếu điểm - Output: Nhận dạng giá trị điểm phiếu điểm Tập liệu huấn luyện: ảnh chữ số viết tay nhị phân hóa, có kích thước M*N 51 Hình 3.1: Một mẫu liệu huấn luyện mạng Phiếu điểm cần nhận dạng: Là ảnh scan phiếu điểm sử dụng trường Cao Đẳng Cộng Đồng- Bắc Kạn 3.3.2 Chương trình thử nghiệm Sau xây dựng phân lớp chữ số từ đến 9, ta tiến hành nhận dạng với liệu test gồm 500 chữ số Kết sau: Hình 3.2: Trạng thái khởi đầu, khởi tạo trình học 52 Hình 3.3: Ấn nút học mạng, bắt đầu trình học Hình 3.4: Hoàn thành việc học mạng 53 Hình 3.5: Tiến hành nhận dạng, chọn ảnh thử nghiệm Hình 3.6: Chương trình load ảnh thử nghiệm vào 54 Hình 3.7: Kết nhận dạng Với liệu này, chương trình nhận dạng 95% giá trị trùng với giá trị ảnh Ở tập mẫu dùng để huấn luyện chữ số viết tay giảng viên trường Việc thu thập mẫu chữ viết tay giảng viên trường thực cách sử dụng máy quét Sau thu thập mẫu, ta xây dựng mạng nơron huấn luyện mạng dựa mẫu thu thập Việc huấn luyện mạng thiết kế thành module riêng chương trình cho phép người dùng tạo kiểu mạng nơron theo kiến trúc khác 55 PHẦN KẾT LUẬN Việc sử dụng mạng nơron cho trình nhận dạng làm công việc nhận dạng đơn giản nhiều độ xác cao (có thể nói đạt tới 100%) nhận dạng mẫu học Hơn việc sử dụng mạng nơron nhận dạng mẫu mang tính chất gần giống kiểu với chữ lấy mẫu Một ưu điểm tuyệt vời việc sử dụng mang nơron nhanh chóng đưa định Không phải duyệt so sánh liệu mẫu CSDL, điều làm tăng tốc độ nhận dạng chương trình Chương trình hoàn toàn ứng dụng vào thực tế Bởi theo biết trường phải nhập liệu tay Điều thực khó khăn giáo vụ môn mà thi tập trung, việc nhập điểm lên tới hàng nghìn sinh viên 56 KẾT LUẬN VÀ KIẾN NGHỊ I Những kết luận văn Luận văn trình bày số hiểu biết quản lý nhập tự động, quy trình thực hệ thống nhập điểm tự động Luận văn khai thác Kỹ thuật nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động Khai thác Kỹ thuật nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động II Hướng phát triển luận văn Tích hợp thêm thuật toán nâng cao chất lượng ảnh nhằm tăng khả phát nhận dạng chữ số nhập điểm tự động Cài đặt phương pháp nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động Thực phát nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động loại ảnh văn 57 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] Đỗ Năng Toàn, Phạm Việt Bình (2007), Giáo trình xử lý ảnh, NXB KH kỹ thuật [2] Đỗ Năng Toàn, Phạm Văn Dũng, Phạm Việt Bình (2005), “Ứng dụng chu tuyến phát gúc nghiêng văn bản”, Kỷ yếu Hội thảo Quốc gia lần thứ - Một số vấn đề chọn lọc Công nghệ Thông tin Truyền thông, Đà Nẵng 18-20/08 /2004, Nxb KH&KT, Hà Nội 2005, 432-441 [3] Đỗ Năng Toàn, Ngô Quốc Tạo, Một số phương pháp nâng cao hiệu nhận dạng phiếu điều tra dạng dấu phục vụ cho thiết kế hệ nhập liệu tự động markread, Tạp chí Tin học Điều khiển học, Tập 15, số 4, năm 1999 [4] Lương Mạnh Bá, Nguyễn Thanh Thuỷ (1999), Nhập môn xử lý ảnh số, NXB Khoa học kỹ thuật [5] Nguyễn Đình Thúc (2000), Mạng nơron phương pháp ứng dụng, NXB Giáo dục Tài liệu Tiếng Anh [6] Pelin CORGEL, Oguzhan OZTAS, Handwritten character recognition system using artificial Neural Networks, Computer Engineering Department, Engineering Faculty, Istanbul University, Avcilar, Istanbul, TURKEY [7] U.-V Marti and H Bunke, Text Line Segmentation and word recognition in a system for general writer Independent Handwriting Recognition, IEEE (February 5, 2001) [8] Wojciech Kacalak, New methods for handwriting recognition using artificial neural networks, Technical university of Koszalin, Department of Mechanical Engineering, Raclawicka 15-17, 75-620 Koszalin,Poland [9] http://en.wikipedia.org/wiki/Backpropagation (20/04/2009) ... Khái quát xử lý ảnh nhận dạng phiếu điểm - Chương 2: Mạng nơron nhận dạng phiếu điểm - Chương 3: Chương trình thử nghiệm kỹ thuật nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động - Kết luận:... trường có số lượng môn học số sinh viên lớn Từ lý trên, chọn đề tài “KỸ THUẬT NHẬN DẠNG CHỮ SỐ DỰA VÀO MẠNG NƠRON TRONG NHẬP ĐIỂM TỰ ĐỘNG” với mong muốn phần giải phần khó khăn Thay phải nhập điểm. .. phương pháp cụ thể nhận dạng chữ số dựa vào mạng nơron nhập điểm tự động - Nâng cao chất lượng công việc việc nhập điểm tự động cán quản lý giáo dục Giảm thiểu sai sót trình nhập điểm * Cấu trúc