ĐẠI HỌC THÁI NGUYÊN TÌM HIỂU MẠNG NEURAL HAMMING VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG CÁC CHỮ CÁI TIẾNG Thái Nguyên – 2013 Số hóa trung tâm học liệu http://www.lrc.tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TÌM HIỂU MẠNG NEURAL HAMMING VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG CÁC CHỮ CÁI TIẾNG VIỆT Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: TS Lê Quang Minh Thái Nguyên – 2013 LỜI CẢM ƠN Để hoàn thành luận văn này, bên cạnh nỗ lực cố gắng thân có hƣớng dẫn nhiệt tình q Thầy Cơ, nhƣ động viên ủng hộ gia đình bạn bè suốt thời gian học tập nghiên cứu thực luận văn thạc sĩ Xin chân thành bày tỏ lòng biết ơn đến Thầy giáo TS Lê Quang Minh, ngƣời hết lòng giúp đỡ tạo điều kiện tốt cho tơi hồn thành luận văn Xin gửi lời tri ân điều mà Thầy dành cho Xin chân thành bày tỏ lòng biết ơn đến tồn thể q Thầy Cô trƣờng Đại học Công nghệ Thông tin & Truyền thơng nhƣ q Thầy Cơ tận tình truyền đạt kiến thức quý báu tạo điều kiện thuận lợi cho tơi suốt q trình học tập, nghiên cứu thực luận văn Xin chân thành bày tỏ lòng biết ơn đến gia đình, ngƣời khơng ngừng động viên, hỗ trợ tạo điều kiện tốt cho suốt thời gian học tập thực luận văn Cuối cùng, xin chân thành bày tỏ lòng biết ơn đến anh chị bạn bè đồng nghiệp hỗ trợ cho suốt trình học tập, nghiên cứu thực luận văn cách hoàn chỉnh Thái Nguyên, tháng 11 năm 2013 Học viên thực Phùng Văn Kiệm MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT .7 DANH MỤC HÌNH VẼ .8 MỞ ĐẦU CHƢƠNG I: TỔNG QUAN VỀ HIỆN TRẠNG CÁC BÀI TOÁN NHẬN DẠNG VÀ THIẾT LẬP BÀI TOÁN NGHIÊN CỨU .3 1.1 Tổng quan toán nhận dạng 1.2 Cụ thể toán nhận dạng chữ Tiếng Việt 1.3 Thiết lập toán 1.3.1 Ảnh đầu 1.3.2 Tiền sử lý 1.3.2.1 Nhị phân hóa ảnh 1.3.2.2 Lọc nhiễu .6 1.3.2.3 Chuẩn hóa kích thƣớc ảnh 1.3.2.4 Làm trơn biên chữ 1.3.2.5 Làm đầy chữ 1.3.2.6 Làm mảnh chữ .8 1.3.2.7 Điều chỉnh độ nghiêng văn .8 1.3.3 Quá trình biến đổi ảnh 1.3.3.1 Biến đổi Fourier 1.3.3.2 Biến đổi Wavelet 1.3.3.3 Phƣơng pháp mô men 1.3.3.4 Khai triển Karhunent-Loeve 1.3.4 Nhận dạng .10 1.3.4.1 Đối sánh mẫu .10 1.3.4.2 Phƣơng pháp tiếp cận cấu trúc 11 1.3.4.3 Mơ hình Markov ẩn (HMM - Hidden Markov Model) .13 1.3.4.4 Máy véc tơ tựa (SVM) .13 1.3.4.5 Mạng nơ ron 14 1.3.5 Kết 15 1.4 Kết luận .15 CHƢƠNG II: TÌM HIỂU MẠNG NEURAL VÀ MẠNG HAMMING 16 2.1 Mạng Neural 16 2.1.1 Khái niệm mạng Neural 16 2.1.2 Lịch sử phát triển mạng Neural 16 2.1.3 Đặc trƣng mạng neural 18 2.1.3.1 Tính phi tuyến .18 2.1.3.2 Tính chất tƣơng ƣớng đầu vào đầu 19 2.1.3.3 Tính chất thích nghi 19 2.1.3.4 Tính chất đƣa lời giải có chứng .19 2.1.3.5 Tính chất chấp nhận sai xót 20 2.1.3.6 Khả cài đặt VLSI(Very-large-scale-intergrated) 20 2.1.3.7 Tính chất đồng dạng phân tích thiết kế 20 2.1.4 Phân loại mạng neural nhân tạo .21 2.1.4.1 Phân loại theo kiểu liên kết neural 21 2.1.4.2 Một số loại mạng neural .21 2.1.5 Xây dựng mạng neural 23 2.1.6 Huấn luyện mạng neural 25 2.1.6.1 Phƣơng pháp học 25 2.1.6.2 Thuật toán học 26 2.1.7 Ứng dụng mạng neural 31 2.2 Mạng Hamming 32 2.2.1 Kiến trúc mạng Hamming 32 2.2.2 Thuật tốn học điển hình mạng Neural 34 2.3 Kết luận 40 CHƢƠNG III: ỨNG DỤNG MẠNG HAMMING TRONG BÀI TOÁN NHẬN DẠNG CÁC CHỮ CÁI TIẾNG VIỆT .41 3.1 Đặc thù khó khăn toán nhận dạng chữ Tiếng Việt .41 3.2 Thuật tốn chung chƣơng trình .43 3.3 Cấu trúc mạng Neural Hamming chƣơng trình nhận dạng chữ Tiếng Việt 44 3.4 Xây dựng chƣơng trình nhận dạng chữ Tiếng Việt .46 3.4.1 Công cụ ngôn ngữ lập trình 46 3.4.2 Xây dựng chƣơng trình 46 3.4.2.1 Xây dựng mô hình mạng Neural Hamming tín hiệu đầu vào 46 3.4.2.2 Định vị thu gọn kích cỡ ảnh 48 3.4.2.3 Xây dựng thuật toán 49 3.4.2.4 Nhận dạng 50 3.4.2.5 Giao diện chƣơng trình 54 3.5 Thử nghiệm chƣơng trình 54 3.6 Nhận xét chung trình thử nghiệm nhận dạng chữ Tiếng Việt kết luận chƣơng 60 KẾT LUẬN 62 TÀI LIỆU THAM KHẢO 63 DANH MỤC CÁC TỪ VIẾT TẮT Từ Ý nghĩa RBF Radial Basic Function HMM Hidden Markov Model SVM Support Vector Machines USPS United States Postal Service MNIST Bộ mẫu chữ số viết tay NIST-Viện Công nghệ Tiêu chuẩn Quốc gia Hoa Kỳ (National Insitute of Standard and Technology of the United States) SV Support Vector SOM Self Origanizing Map ANN Artificial Neural Network VLSI Very-large-scale-intergrated MLP Multi Layer Perceptron LMS Least Means Square DANH MỤC BẢNG, HÌNH VẼ Bảng 3.1: Kết nhận dạng chữ Tiếng Việt Font Times New Roman .57 Bảng 3.2: Kết nhận dạng chữ Tiếng Việt Font Arial 59 Hình 1.1 Sơ đồ hệ thống nhận dạng .5 Hình 1.2 Nhị phân hóa ảnh .6 Hình 1.3 Nhiễu đốm nhiễu vệt Hình 1.4.Chuẩn hóa kích thƣớc ảnh ký tự “A” “P” .7 Hình 1.5.(a) Ảnh gốc, (b) Ảnh sau đƣợc làm trơn biên Hình 1.6 Làm mảnh chữ Hình 1.7 Hiệu chỉnh độ nghiêng văn Hình 2.1: Mạng tiến với mức neural 21 Hình 2.2: Mạng tiến kết nối đầy đủ với mức ẩn mức đầu .22 Hình 2.3: Mạng hồi quy khơng có neural ẩn khơng có vòng lặp tự phản hồi 23 Hình 2.4: Mạng hồi quy có neural ẩn 23 Hình 2.5: Sơ đồ đồ thị có hƣớng đơn giản 24 Hình 2.6 Cấu trúc mạng hamming 32 Hình 2.7 Sơ đồ khối thuật tốn lan truyền ngƣợc 39 Hình 3.1 Phân tích chữ cỡ 30x20 thành điểm ảnh .41 Hình 3.2 Phân tích chữ cỡ 60x30 thành điểm ảnh .42 Hình 3.3 Sơ đồ thuật tốn chung chƣơng trình 43 Hình 3.4 Lƣu đồ trình xử lý ảnh .44 Hình 3.5 Cấu trúc mạng Neural .45 Hình 3.6 Hàm truyền Neural lớp 45 Hình 3.7 Quá trình xử lý ảnh thuật tốn .47 Hình 3.8 Định vị trí biên ảnh 48 Hình 3.9 Hàm truyền Neural lớp thứ 49 Hình 3.10 Sơ đồ hàm đầu 51 Hình 3.11 Giao diện chƣơng trình 54 Hình 3.12 Kết nhận dạng chữ Â với kích thƣớc 80x50 độ nhiễu 25%55 Hình 3.13 Kết nhận dạng chữ Â với kích thƣớc 80x50 pixel độ nhiễu 35% 55 Hình 3.14 Kết nhận dạng chữ Â với kích thƣớc 60x30 pixel độ nhiễu 25% 56 Hình 3.15 Kết nhận dạng chữ Â font Arial với kích thƣớc 60x30 pixel với độ nhiễu 25% 56 Hình 3.16 Bảng kết trọng số đầu ảnh khơng tính nhiễu .57 Hình 3.17 Bảng kết trọng số đầu ảnh có tính nhiễu 57 Hình 3.18 So sánh ảnh đầu vào ảnh mẫu 60 MỞ ĐẦU Từ lâu nhà khoa học nhận thấy ƣu điểm óc ngƣời tìm cách bắt chƣớc để thực máy tính, tạo cho có khả học tập, nhận dạng phân loại Vì nhà khoa học nghiên cứu sáng tạo mạng Neural nhân tạo Nó thực đƣợc ý nhanh chóng trở thành hƣớng nghiên cứu đầy triển vọng đặc biệt lĩnh vực nhận dạng Và toán nhận dạng ký tự toán lớp toán nhận dạng, xử lý ảnh Hiện giới, sản phẩm nhận dạng ký tự đƣợc triển khai tƣơng đối rộng rãi Tuy nhiên sản phẩm nhận dạng ký tự tiếng Anh, nhận dạng ký tự tiếng Việt có ngƣời Việt Nam phát triển đƣợc Ở nƣớc ta vài năm gần có số sản phẩm nhận dạng tiếng việt đƣợc triển khai thị trƣờng Nhƣng sản phẩm đƣợc bán thị trƣờng dƣới dạng đóng kín nên việc để phát triển thành phần mềm tự động cập nhật ảnh điều Vì nên tơi chọn đề tài: “Tìm hiểu mạng Neural Hamming ứng dụng toán nhận dạng chữ Tiếng Việt” Hệ thống chữ Tiếng Việt đƣợc xây dựng dựa chữ Latinh có thêm chữ ghép dấu phụ Do việc nhận dạng gặp khó khăn so với chữ Latinh thơng thƣờng cần phải có thuật tốn xử lý đem lại độ xác cao Trong khuôn khổ, thời lƣợng luận văn, đƣa chƣơng trình mơ mạng Neural nhận dạng 29 chữ Tiếng Việt từ A đến Y 10 chữ số từ đến Gán đầu Neural =0 Định vị cắt ảnh với kích cỡ cần thiết Định vị ảnh bƣớc chuyển hóa thành dạng vecto Nếu nhƣ điểm ảnh thứ k ảnh xét mà màu đen (black) giá trị đầu Neural đƣợc cộng thêm trọng số tín hiệu đầu vào từ điểm ảnh k Trong trƣờng hợp ngƣợc lại trừ trọng số tín hiệu đầu vào Giá trị đầu nhận đƣợc qua hàm truyền xác định giá trị đầu Code chƣơng trình thuật tốn phần đƣợc xây dựng nhƣ sau : for(int i=0; i=N/2) InputRow[i].fOutput=N/2; } Hình 3.10 Sơ đồ hàm đầu Tiếp theo ta cần truyền giá trị đầu lớp thứ vào đầu vào lớp thứ danh sách kết nhận dạng trƣớc Code nhƣ sau: float fOutputs[M]; for(int i=0; i