- LỜI CAM ĐOAN Tôi xin cam đoan: Những nội dung đồ án tốt nghiệp thực hướng dẫn trực tiếp cô giáo: ThS Dương Thị Mai Thương Mọi tham khảo dùng đồ án tốt nghiệp trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá xin chịu hoàn toàn trách nhiệm Sinh viên Tống Thị Vinh LỜI CẢM ƠN Em xin chân thành cảm ơn thầy, cô khoa Công nghệ Thông tin Trường Đại học công nghệ thong tin truyền thong thái nguyên tận tình dạy dỗ, truyền đạt cho chúng em nhiều kiến thức quý báu Em xin tỏ lòng biết ơn sâu sắc đến cô Th.s Dương Thị Mai Thương, người tận tình giúp đỡ truyền đạt nhiều kinh nghiệm để đề tài thực hoàn thành Xin chân thành cảm ơn bạn khoa Công Nghệ Thông Tin, Đại Học công nghệ thong tin truyền thông thái nguyên giúp đỡ, động viên nhiều trình thực đề tài Em xin trân thành cảm ơn! Sinh viên Tống Thị Vinh MỤC LỤC LỜI CẢM ƠN MỤC LỤC LỜI NÓI ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO 1.1 Khái niệm mạng neural .6 1.1.1 Tìm hiểu Neural 1.1.2 Mạng neural nhân tạo 10 1.2 Đặc trưng mạng neural .11 1.2.1 Tính phi tuyến .11 1.2.2 Tính chất tương ướng đầu vào đầu 11 1.2.3 Tính chất thích nghi 12 1.2.4 Tính chất đưa lời giải có chứng .12 1.2.5 Tính chất chấp nhận sai xót 12 1.2.6 Khả cài đặt VLSI(Very-large-scale-intergrated) 12 1.2.7 Tính chất đồng dạng phân tích thiết kế 12 1.3 Phân loại mạng neural nhân tạo 13 1.3.1 Phân loại theo kiểu liên kết neural 13 1.3.2 Một số loại mạng neural .13 1.4 Xây dựng mạng neural 17 1.5 Huấn luyện mạng neural 18 1.5.1 Phương pháp học 18 1.5.2 Thuật toán học 19 1.6 Thu thập liệu cho mạng neural 24 1.7 Biểu diễn chi thức cho mạng neural 26 1.8 Một số vấn đề mạng neural 28 1.9 Ứng dụng mạng neural .29 CHƯƠNG 2: ỨNG DỤNG MẠNG NEURAL NHẬN DẠNG KÍ TỰ 29 2.1 Giới thiệu 29 2.2 Phát biểu toán 30 2.3 Các bước giải toán 30 2.3.1 Xây dựng mạng neural 30 2.3.2 Xử lý liệu (phân tích ảnh) 31 2.3.3 Huấn luyện mạng neural .36 2.3.4 Nhận dạng ảnh kí tự 39 CHƯƠNG 3: CÀI ĐẶT CHƯƠNG TRÌNH THỬ NGHIỆM 42 3.1 Môi trường thử nghiệm 42 3.2 Giao diện chương trình 42 3.3 Bảng mã ASCII sử dụng chương trình 42 3.4 Thực nghiệm 43 3.4.1 Thực nghiệm trình tính giá trị số tham số đầu vào 43 3.4.2 Thực nghiệm huấn luyện mạng 45 3.4.3 Thực nghiệm nhận dạng .50 KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 58 LỜI NÓI ĐẦU Ngày không phủ nhận vai trò quan trọng máy tính nghiên cứu khoa học kỹ thuật đời sống Máy tính làm điều kỳ diệu giải vấn đề tưởng chừng nan giải Càng ngày có nhiều người tự hỏi, liệu máy tính có khả suy nghĩ người hay chưa? Chúng ta không trả lời câu hỏi Thay vào đó, nêu khác biệt chủ yếu cách làm việc máy tính óc người Một máy tính, dù có mạnh đến đâu nữa, phải làm việc theo chương trình xác hoạch định trước chuyên gia Bài toán phức tạp việc lập trình công phu Trong người làm việc cách học tập rèn luyện, làm việc người có khả liên tưởng, kết nối việc với việc khác, quan trọng hết, họ sáng tạo Do có khả liên tưởng, người dễ dàng làm nhiều điều mà việc lập trình cho máy tính đòi hỏi nhiều công sức Chẳng hạn việc nhận dạng hay trò chơi ô chữ Một em bé tự học hỏi để nhận dạng phân loại đồ vật chung quanh mình, biết thức ăn, đồ chơi Một người bình thường đoán vài chữ ô chữ Nhưng thật khó mà dạy cho máy tính làm việc Từ lâu nhà khoa học nhận thấy ưu điểm óc người tìm cách bắt chước để thực máy tính, tạo cho có khả học tập, nhận dạng phân loại Các mạng neural nhân tạo đời từ nỗ lực Nó thực ý nhanh chóng trở thành hướng nghiên cứu đầy triển vọng mục đích xây dựng máy thông minh tiến gần tới trí tuệ người Đặc biệt lĩnh vực nhận dạng Trong đồ án trình bày “Ứng dụng mạng neural nhận dạng kí tự” Nội dung báo cáo gồm chương sau: Chương 1:Tổng quan mạng neural nhân tạo Chương 2: Ứng dụng mạng neural nhận dạng kí tự Chương 3: Cài đặt chương trình thử nghiệm CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO 1.1 Khái niệm mạng neural 1.1.1 Tìm hiểu Neural 1.1.1.1 Neural sinh học Một neural cấu gồm thành phần sau: Dendrite, Soma, Synapse, Axon hình 1.1 Hình 1.1: Mô hình neural sinh học Soma thân neural Các dendrites dây mảnh, dài, gắn liền với soma, chúng truyền liệu (dưới dạng xung điện thế) đến cho soma xử lý Bên soma liệu tổng hợp lại, xem gần tổng hợp phép lấy tổng tất liệu mà neural nhận Một loại dây dẫn tín hiệu khác gắn với soma axon Khác với dendrites, axons có khả phát xung điện thế, chúng dây dẫn tín hiệu từ neural nơi khác Chỉ điện soma vượt giá trị ngưỡng axon phát xung điện thế, không trạng thái nghỉ Axon nối với dendrites neural khác thông qua mối nối đặc biệt gọi synapse Khi điện synapse tăng lên xung phát từ axon synapse nhả số chất hoá học (neurotransmitters); chất mở "cửa" dendrites ions truyền qua Chính dòng ions làm thay đổi điện dendrites, tạo xung liệu lan truyền tới neural khác Có thể tóm tắt hoạt động neural sau: neural lấy tổng tất điện vào mà nhận được, phát xung điện tổng lớn ngưỡng Các neural nối với synapses Synapse gọi mạch cho phép truyền dẫn dễ dàng tín hiệu qua neural khác Ngược lại, synapse yếu truyền dẫn tín hiệu khó khăn Các synapses đóng vai trò quan trọng học tập Khi học tập hoạt động synapses tăng cường, tạo nên nhiều liên kết mạnh neural Có thể nói người học giỏi có nhiều synapses synapses mạnh mẽ, hay nói cách khác, liên kết neural nhiều, nhạy bén 1.1.1.2 Neural nhân tạo Mạng noron nhân tạo vài năm trở lại nhiều người quan tâm áp dụng thành công nhiều lĩnh vực khác nhau, tài chính, y tế, địa chất vật lý Thật đâu có vấn đề dự báo, phân loại điều khiển, mạng noron nhân tạo ứng dụng thành công nhanh chóng mang noron nhân tạo số nhân tố sau: - Năng lực: mạng noron nhân tạo kỹ thuật mô tinh vi, có khả mô hàm phức tạp Đặc biệt, mạng noron nhân tạo hoạt động phi tuyến Trong nhiều năm, mô hình phi tuyến kỹ thuật sử dụng rộng rãi hầu hết lĩnh vực, mô hình tuyến tính có tính chiến lược tối ưu hóa biến nhiều - Dễ sử dụng: mạng noron nhân tạo có tính học theo ví dụ người sử dụng mạng noron nhân tạo thu nhập liệu đặc trưng, sau gọi thuật toán huấn luyện để tự học cấu trúc liệu Mặc dù người sử dụng làm tất điều cần thiết để chọn chuẩn bị liệu, sử dụng loại mạng phù hợp kết quả, mức độ người sử dụng biết cách áp dụng thành công mạng noron nhân tạo thấp nhiều người sử dụng phương pháp thống kê truyền thống … Mạng noron nhân tạo dựa mô cấp thấp hệ thống sinh học.trong tương lai với phát triển mô noron sinh học, chúng loại máy tính thông minh thực Lý thuyết mạng neuron nhân tạo xây dựng xuất phát từ thực tiễn não người luôn thực tính toán cách hoàn toàn khác so với máy tính số Có thể coi não máy tính hay hệ thống xử lý thông tin song song, phi tuyến phức tạp Sự mô não người mạng neuron dựa sở số tính chất đặc thù rút từ nghiên cứu thần kinh Neural nhân tạo đơn vị tính toán có nhiều đầu vào đầu ra, đầu vào đến từ liên kết Đặc trưng neural hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Hàm kích hoạt đảm bảo tính chất phi tuyến cho tính toán mạng neural y1 w1 f y2 w2 a wk yk Đầu vào b0 Đầu a=f( ∑w’y+b) Hình1.2: Mô hình neural nhân tạo Một neural cầu tạo gồm thành phần : liên kết neural, cộng , hàm kích hoạt Liên kết neural thành phần mạng neural nhận tạo để liên kết neural, nối đầu neural lớp với đầu vào neural lớp khác Đặc trưng thành phần liên kết trọng số mà tín hiệu qua nhân với trọng số Các trọng số liên kết tham số tự mạng neuron, thay đổi nhằm thích nghi với môi trường xung quanh Bộ cộng dùng để tính tổng tín hiệu đầu vào neural, nhân với trọng số liên kết tương ứng phép toán mô tả tạo nên hợp tuyến tính Hàm kích hoạt hay gọi hàm kích hoạt phi tuyến, chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Hàm kích hoạt đảm bảo tính chất phi tuyến cho tính toán mạng neural Nó xem hàm giới hạn, giới hạn phạm vi biên độ cho phép tín hiệu đầu khoảng giá trị hữu hạn Mô hình neural hình 1.2 bao gồm hệ số điều chỉnh b tác động từ bên Hệ số điều chỉnh b có tác dụng tăng lên giảm đầu vào thực hàm kích hoạt, tùy theo dương hay âm Bảng 1.1 : Một số hàm kích hoạt mạng neural: Tên hàm Công thức Hardlim a=0 Hardlims với n < a=1 với n ≥ a = -1 với n < a=1 với n ≥ Purelin a=n Satlin a=0 với n < a=n với ≤ n ≤ a=1 với n > a = -1 với n < a=n với ≤ n ≤ a=1 với n > Satlins Tansig Poslin Compet a= en − e−n + e −n a=0 với n < a=n với n ≥ a = với neural có n lớn a = với neural lại Logsig 1.1.2 a= 1 + e −n Mạng neural nhân tạo Là hệ thống bao gồm nhiều phần tử xử lý đơn giản (hay gọi neural) tựa neural thần kinh não người, hoạt động song song nối với liên kết neural Mỗi liên kết kèm theo trọng số đó, đặc trưng cho tính kích hoạt ức chế neural Có thể xem trọng số phương tiện để lưu trữ thông tin dài hạn mạng neural nhiệm vụ trình huấn luyện mạng cập nhật trọng số có thêm thông tin mẫu học Hay nói cách khác, trọng số điều chỉnh cho dáng điệu vào mạng mô hoàn toàn phù hợp với môi trường xem xét Mô hình mạng neural Giá trị định cho số kí tự đưa vào 120 đến 160 với số lượng 50 hay 90 ký tự hết ký tự sử dụng vấn đề lâu dài tập 256 ký tự bảng mã ASCII 3.4.1.3 Thực nghiệm tìm tham số tốc độ học Sự thay đổi tham số tốc độ học ảnh hưởng tới thi hành mạng cho số lần lặp định sẵn Giảm giá trị tham số này, mạng cập nhật lại trọng số Nó làm giảm khả học khó cập nhật liên kết chậm hơn, tăng số lần lặp để đạt giá trị tối ưu Vì cần giá trị tối ưu cho thi hành mạng Các giá trị khác số kí tự=124, số lần lặp=300, Sigmoid slope=0.014 Theo kết bảng 3.4, giá trị tối ưu định cho tham số tốc độ học 150 sử dụng giá trị 50 hay 100 mạng học lâu độ xác không cao đốI với giá trị khác cho kết tương tự Bảng 3.4: Thực nghiệm tìm tốc độ học 50 100 150 Kiểu font Số kt lỗi % lỗi Số kt lỗi % lỗi Số kt lỗi % lỗi Arial 82 91.11 18 20 3.33 Tahoma 56 62.22 11 12.22 1.11 Time NewRoman 77 85.56 15 16.67 0 3.4.2 Thực nghiệm huấn luyện mạng Như biết có nhiều yếu tố ảnh hưởng tới trình huấn luyện mạng là: đa dạng đầu vao: kích thước , phong cách… Một điều cần thiết chuẩn bị trình tự ảnh kí tự đầu vào file ảnh đơn giản (*.bmp [bitmap] mở rộng), tương ứng với cac kí tự file văn (*.cts [character trainer set] mở rộng) lưư trữ hai file thư mục (cả hai file tên khác phần mở rộng) Ứng dụng cung cấp cho người dùng hộp thoại lựa chọn đường dẫn tới vị trí file văn *.cts đưa file ảnh tương ứng với Trong đồ án số tham số lựa chọn sau: Tốc độ học = 150 Hệ số góc Sigmoid= 0.014 Trọng số kết nối sở= 30 Số lần lại 300-600 tùy độ phức tạp loại font Trung bình ngưỡng lỗi = 0.0002 Mẫu dùng trình thực nghiệm huấn luyện: Ảnh đầu vào: Hình3.2: Ảnh đầu dùng để huấn luyện Đầu mong muốn: ABCDEFGHIJKLMNOPQRSTUVWXYZ abcdefghijklmnopqrstuvwxyz 0123456789 ABCDEFGHIJKLMNOPQRSTUVWXYZ abcdefghijklmnopqrstuvwxyz 0123456789 Hình 3.3: File đầu mong muốn Kết huấn luyện: Sau huấn luyện xong lưu lại kết vào thu mục “Mang” với *.ann để mỗI nhận dạng ta đưa giá trị vao mạng neural Dưới dây hình 3.4 ví dụ giá trị trọng số file sau huấn luyện Ứng dụng mạng noron nhận dạng ký tự Tống thị Vinh Network Name = Arial8 Hidden Layer Size = 500 Number of Patterns= 124 Number of Epochs = 300 Learning Rate = 150 Sigmoid Slope = 0.014 Weight Bias = 30 Weight[1 , , 0] = -75.64764 Weight[1 , , 1] = 165.6839 Weight[1 , , 2] = -315.9442 Weight[1 , , 3] = 20.66214 Weight[1 , , 4] = -100.0667 Weight[1 , , 5] = 211.1713 Weight[1 , , 6] = 133.3773 Weight[2 , 15 , 494] = 6.119909 Weight[2 , 15 , 495] = 27.66709 Weight[2 , 15 , 496] = -14.68367 Weight[2 , 15 , 497] = 6.72017 3.4 : Kết sau huấn luyện Weight[2 , 15 , 498] =Hình 8.664137 Weight[2 , 15 , 499] = -21.96243 Bảng 3.5: Thống kê kết huấn luyện: Loại font Số kí tự Số kí tự lỗi %lỗi Ghi huấn luyện Arial8 124 0.016 Arial10 124 0.016 Arial12 124 0.024 Arial14 124 0.024 Arial18 124 0.013 Arial20 124 0.013 Arial_Số 160 0 Arial_Hoa 156 0 Arial_Thường 156 0 Tahoma 124 0.016 Tahoma 10 124 0.026 Tahoma 12 124 0.016 Tahoma 14 124 0.016 Tahoma 18 124 0 Tahoma 20 124 0 Tahoma_Số 160 0 Tahoma_Hoa 156 0 Tahoma_Thường 156 0 Nhận xét trình huấn luyện : Đối vớI font Ariai có : I l Hình3.5 a : chữ “I_ hoa” mã 48h Hình 3.5b : chữ “l_thường” mã 6Ch Đối với trình huấn luyện ta cần ý nhiều font Arial hình 3.5a hình 3.5b chữ “I_Hoa”mã 49h chữ “l_Thường ” mã 6Ch tách kí tự, chia lưới đưa kết vào mạng làm cho mạng không phân biệt hai kí tự dẫn đến sau nhận dạng sai Phương pháp cần tăng số lần lặp cho trình huấn luyện 3.4.3 Thực nghiệm nhận dạng Để thực nhận dạng kí tự tiến hành bước sau:  Đưa giá trị huấn luyện vào mạng  Đưa anh cần nhận dạng vào  Ghi lại kết nhận dạng Một số ảnh kết nhận dạng Ảnh đầu vào: Hình 3.6a : Ảnh kích cỡ cua font Arial Kết thu ABCDEFGHlJKLMNOPQRSTUVWXYZ abcdefghijklmnopqrstuvwxyz 0123456789 ABCDEFGHIJKLMNOPQRSTUVWXYZ abcdefghijkImnopqrstuvwxyz 0123456789 Hình3.7b : Kết thu font Arial8 Ảnh đầu vào: Hình 3.8a : Ảnh kích cỡ cua font Tahoma Kết thu ABCDGFOHIJKLMNOPQRSTUVWXYZ abcdefghijklmnopqrstuvwxyz 0123456789 ABCDEFGHIJKLMNOPQRSTUVWXYZ abcdefghijklmnopqrstuvwxyz 0123456789 Hình 3.8b : Kết thu font Tahoma Ảnh đầu vào: Hình 3.10a : Ảnh kích cỡ cua font Tahoma Kết thu Truong dai hoc cong nghe thong tin va truyen thong thai nguyen Tong Thi Vinh Lop K6G khmt Hình 3.10b : Kết thu font Tahoma8 Bảng3.6: Kết trình nhận dạng font Arial Loại font Số kí tự nhận dạng Số kí tự lỗi Arial8 124 0.016 150 0.026 % lỗi Ghi Arial10 Arial12 Arial14 Arial18 Arial20 Arial_Số 124 0.024 150 0.026 124 0.016 150 0.03 124 0.016 150 0.013 124 0.016 150 0.013 124 0.026 150 0.013 160 0 0 0 0 0 0 156 Arial_Hoa Arial_Thường 156 Bảng3.7: Kết trình nhận dạng font Tahoma Loại font Tahoma8 Tahoma10 Tahoma12 Số kí tự nhận dạng Số kí tự lỗi % lỗi 124 0.016 150 0.013 124 0.008 150 0.026 124 0.024 150 0.026 Ghi Tahoma14 Tahoma18 Tahoma20 Tahoma_Số Tahoma_Hoa Tahoma_Thường 124 0 150 0 124 0 150 0 124 0 150 0 160 0 0 0 0 0 0 156 156 Nhận xét trình nhận dạng kí tự: Chương trình thực nghiệm huấn luyện nhận dạng hai loại font : Arial Tahoma với nhiều kích thước khác đạt kết tốt, số tồn cần phát triển để đạt kết cao Đối với trình huấn luyện ta cần ý nhiều font Arial nói hình 3.11a hình 3.11b chữ “I_Hoa”mã 49h chữ “l_Thường ” mã 6Ch tách kí tự, chia lưới đưa kết vào mạng làm cho mạng không phân biệt hai kí tự dẫn đến sau nhận dạng sai Phương pháp cần tăng số lần lặp cho trình huấn luyện Ngoài số trường hợp ảnh hai kí tự nằm chéo số trường hợp sau: Nó dẫn đến trình tách kí tự bị dính dó nhận dạng sai Đối với trường hợp ta cần phát triển phương pháp tách để tách kí tự Trong trình thực nghiệm nhận dạng kí tự ta thấy kí tự sai trình huấn luyện mạng chưa học kí tự ảnh nhận dạng bị nhận dạng sai Chỉ có số trình tách kí tự KẾT LUẬN Trong thời gian vừa qua, trình bày nội dung nghiên cứu đề tài em gồm phần sau:  Tìm hiểu mạng nơron nhân tạo  Tìm hiểu toán nhận dạng  Mô tả toán ứng dụng mạng nơron nhận dạng kí tự  Phân tích cụ thể toán nhận dạng  Thiết kế mạng huấn luyện mạng nơron cho toán “ứng dụng mạng nơron nhận dạng kí tự”  Cài đặt kiểm tra thực nghiệm toán Nhận dạng kí tự phần quan trọng lĩnh vực nhận dạng nói riêng xử lý ảnh nói chung Cùng với việc sử dụng công cụ mạng neural lĩnh vực cần phát triển Trong Khóa luận dừng phần thử nghiệm số loại font., kích thước…nhất định Hướng phát triển khóa luận tương lai  Nâng cao hiệu độ xác việc nhận dạng kí tự  Mở rộng thêm nhiều loại font  Mở rộng cỡ chữ đặc biệt cỡ chữ dùng nhiều văn  Phát triển thêm chức hay mô đun cho thiết bị cầm tay TÀI LIỆU THAM KHẢO [1.] Đinh Thị Hương Lan, CT603, Trường đại học dân lập hải phòng Tìm hiểu mạng neural nhân tạo cho toán nhận dạng Đồ án tốt nghiệp năm 2006 [2.] Ben Krose, faculty of Mathematics and computer science, university of Amsterdam And Patrick van der smagt, institute of robotics and system dynamics German aerospase Reseach establishment MathNeuralNetworks [3.] colin Fyfe, department of computing and information system, the university of Paisley Artificial Neural Networks and Information theory, [4.] Mostefa golea and Mario Marchand, Deparment of physics, university of Ottawa Canada A Growth Algorithm for Neural Networks Decision Trees [5.] Artificial neural network From Wikipedia, the free encyclopedia [6.] Neural network From Wikipedia, the free encyclopedia [7.] http://en.wikipedia.org/wiki/Non-linear [8.] http://www.codeproject.com/ ... 1:Tổng quan mạng neural nhân tạo Chương 2: Ứng dụng mạng neural nhận dạng kí tự Chương 3: Cài đặt chương trình thử nghiệm CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO 1.1 Khái niệm mạng neural 1.1.1... toán sử dụng mạng neural nhận dạng ký tự: 0Xây hoặcdựng mạng, xử lý liệu(phân tích ảnh), huấn luyện mạng nueral nhận dạng mạng neural Điểm ảnh 2.3 Các bước giải toán Điểm ảnh 2.3.1 Xây dựng mạng. .. thống neural sinh học Trong tương lai với phát triển mô neural sinh học, có loại máy tính thông minh thật CHƯƠNG 2: ỨNG DỤNG MẠNG NEURAL NHẬN DẠNG KÍ TỰ 2.1 Giới thiệu Nhận dạng ký tự ứng dụng