Mạng Nơ Ron nhân tạo trong nhận dạng văn bản và ứng dụng vào hệ thống nhận dạng chữ Việt in

15 275 0
  • Loading ...
1/15 trang

Thông tin tài liệu

Ngày đăng: 08/02/2017, 23:08

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Trần Đại Long MẠNG NƠ RON NHÂN TẠO TRONG NHẬN DẠNG VĂN BẢN VÀ ỨNG DỤNG VÀO HỆ THỐNG NHẬN DẠNG CHỮ VIỆT IN LUẬN VĂN THẠC SĨ Hà nội – 2006 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Trần Đại Long MẠNG NƠ RON NHÂN TẠO TRONG NHẬN DẠNG VĂN BẢN VÀ ỨNG DỤNG VÀO HỆ THỐNG NHẬN DẠNG CHỮ VIỆT IN Ngành: Công nghệ Thông tin Mã số: 1.01.10 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC PGS, TS Đặng Quang Á Hà nội – 2006 LỜI CẢM ƠN Trong trình thực luận văn này, em nhận đƣợc hƣớng dẫn, bảo tận tình PGS, TS Đặng Quang Á, Viện Công nghệ Thông tin thuộc Viện Khoa học Công nghệ Việt Nam, cán trực tiếp hƣớng dẫn khoa học cho em Em xin gửi lời cảm ơn sâu sắc giúp đỡ quý báu Em xin chân thành cảm ơn thầy TS Đỗ Năng Toàn, PGS, TS Vũ Đức Thi, Viện Công nghệ thông tin giảng dạy, cho em lời khuyên quý giá nhiệt tình giúp đỡ em suốt trình thực luận văn Em xin chân thành cảm ơn thầy, cô giáo khoa Công nghệ thông tin cán bộ, nhân viên phòng Đào tạo Sau đại học, trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội nhiệt tình giúp đỡ tạo điều kiện tốt cho em suốt trình học tập trƣờng Xin chân thành cảm ơn anh, chị bạn học viên lớp cao học K10T3 - trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội động viên, giúp đỡ nhiệt tình chia sẻ với kinh nghiệm học tập, công tác suốt khoá học Hà nội, ngày 08 tháng 12 năm 2006 Trần Đại Long MỤC LỤC MỞ ĐẦU CHƢƠNG I TỔNG QUAN VỀ MẠNG NƠ -RON NHÂN TẠO VÀ HỆ THỐNG NHẬN DẠNG VĂN BẢN 1.1 Giới thiệu mạng nơ ron 1.1.1 Mô hình mạng nơ-ron nhân tạo 1.1.2 Ƣu nhƣợc điểm mạng nơ-ron 8 12 1.2 Phân loại mạng nơ ron 14 1.3 Hệ thống nhận dạng văn 17 1.3.1 Các hoạt động tiền xử lý 20 1.3.2 Phân tích trang văn 22 1.3.3 Trích chọn đặc trƣng 27 1.3.4 Học nhận dạng 33 1.3.5 Hậu xử lý 34 CHƢƠNG II MỘT SỐ MÔ HÌNH MẠNG NƠ RON PHỔ BIẾN TRONG 36 HỆ THỐNG PHÂN TÍCH VÀ NHẬN DẠNG VĂN BẢN 2.1 Mạng Hamming 36 2.2 Mạng Kết hợp tuyến tính 40 2.3 Mạng Adaline 45 2.4 Mạng SOM 48 2.5 Mạng Multilayer Perceptron 56 2.6 Mạng RBF 65 CHƢƠNG III XÂY DỰNG MỘT HỆ THỐNG NHẬN DẠNG CHỮ VIỆT 70 IN SỬ DỤNG MẠNG NƠ RON 3.1 Tập ký tự tiếng Việt 70 3.2 Hệ thống nhận dạng 70 3.2.1 Tiền xử lý 73 3.2.2 Học nhận dạng 84 3.2.3 Hậu xử lý 85 3.3 Kết đạt đƣợc 85 3.3.1 Kết nhận dạng ký tự riêng lẻ 86 3.3.2 Kết nhận dạng văn 86 KẾT LUẬN 89 TÀI LIỆU THAM KHẢO 92 MỞ ĐẦU Mạng nơ ron nhân tạo ngày lĩnh vực nghiên cứu nóng hổi, thu hút quan tâm đặc biệt nhà khoa học nhiều lĩnh vực Đó nhờ thành công rực rỡ mặt lý thuyết ứng dụng Phạm vi áp dụng mạng nơ ron rộng lớn: lĩnh vực xử lý, điều khiển nhƣ xử lý tín hiệu, khử nhiễu, phân lớp, nhận dạng, dự báo Ngoài mạng nơ ron đƣợc ứng dụng lĩnh vực toán học, y học, kinh doanh, tài chính, nghệ thuật Mạng nơ ron ngày trở thành hƣớng nghiên cứu, giải pháp ngày hứa hẹn Một ứng dụng quan trọng mạng nơ ron nhận dạng phân loại mẫu Khả học thích ứng chúng làm cho chúng lựa chọn hàng đầu nhiệm vụ so sánh tập liệu trích chọn mẫu thích hợp từ liệu phức hợp Nhận dạng mẫu mạng nơ ron lĩnh vực rộng, nhƣng phổ biến nhận dạng chữ in chữ viết tay Nhận dạng văn toán đƣợc nghiên cứu từ lâu Trên giới có nhiều phần mềm tiếng nhận dạng chữ la tin nhƣ OMNIPAGE hãng Caere Corporation - Mỹ, RECOGNITA Recognita Corporation - Hunggary, CURNEIFORM Cognitive Technology Corporation - Mỹ, TexBridge Pro 96 Xerox Corporation, IMAG-IN 4.0 – Pháp Ở Việt nam có phần mềm nhận dạng chữ Việt in Viện công nghệ thông tin Nhận dạng văn toán phức tạp đòi hỏi nhiều nghiên cứu sâu sắc xử lý ảnh kỹ thuật nhận dạng Giải toán giúp tự động hoá nhiều công việc nhàm chán phải đánh lại văn ta có văn ảnh văn cần chuyển thông tin sang dạng text -6- để hiệu chỉnh lại tự động nhập liệu vào hệ thống sở liệu, giảm thời gian chi phí Ngày với bùng nổ internet việc xây dựng thƣ viện điện tử nhu cầu nhận dạng văn sách báo trở nên cần thiết Nhận thấy khả mạnh mẽ mạng nơ ron thích hợp với toán nhận dạng, kết hợp với nhu cầu thực tế nhận dạng văn có gợi ý định hƣớng PGS TS Đặng Quang Á, nghiên cứu đề tài "Mạng nơ ron nhân tạo nhận dạng văn ứng dụng vào hệ thống nhận dạng chữ Việt in" Luận văn không sâu nghiên cứu kỹ thuật xử lý ảnh văn cụ thể mà tập trung vào khả ứng dụng mạng nơ ron hệ thống nhận dạng văn nói chung xây dựng hệ thống nhận dạng chữ Việt in để minh họa Nội dung luận văn gồm có ba chƣơng: Chƣơng trình bày tổng quan mạng nơ ron nhân tạo, bao gồm: giới thiệu mạng nơ ron, phân loại mạng nơ ron tổng quan hệ thống nhận dạng ký tự Chƣơng hai trình bày số mạng nơ ron phổ biến hệ thống nhận dạng văn chữ in nhƣ mạng Hamming, mạng kết hợp tuyến tính, mạng Adaline, mạng SOM, mạng RBF, mạng Multilayer Perceptron Chƣơng ba trình bày hệ thống nhận dạng chữ Việt in sử dụng mạng nơ ron -7- CHƢƠNG I TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO VÀ HỆ THỐNG NHẬN DẠNG KÝ TỰ 1.1 Giới thiệu mạng nơ-ron Mạng nơ-ron nhân tạo đƣợc xây dựng từ năm 1940, nhằm mô số chức não ngƣời Nếu nhìn não từ góc độ tính toán, dễ thấy cách thức tính toán não khác xa với tính toán theo thuật toán chƣơng trình truyền thống Sự khác biệt thể hai điểm: + Quá trình tính toán đƣợc tiến hành song song phân tán nhiều nơ ron gần nhƣ đồng thời + Tính toán thực chất trình học theo sơ đồ định sẵn từ trƣớc Mạng nơ-ron nhân tạo đƣợc thiết kế tƣơng tự nhƣ nơ-ron sinh học, có khả giải hàng loạt toán mà suy luận tƣơng đối “mờ”, không đầy đủ liệu, cần có trình “học” từ ví dụ 1.1.1 Mô hình mạng nơ-ron nhân tạo 1.1.1.1 Nơ-ron sinh học Bộ não ngƣời có khoảng 1011 tế bào thần kinh kết nối với mật độ cao gọi nơ-ron (một nơ ron có khoảng 104 liên kết) Có nhiều loại nơ-ron khác kích thƣớc khả thu phát tín hiệu Tuy nhiên, chúng có cấu trúc nguyên lý hoạt động chung Hình 1.1 ví dụ đơn giản hoá nơron Mỗi nơ-ron gồm có ba phần: Thân nơ-ron (cell body) với nhân bên (soma), trục dây thần kinh (axon) hệ thống lƣới cảm ứng hình (dendrites) Các xúc tu hay lƣới cảm ứng, dây thần kinh vào để nhận -8- tín hiệu từ nơ-ron khác Thân nơ ron làm nhiệm vụ tổng hợp tín hiệu vào biến đổi thành tín hiệu Tín hiệu đƣợc chuyển đến trục dây thần kinh Dây thần kinh trục phân thành nhiều nhánh cuối nhằm chuyển giao tín hiệu tới nơ-ron khác Điểm kết nối trục nơ ron với xúc tu nơ ron khác gọi khớp (synapse) Các nơ-ron thay đổi mức tín hiệu khớp Trong nơ-ron nhân tạo, mức tín hiệu thể trọng số Hình 1.1 Mô hình nơ ron sinh học 1.1.1.2 Nơ-ron nhân tạo  Trọng số tổng tín hiệu đầu vào: Trọng số mô chức khớp nối hai nơ ron (synapse) Mỗi nơ-ron sinh học có nhiều dây thần kinh vào, nghĩa tiếp nhận đồng thời nhiều tín hiệu Tƣơng tự, nơ ron nhân tạo có nhiều trọng số Giả sử nơ-ron i có N tín hiệu vào, tín hiệu vào pj đƣợc gán trọng số wij tƣơng ứng, tổng tín hiệu vào nơ ron ni đƣợc ƣớc lƣợng theo số dạng sau: (i) Dạng tuyến tính: N n i   w ijp j j1 (ii) Dạng toàn phƣơng: -9- (1.1) N n i   w ijp j2 (1.2) n i  ρ 2  p j - w ij 2 (1.3) j1 (iii) Dạng mặt cầu: N j1 Trong ρ wij (j = 1->N) lần lƣợt bán kính tâm cầu  Hàm kích hoạt: Hàm biến đổi tín hiệu đầu vào n thành tín hiệu đầu a đƣợc gọi hàm kích hoạt (activation function hay transfer function) Hàm mô chức thân nơ ron Ngƣời thiết kế mạng chọn hàm cụ thể để đáp ứng yêu cầu toán  Nút Bias (hay offset): Là nút bổ trợ nhằm tăng khả thích ứng mạng nơ ron trình học Bias gần giống nhƣ trọng số, trừ điều có tín hiệu vào không đổi Nút bỏ không cần thiết Các trọng số bias tham số điều chỉnh nơ ron Một luật học điều chỉnh chúng cho quan hệ đầu vào/đầu nơ ron đáp ứng đƣợc mục tiêu - 10 - TÀI LIỆU THAM KHẢO [1] Nguyễn Thị Minh Ánh, Đinh Việt Cƣờng, Ngô Trí Hoài, Nguyễn Việt Hà, “Mô hình liên mạng nơ ron ứng dụng nhận dạng ký tự viết tay tiếng Việt”, Một số vấn đề chọn lọc công nghệ thông tin, Nhà xuất khoa học kỹ thuật, 2006 [2] Martin T Hagan, Howard B Demuth, Mark Beale, Neural Network Design, PWS Publishing Company, 1995 [3] Dave Anderson and George McNeill, Artificial Neural Network Technology, Kaman Sciences Corporation, 1992 [4] James A Freeman, David M Skapura, Neural Networks - Algorithms, Applications, and Programming Techniques, Addison-Wesley Publishing Company [5] Sing-Tze Bow, Pattern Recognition and Image Preprocessing, MARCEL DEKKER, INC [6] Richard O Duda, Peter E Hart, David G Stork, Pattern Classification, Wiley-Interscience [7] Colin Fyfe, Artificial Neural Network , The University of Paisley, 1996 [8] Madan M Gupta, Liang Jin, Noriyasu Homma, Static and Dynamic Neural Networks, Wiley-Interscience [9] Ian T Young, Jan J Gerbrands, Lucas J van Vliet, Fundamentals of Image Processing, Delft University of Technology [10] Peter Doucette, Peggy Agouris, Mohamad Musavi, Anthony Stefanidis, Automated Extraction of Linear Features from Aerial Imagery Using Kohonen Learning and GIS Data, University of Maine - 11 - [11] Goss Nuzzo-Jones, Resilient Backpropagation Versus Quickprop For Character Recognition In Neural Networks, Central Virginia Governor's School, 2000 [12] Shamik Sural, A Two-step Algorithm and its Parallelization for the Generation of Minimum Containing Rectangles for Document Image Segmentation, Jadavpur University, Calcutta 700 032, India [13] Shamik Sural, A Document Image Analysis System on Parallel Processors, Jadavpur University, Calcutta 700 032, India [14] K V Prema and N V Subba Reddy, Two-tier architecture for unconstrained handwritten character recognition, Manipal Institute of Technology, Manipal 576 119, India [15] Sargur N Srihari, Yong-Chul Shin, Vemulapati Ramanaprasad, Dar-Shyang Lee, A System to Read Names and Addresses on Tax Forms, State University of New York at Buffalo [16] Jie Zhou, Recognition and Verification of Unconstrained Handwritten Numerals, A Thesis in the Department of Computer Science, Concordia University Montreal, Quebec, Canada [17] Yan Solihin, C.G Leedham, The Multi-stage Approach to Grey-Scale Image Thresholding for Specific Applications, Nanyang Technological University, School of Computer Engineering, Republic of Singapore [18] Tin Kam Ho, A Theory of Multiple Classifier Systems And Its Application to Visual Word Recognition, Graduate School of State University of New York at Buffalo, 1992 [19] R L Hoffman, J W McCullough, Segmentation Methods for recognition of Machine-printed Characters, IBM General Systems Division Laboratory in Rochester, Minnesota - 12 - [20] Nafiz Arica, An Off-line Character Recognition System For Free Style Handwriting, Thesis, The Graduate School Of Natural And Applied Sciences Of The Middle East Technical University, 1998 [21] Marco Gori, Simone Marinai, Giovanni Soda, Artificial Neural Networks for Document Analysis and Recognition, Technical Report N.1/2003 University of Florence [22] Rohana K Rajapakse, A Ruvan Weerasinghe, E Kevin Seneviratne, A Neural Network Based Character Recognition System For Sinhala Script, University of Colombo [23] Akihiro Nomura, Kazuyuki Michishita, Seiichi Uchida, Masakazu Suzuki, Detection and Segmentation of Touching Characters in Mathematical Expressions, Kyushu University, Japan [24] Basilios Gatos, Stavros J Perantonis, Nikos Papamarkos, Ioannis Andreadis, Fast Implementation of Morphological Operations Using Binary Image Block Decomposition, Institute of Informatics and Telecommunications, National Research Center “Demokritos”, Democritus University of Thrace, Greece [25] Myer Blumenstein, Intelligent Techniques for Handwriting Recognition, Thesis, Griffith University, 2000 [26] Horst Bunke, Recognition of Cursive Roman Handwriting - Past, Present and Future, University of Bern, Switzerland [27] Berrin Yanikoglu, Peter A Sandon, Segmentation of Off-line Cursive Handwriting Using Linear Programming, IBM Almaden Research Center, USA [28] Rangachar Kasturi, Lawrence O’Gorman, Venu Govindaraju, “Document image analysis: A primer”, Sadhana, Vol 27, Part 1, February 2002, - 13 - pp 3–22 [29] Yefeng Zheng, Huiping Li, David Doermann, The Segmentation and Identification of Handwriting in Noisy Document Images, University of Maryland [30] Nafiz Arica, Fatos T Yarman-Vural, An Overview Of Character Recognition Focused On Off-line Handwriting, Middle East Technical University, Ankara, Turkey [31] D Y Chen, J Mao, K Mohiuddin, “An Efficient Algorithm For Matching A Lexicon With A Segmentation Graph”, in Proc 5th Int Conf Document Analysis and Recognition, pp.543-546, Bangalore, India, 1999 [32] Lƣơng Chi Mai, Đỗ Năng Toàn, “Applying Hausdorff Distance For Page Layout Analysis”, Viện công nghệ thông tin [33] Đỗ Năng Toàn, Lƣơng Chi Mai “Image Document Analysis Based On Templates”, Viện công nghệ thông tin [34] Nguyễn Thị Thanh Tân (2004), “Nhận dạng chữ viết tay hạn chế dựa mô hình mạng nơ ron kết hợp với thống kê ngữ cảnh”, Luận văn cao học [35] J H Bae, K C Jung, “Segmentation of touching characters using an MLP”, Pattern Recognition Letters 19 (1998) 701-709 [36] J Wang, “Segmentation of merged characters by neural network and shortest path”, Pattern Recognition 27 (5) (1994) 649-658 [37] Lichang Hou, Wei Wu, Bingdui Zhu, Feng Li, “A segmentation method for merged characters using Self-Organizing Map neural networks”, Journal of Information & Computational Science 3: (2006) 219-226 [38] Marco Gori, Simone Marinai, Giovanni Soda, “Artificial Neural Networks for Document Analysis and Recognition”, Technical Report N.1/2003 University of Florence - 14 - [39] E.Kavallieratou, N.Fakotakis, and G.Kokkinakis, “Skew angle estimation in document processing using cohen’s class distributions”, University of Patras, 26500 Patras, Greece [40] Yue Lu, Chew Lim Tan, “A nearest-neighbor chain based approach to skew estimation in document images”, Pattern Recognition Letters 24 (2003) 2315–2323 [41] Rangachar Kasturi, Lawrence O’gorman, Venu Govindaraju, “Document image analysis: A primer”, Sadhana Vol 27, Part 1, February 2002, pp 3–22 - 15 - ... tài "Mạng nơ ron nhân tạo nhận dạng văn ứng dụng vào hệ thống nhận dạng chữ Việt in" Luận văn không sâu nghiên cứu kỹ thuật xử lý ảnh văn cụ thể mà tập trung vào khả ứng dụng mạng nơ ron hệ thống. .. VỀ MẠNG NƠ -RON NHÂN TẠO VÀ HỆ THỐNG NHẬN DẠNG VĂN BẢN 1.1 Giới thiệu mạng nơ ron 1.1.1 Mô hình mạng nơ- ron nhân tạo 1.1.2 Ƣu nhƣợc điểm mạng nơ- ron 8 12 1.2 Phân loại mạng nơ ron 14 1.3 Hệ thống. .. TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Trần Đại Long MẠNG NƠ RON NHÂN TẠO TRONG NHẬN DẠNG VĂN BẢN VÀ ỨNG DỤNG VÀO HỆ THỐNG NHẬN DẠNG CHỮ VIỆT IN Ngành: Công nghệ Thông tin Mã số: 1.01.10 LUẬN VĂN THẠC SĨ NGƢỜI
- Xem thêm -

Xem thêm: Mạng Nơ Ron nhân tạo trong nhận dạng văn bản và ứng dụng vào hệ thống nhận dạng chữ Việt in, Mạng Nơ Ron nhân tạo trong nhận dạng văn bản và ứng dụng vào hệ thống nhận dạng chữ Việt in, Mạng Nơ Ron nhân tạo trong nhận dạng văn bản và ứng dụng vào hệ thống nhận dạng chữ Việt in

Từ khóa liên quan

Gợi ý tài liệu liên quan cho bạn