Trang - - ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CƠNG NGHỆ Hồng Tiến Dũng MẠNG NƠRON RBF VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ HÀ NỘI – 2006 Trang - - LỜI CẢM ƠN Mặc dù vấn đề nội suy hàm số đƣợc nghiên cứu từ sớm, lý thuyết công cụ để nội suy hàm biến tƣơng đối đầy đủ nhiên hàm thƣờng gặp thực tế lại hàm nhiều biến Đến cơng cụ tốn học để nội suy hàm nhiều biến hạn chế Mạng RBF (Radial Basis Fuction) đƣợc Broomhead Low giới thiệu lần từ năm 1988 công cụ hữu hiệu để nội suy xấp xỉ hàm nhiều biến Đề tài trình bày “Thuật toán pha để huấn luyện mạng nội suy RBF với hàm sở bán kính dạng Gauss” đƣợc đánh giá có thời gian chạy nhanh, dễ ƣớc lƣợng sai số song song hóa (Thuật tốn đƣợc đề xuất Tiến sĩ Hoàng Xuân Huấn Thạc sĩ Đặng Thị Thu Hiền [2]) Thuật toán đƣợc kiểm chứng ứng dụng thử nghiệm tốn Khí tƣợng (Với giúp đỡ đặt tốn Thầy Phan Văn Tân) Trƣớc tiên tơi xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo Hồng Xn Huấn Ngƣời định hƣớng tơi vào đề tài khoa học Cảm ơn thầy cho lời khun bổ ích giúp tơi dần tháo gỡ vƣớng mắc trình tìm hiểu lý thuyết nhƣ xây dựng ứng dụng cho đề tài Tôi xin đƣợc gửi lời cảm ơn đặc biệt đến Thạc sĩ Đặng Thị Thu Hiền giúp đỡ nhiều q trình làm khóa luận tơi Chị có góp ý thiết thực với chƣơng trình máy tính mà tơi xây dựng Tơi xin đƣợc gửi lời cảm ơn đặc biệt đến Thầy Phan Văn Tân Ngƣời đặt toán thực tế từ kinh nghiệm Nghiên cứu Hoạt động cơng tác Khí tƣợng Thủy văn Hải dƣơng học Thầy ngƣời cung cấp liệu thực tế đánh giá kết chƣơng trình máy tính ứng dụng Tơi xin đƣợc gửi lời cảm ơn chân thành đến thầy cô giáo Đại Học Công Nghệ truyền đạt cho kiến thức tổng hợp quý giá Cảm ơn ngƣời thân bạn bè bên cạnh, ủng hộ suốt trình thực Hà Nội ngày 24 tháng 11 năm 2006 Sinh viên thực HOÀNG TIẾN DŨNG Trang - - MỤC LỤC LỜI CẢM ƠN MỤC LỤC MỞ ĐẦU CHƢƠNG 1: BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM 1.1 Giới thiệu chung 1.2 Bài toán nội suy xấp xỉ hàm nhiều biến 1.2.1 Bài toán nội suy hàm nhiều biến 1.2.2 Phƣơng pháp k-lân_cận_gần_nhất 1.2.3 Bài toán xấp xỉ hàm nhiều biến CHƢƠNG 2: GIỚI THIỆU MẠNG NƠRON Error! Bookmark not defined 2.1 Giới thiệu chung Error! Bookmark not defined 2.2 Mạng nơron tự nhiên Error! Bookmark not defined 2.3 Mạng nơron nhân tạo (Artificial Neural Network) Error! Bookmark not defined 2.3.1 Cấu tạo nơron Error! Bookmark not defined 2.3.2 Ví dụ cách nơron học Error! Bookmark not defined 2.3.3 Cấu tạo mạng nơron Error! Bookmark not defined 2.3.4 Quá trình học mạng nơron Error! Bookmark not defined 2.4 Luật học mạng Nơron Error! Bookmark not defined 2.4.1 Khái niệm luật học mạng nơron Error! Bookmark not defined 2.4.2 Học có giám sát Error! Bookmark not defined 2.4.3 Học không giám sát Error! Bookmark not defined 2.4.4 Học tăng cƣờng Error! Bookmark not defined 2.5 Luật học Perceptron Error! Bookmark not defined 2.5.1 Mơ hình tổng qt Error! Bookmark not defined 2.5.2 Luâ ̣t ho ̣c Perceptron Error! Bookmark not defined 2.5.3 Đặc tính hội tụ Error! Bookmark not defined 2.5.4 Nhận xét thuật toán Error! Bookmark not defined 2.6 Mạng ADALINE Error! Bookmark not defined 2.6.1 Kiế n trúc tổ ng quát Error! Bookmark not defined 2.6.2 ADALINE đơn Error! Bookmark not defined 2.6.3 2.6.4 2.6.5 2.6.6 Sai số trung biǹ h biǹ h phƣơng Error! Bookmark not defined Thuâ ̣t toán Trung bình bình phƣơng nhỏ (Least Mean Square)Error! Bookmark not def Sƣ̣ hô ̣i tu Error! Bookmark not defined ̣ Nhận xét Error! Bookmark not defined Trang - - 2.7 Mạng Perceptron nhiều tầng MLP (Multi-Layer Perceptrons)Error! Bookmark not defined 2.7.1 Kiến trúc mạng Error! Bookmark not defined 2.7.2 Huấn luyện mạng thuật toán lan truyền ngƣợc (Back-Propagation).Error! Bookmark n CHƢƠNG 3: MẠNG NƠRON NỘI SUY RBF (RADIAL BASIC FUNCTION)Error! Bookmark not defined 3.1 Giới thiệu Error! Bookmark not defined 3.2 Mạng nội suy RBF vấn đề liên quan Error! Bookmark not defined 3.2.1 Bài toán nội suy nhiều biến với cách tiếp cận RBFError! Bookmark not defined 3.2.2 Kiến trúc mạng RBF đặc điểm huấn luyện Error! Bookmark not defined 3.3 Phƣơng pháp Trung bình bình phƣơng nhỏ huấn luyện mạng RBFError! Bookmark not defined 3.3.1 Huấn luyện đầy đủ Error! Bookmark not defined 3.3.2 Huấn luyện nhanh Error! Bookmark not defined 3.4 Phƣơng pháp Lặp huấn luyện mạng RBF Error! Bookmark not defined 3.4.1 Định lý Error! Bookmark not defined 3.4.2 Mơ tả thuật tốn Error! Bookmark not defined 3.4.3 Đặc tính hội tụ Error! Bookmark not defined 3.5 Ứng dụng mạng RBF Error! Bookmark not defined CHƢƠNG 4: CHƢƠNG TRÌNH MÁY TÍNH THỰC NGHIỆM Error! Bookmark not defined 4.1 Giới thiệu chƣơng trình máy tính Error! Bookmark not defined 4.1.1 Giới thiệu Error! Bookmark not defined 4.1.2 Cấu hình máy tính sử dụng chƣơng trình Error! Bookmark not defined 4.2 Sử dụng chƣơng trình máy tính Error! Bookmark not defined 4.2.1 Cấu trúc liệu vào Error! Bookmark not defined 4.2.2 Đọc liệu vào Error! Bookmark not defined 4.2.3 Sinh mốc liệu vào Error! Bookmark not defined 4.2.4 4.2.5 Huấn luyện mạng RBF với mốc nội suy đầu vàoError! Bookmark not defined Nội suy mạng RBF vừa huấn luyện Error! Bookmark not defined CHƢƠNG 5: BÀI TOÁN XẤP XỈ HÀM TRONG KHÍ TƢỢNG THỦY VĂNError! Bookmark not defined 5.1 Phát biểu toán Error! Bookmark not defined 5.1.1 Hoạt động thực tế Error! Bookmark not defined 5.1.2 Đặt toán Error! Bookmark not defined 5.2 Một vài phƣơng pháp áp dụng Error! Bookmark not defined 5.2.1 Phƣơng pháp địa phƣơng Error! Bookmark not defined 5.2.2 Mạng MLP Error! Bookmark not defined 5.2.3 Dùng RBF phƣơng pháp lặp Error! Bookmark not defined 5.3 Ứng dụng chƣơng trình máy tính Error! Bookmark not defined Trang - - 5.3.1 Cấu trúc file liệu quan trắc Error! Bookmark not defined 5.3.2 Đọc liệu vào Error! Bookmark not defined 5.3.3 Huấn luyện mạng RBF với file số liệu quan trắc Error! Bookmark not defined 5.3.4 Nội suy với liệu nằm mốc lƣới Error! Bookmark not defined 5.4 Nhận xét ứng dụng mạng nội suy RBF Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined Các kết đạt đƣợc Error! Bookmark not defined Hƣớng nghiên cứu Error! Bookmark not defined TÀI LIỆU THAM KHẢO 10 PHỤ LỤC Error! Bookmark not defined Môi trƣờng viết chƣơng trình Error! Bookmark not defined Giới thiệu số thủ tục chƣơng trình Error! Bookmark not defined Trang - MỞ ĐẦU Sự phát triển mạnh mẽ công nghệ thông tin thời gian qua nhanh chóng đƣa hệ thống thông tin kỹ thuật số thay hệ thống thông tin văn cổ truyền Khi xử lý thông tin số, đặc biệt giải toán kỹ thuật, ta thƣờng gặp toán nội suy xấp xỉ hàm Mặc dù toán đƣợc nghiên cứu kỹ giải trọn vẹn từ lâu cho hàm biến, đến hàm nhiều biến nhiều vấn đề mở thu hút nhiều nhà nghiên cứu Hiện nay, phƣơng pháp địa phƣơng mạng nơron hai cách tiếp cận thông dụng để nội suy xấp xỉ hàm nhiều biến việc ƣớc lƣợng sai số chƣa đƣợc giải trọn vẹn Trong cách tiếp cận địa phƣơng, phƣơng pháp k-láng giềng gần hồi quy địa phƣơng có thời gian tính giá trị hàm biến nhanh nhƣng chúng không dùng hết thông tin với điểm khác thơng tin biết điểm khác khó đƣợc sử dụng lại nên cần phải tính giá trị hàm nhiều điểm tốn thời gian khơng tiện dùng Mạng MLP (Multilayer Perceptron) công cụ mạnh nhƣng thời gian huấn luyện lâu nên khơng thích hợp cho hệ thống thời gian thực Một hệ thống thời gian thực đƣợc hiểu nhƣ mơ hình xử lý mà tính đắn hệ thống khơng phụ thuộc vào kết tính tốn mà phụ thuộc vào thời gian đƣa kết Bài toán thời gian thực hầu nhƣ xuất lĩnh vực Trong kinh doanh, doanh nghiệp ln cần có thơng tin “thời gian thực” từ thị trƣờng, từ đối tác bạn hàng, qua đƣa sách hợp lý Trong kiểm sốt giao thơng, việc xác định “thời gian thực” mật độ lƣu lƣợng giao thông giúp cho đơn vị sử dụng điều khiển, phân luồng giao thông cách hợp lý Trong truyền thông, việc trì kết nối “thời gian thực” giúp cho việc tƣơng tác hệ thống khác đƣợc vận hành đồng thực mục đích Trong điều khiển tự động, việc có đƣợc thơng tin “thời gian thực” hoạt động thiết bị cho phép theo dõi vận hành thiết bị cách hợp lý hiệu Có thể kể nhiều yêu cầu thực tế khác đòi hỏi hệ thống phải đảm bảo yếu tố “thời gian thực” So với mạng MLP, mạng RBF có thời gian huấn luyện nhanh hơn, đặc biệt thuật toán huấn luyện lặp đƣợc đề xuất [2, 3] nên thích hợp với nhiều tốn địi hỏi thời gian xấp xỉ hàm ngắn nói chung tốn “thời gian thực” nói riêng Luận văn trình bày nội dung sau:  Khảo cứu mạng nơron RBF để nội suy, xấp xỉ hàm số mà chủ yếu tập trung vào mạng nội suy thuật toán huấn luyện  Xây dựng phần mềm huấn luyện lặp mạng RBF làm công cụ học tập nghiên cứu Trang -  Xây dựng phần mềm tính giá trị gần hàm nội suy lƣới dựa tập giá trị quan trắc cho trƣớc dùng toán khí tƣợng Phần trọng tâm đề tài xây dựng phần mềm cho phép thực nghiệm nội suy mạng nơron RBF bƣớc đầu thực nghiệm vào tốn khí tƣợng Ngồi phần kết luận, chƣơng đề tài đƣợc trình bày nhƣ sau:  CHƢƠNG 1: BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM Trình bày tóm tắt điểm toán nội suy bao gồm nội suy hàm biến nội suy hàm nhiều biến  CHƢƠNG 2: GIỚI THIỆU MẠNG NƠRON Giới thiệu ngắn gọn mạng nơron bao gồm kiến trúc luật học Perceptron đơn, mạng ADALINE mạng MLP  CHƢƠNG 3: MẠNG NƠRON NỘI SUY RBF Trình bày khảo cứu mạng RBF số ứng dụng Nội dung Phương pháp Lặp huấn luyện mạng RBF  CHƢƠNG 4: GIỚI THIỆU CHƢƠNG TRÌNH MÁY TÍNH Giới thiệu chương trình máy tính thực nghiệm tốn nội suy mạng RBF huấn luyện phương pháp lặp trình bày chương  CHƢƠNG 5: BÀI TOÁN XẤP XỈ HÀM TRONG KHÍ TƢỢNG THỦY VĂN Giới thiệu tốn thực tế khí tượng thuỷ văn địi hỏi áp dụng xấp xỉ hàm nhiều biến Bài toán đặt dựa công tác nghiên cứu, hoạt động Khoa Khí tượng Thủy văn Hải dương học – Đại học KHTN – Đại học Quốc gia Hà Nội Đồng thời giới thiệu ứng dụng chương trình máy tính xây dựng để nội suy giá trị theo mốc quan trắc Trang - - CHƢƠNG 1: 1.1 BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM Giới thiệu chung Nội suy xấp xỉ hàm số toán đƣợc nhà khoa học nghiên cứu từ sớm Lý thuyết nội suy hàm số ứng dụng nhiều lĩnh vực khoa học nhƣ lĩnh vực sống Bài toán nội suy vấn đề thúc đẩy nhà khoa học ngành Khoa học máy tính phát triển mạng nơron để giải tốn Chƣơng trình bày vấn đề liên quan đến toán nội suy xấp xỉ hàm Bài toán xấp xỉ hàm đƣợc trình bày rõ Chƣơng (Bài tốn xấp xỉ hàm Khí tƣợng thủy văn) Chƣơng giới thiệu phƣơng pháp nội suy k-lân cận gần nhất, phƣơng pháp nội suy đơn giản đƣợc nhiều ngƣời ƣa dùng Mặc dù lý thuyết phƣơng pháp nội suy hàm biến đƣợc nghiên cứu đầy đủ nhƣng điều hạn chế để áp dụng thực tế hàm hay gặp thực tế thƣờng hàm nhiều biến 1.2 Bài toán nội suy xấp xỉ hàm nhiều biến Giả sử D miền giới nội Rn f hàm liên tục xác định D Ngƣời ta xác định đƣợc N điểm x1,x2….xN D: f(xi) = yi với i=1,2…,N cần tính giá trị f(x) điểm x khác D 1.2.1 Bài tốn nội suy hàm nhiều biến Để tính f(x), ta cần hàm  (x) xác định D có dạng đơn giản dễ tính giá trị cho  (xi)=yi điểm xi biết xấp xỉ f(x)  (x) Khi điểm xi đƣợc gọi mốc nội suy hàm  đƣợc gọi hàm nội suy đƣợc chọn dƣới dạng đơn giản, dễ tính giá trị miền D 1.2.2 Phƣơng pháp k-lân_cận_gần_nhất Đây phƣơng pháp nội suy đơn giản đƣợc nhiều ngƣời ƣa dùng Chọn trƣớc số tự nhiên k, với x  D , ta xác định giá trị  (x) qua giá trị f k mốc nội suy gần Ký hiệu z1,…,zk k mốc nội suy gần x d(u,v) khoảng cách hai điểm u,v D,  (x) xác định nhƣ sau: k  ( x)    j f ( z j ) j 1 Trong  i đƣợc xác định bởi: Trang - - i  d ( x, zi )1  d ( x, z ) k j 1 1 j Dễ thấy x dần tới mốc nội suy  (x) xác định nhƣ dần tới giá trị f mốc nội suy tƣơng ứng Tuy sai số phƣơng pháp không đánh giá chặt chẽ đƣợc nhƣng đƣợc ƣa dùng thực nghiệm Ta nhận xét phƣơng pháp k-lân_cận_gần_nhất có ƣu điểm cách tính tốn đơn giản dễ thực hiện, nhiên thực tế việc xác định giá trị k phù hợp vấn đề khó (phụ thuộc nhiều vào kinh nghiệm đánh giá toán thực tế), đồng thời cần xác định giá trị điểm, phƣơng pháp lại tìm tất giá trị biết để tìm đƣợc mốc gần nhất, điều địi hỏi chi phí tính tốn nhiều Ta xem xét ví dụ: Bài tốn phân loại văn bản: Cho mơ ̣t số lớp văn bản đƣợc xác định trƣớc chủ đề, nhiê ̣m vu ̣ của phân loa ̣i văn bản là : gán văn vào mô ̣t (hay mô ̣t số ) lớp văn bản thích hơ ̣p dựa vào nội dung văn Cách thực hiện: Khi cần phân loại văn mới, phƣơng pháp tìm tập văn xác định đƣợc chủ đề để tìm k văn gần với văn cần phân loại (k số thuật tốn k-lân_cận_gần_nhất văn đƣợc đánh giá gần dựa tiêu chí đó, ví dụ mức độ tƣơng tự nội dung) Dùng khoảng cách k điểm thu đƣợc để đánh trọng số cho chủ đề văn Nhƣ vậy, trọng số chủ đề tổng tất khoảng cách văn k-lân_cận_gần_nhất thu đƣợc dễ thấy chủ đề khơng xuất k-lân_cận_gần_nhất có tổng trọng số Sau đó, chủ đề đƣợc theo mức độ trọng số giảm dần chủ đề có trọng số cao đƣợc chọn chủ đề văn cần phân loại Cũng theo nhận xét phần trên, ta thấy ví dụ này, việc xác định số k cách hợp lý dựa theo kinh nghiệm khó để chứng minh k đƣợc chọn tối ƣu, văn có “nhiễu” ảnh hƣởng lớn đến kết phân loại 1.2.3 Bài toán xấp xỉ hàm nhiều biến Bài toán xấp xỉ hàm nhiều biến đƣợc xem toán chung, tổng quát mà cách tiếp cận nội suy trƣờng hợp đặc biệt Trong toán nội suy hàm nội suy phải có giá trị trùng với giá trị tính đƣợc mốc nội suy biết Khi số mốc nội suy lớn việc xác định hàm nội suy  trở thành tốn khó, ta Trang - 10 chấp nhận giá trị gần mốc nội suy biết chọn hàm có dạng đơn giản cho sai số tốt Bài toán đƣợc nêu nhƣ sau:   N Hàm y  f (x) đo đƣợc điểm x k k 1 thuộc D giới nội R n y k  f ( x k ); k  N với x k  ( x1k , , xnk )  D y k  R m Để xấp xỉ hàm f (x) ta cần tìm hàm có dạng cho trƣớc cho sai số điểm biết tốt đƣợc Hàm đƣợc chọn thƣờng hàm dƣới dạng  ( x)  ( x, c1 , c2 , , ck ) thƣờng đánh giá sai số tốt theo cách xác định tham số c1 , c2 , , ck theo phƣơng pháp trung bình bình phƣơng N  (x )  y i i nhỏ i 1 Trong  ( x i )  y i  m  ( j 1 ( xi )  y j )2 i j Khi ta nói  (x) hàm xấp xỉ tốt f (x) theo cách tiếp cận trung bình bình phƣơng nhỏ Về mặt hình học, đồ thị hàm y   (x) khơng đòi hỏi phải qua điểm mốc nhƣ phép nội suy TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] Hồng Xn Huấn Giáo trình phương pháp tính 2003, tr 19-41 [2] Hồng Xn Huấn Đặng Thị Thu Hiền Thuật toán lặp huấn luyện mạng nội suy RBF, Kỷ yếu hội thảo quốc gia số vấn đề chọn lọc CNTT, Hải Phòng tháng 08 năm 2005, tr 314-323 [3] Hoàng Xuân Huấn Đặng Thị Thu Hiền Mạng RBF nội suy địa phương , báo cáo Hội thảo Quốc gia số vấn đề chọn lọc CNTT, Đà Lạt tháng 06 năm 2006 [4] Hồng Xn Huấn Bài giảng mơn Mạng nơron ứng dụng, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội Tài liệu Tiếng Anh [5] Blazieri Theorical interpretations and applications of radial basis function networks, University of Toronto, Technical report # DIT-03-023, May 2003 [6] R.Beale and T.Jackson, Adam Hilger Neural Computing: An Introduction, (Bristol, Philadelphia and New York) Trang - 11 [7] D.S Broomhead and D Low Multivariable functional interpolation and adaptive networks Complex Systems, vol 2, 321-355,1988 [8] L Collatz Functional analysis and numerical mathematics, Academic press New York and London,1966 [9] Martin T Hagan, Howard B Demuth, Mark H Beale Neural Network Design PWS Pub Co, 1996 [10] E.J Hartman, J.D Keeler and J.M Kowalski Layered neural networks with Gaussian hidden units as universal approximations, Neural Comput., vol 2,no 2, 210-215, 1990 [11] S Haykin Neural Networks: A Comprehensive Foundation (second edition), Prentice Hall International, Inc., 1998 [12] C.G Looney Pattern recognition using nơron networks : Theory and algorithm for engineers and scientist, Oxford university press,1997 [13] C.Michelli Interpolation of scatered data: Distance matrices and coditionally positive definite functions, Constructive approximations, vol 2, pp 11-22, 1986 [14] Tom M.Mitchel, Mc.Graw-Hill Machine Learning, (March 1, 1997) [15] J.Park and I.W Sandberg Approximation and radial-basis-function networks, Neural Comput., vol 5,no 3, 305-316, 1993 [16] T Poggio and F Girosi Networks for approximating and learning, Proc IEEE, vol.78, 1481-1497, 1990 [17] M.J.D.Powell Radial basis function approximations to polynomials, Numerical analysis 1987 Proceeding, pp223-241, Dundee, UK, 1988 [18] F Schwenker H.A Kesler, Günther Palm Three learning phases for radialbasis-function networks, Neural networks, Vol.14, pp 439-458, 2001  ... trình máy tính Error! Bookmark not defined 4.2.1 Cấu trúc liệu vào Error! Bookmark not defined 4.2.2 Đọc liệu vào Error! Bookmark not defined 4.2.3 Sinh mốc liệu vào ... cho hệ thống thời gian thực Một hệ thống thời gian thực đƣợc hiểu nhƣ mơ hình xử lý mà tính đắn hệ thống khơng phụ thuộc vào kết tính tốn mà cịn phụ thuộc vào thời gian đƣa kết Bài toán thời gian... Chƣơng giới thiệu phƣơng pháp nội suy k-lân cận gần nhất, phƣơng pháp nội suy đơn giản đƣợc nhiều ngƣời ƣa dùng Mặc dù lý thuyết phƣơng pháp nội suy hàm biến đƣợc nghiên cứu đầy đủ nhƣng điều hạn