http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA CƠNG NGHỆ THƠNG TIN OBO OK S CO M - BÁO CÁO NGHIÊN CỨU KHOA HỌC Tên đề tài: XÁC ĐỊNH QUAN HỆ MỜ BẰNG MẠNG NƠRON NHÂN TẠO KIL Giáo viên hướng dẫn : T.S Nguyễn Tân Ân Sinh viên thực : Nguyễn Thị Th Chinh Lớp : C-K54-CNTT Hà Nội 4/2008 http://kilobooks.com B¸o c¸o nghiªn cøu khoa häc THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN PHẦN MỞ ĐẦU KIL OBO OKS CO M Tên đề tài Xác định quan hệ mờ mạng nơron nhân tạo Lý chọn đề tài Từ 20 năm nay, lý thuyết tập mờ mạng nơron nhân tạo phát triển nhanh đa dạng Cơng nghệ mờ cơng nghệ mạng nơron cung cấp cơng nghệ cho ngành cơng nghiệp làm nhiều sản phẩm thơng minh, đáp ứng nhu cầu thị trường cần có điều khiển linh hoạt Hệ mờ mạng nơron kết hợp với để phát huy ưu điểm chúng Một dạng kết hợp mạng nơron mờ, nhờ có mà giải nhiều tốn khó mà với thuật giải thơng khơng thực có phức tạp nhiều thời gian Với tốn xác định quan hệ khơng gian vào khơng gian dựa cặp phần tử vào biết Cụ thể cho khơng gian vào X , khơng gian Y cặp phần tử vào (x , y )đã biết , tức cho phần tử x Ỵ X có phần tử tương ứng y Ỵ Y u cầu tốn đặt xác định quan hệ R X Y Một phương pháp thường sử dụng để giải tốn phương pháp bình phương bé Để giảm độ phức tạp thời gian tính tốn báo cào tơi sử dụng phương pháp dùng mạng nơron nhân tạo Và quan hệ khơng gian vào xác định khơng phải quan hệ bình thường mà quan hệ mờ Bài nghiên cứu gồm phần sau: I Tổng quan lý thuyết tập mờ quan hệ mờ Giới thiệu khái niệm tập mờ, phép tốn tập mờ, quan hệ mờ II Giới thiệu mạng nơron nhân tạo Giới thiệu cấu trúc nơron, định nghĩa phân loại mạng nơron, thủ học mạng nơron, thuật tốn lan truyền ngược Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT http://kilobooks.com B¸o c¸o nghiªn cøu khoa häc THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN III Bài tốn xác định quan hệ mờ mạng nơron nhân tạo KIL OBO OKS CO M Ánh xạ tốn xác định quan hệ mờ lên mạng nơron nhân tạo, đưa cách huấn luyện mạng Cuối demo thuật tốn xác định quan hệ mờ mạng nơron nhân tạo I Tổng quan lý thuyết tập mờ quan hệ mờ 1.1 Khái niệm tập mờ Tập mờ xem mở rộng trực tiếp tập kinh điển Bây ta xét khái niệm hàm thuộc tập kinh điển Định nghĩa 1.1 Cho tập hợp A Ánh xạ m : U ® {0,1} định nghĩa sau: ïì nÕu x Ỵ A mA (x )= ïí ïïỵ nÕu x Ï A (1.1) gọi hàm thuộc tập A Tập A tập kinh điển, U khơng gian Như hàm thuộc tập cổ điển nhận hai giá trị Giá trị hàm thuộc mA (x ) gọi giá trị đúng, ngược lại giá trị sai mA (x ) Một tập U ln có mU (x )= , với x gọi khơng gian (tập nền) Một tập A có dạng A = {x Ỵ U x tho¶ m·n mét sè tÝnh chÊt nµo ®ã} gọi có tập U , hay định nghĩa tập U Ví dụ tập A = {x Ỵ ¥ < x < 12} có tập tập số tự nhiên ¥ Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc Hàm thuộc mA (x ) định nghĩa tập A , khái niệm kinh điển có hai giá trị x Ỵ A x Ï A Hình 1.1 mơ tả hàm thuộc KIL OBO OKS CO M hàm mA (x ), tập A định nghĩa sau: A = {x Ỵ ¡ < x < 6} (1.2) µ A (x) x Hình 1.1 Hàm thuộc mA (x ) tập kinh điển A Cách biểu diễn hàm phụ thuộc khơng phù hợp với tập mơ tả “mờ” tập B gồm số thực dương nhỏ nhiều so với B = {x Ỵ ¡ x = 6}, (1.3) có tập ¡ , tập C gồm số thực gần có tập ¡ C = {x Ỵ ¡ x » 3} (1.4) Tập B , C gọi tập mờ Lý với định nghĩa “mờ” chưa đủ để xác định số chẳng hạn x = 4,5 có thuộc B x = 2,5 có thuộc C hay khơng Nên khơng thể dùng hàm thuộc tập cổ điển có hai giá trị để định nghĩa tập B C trường hợp Vì người ta nghĩ rằng: lại khơng mở rộng miền giá trị cho hàm thuộc tập cổ điển, tức hàm thuộc có nhiều hai giá trị Khi thay việc trả lời câu hỏi x = 4,5 có thuộc B hay khơng, ngưòi ta trả lời câu hỏi là: x = 4,5 thuộc B phần trăm? Giả sử có Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT http://kilobooks.com B¸o c¸o nghiªn cøu khoa häc THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN câu trả lời lúc hàm thuộc mB (x ) điểm x = 4,5 phải có giá trị đoạn [0,1], tức KIL OBO OKS CO M £ mB (x )£ (1.5) Nói cách khác hàm mB (x ) khơng hàm hai giá trị tập kinh điển mà ánh xạ (hình 1.2) mB : U ® [0,1], (1.6) U tập tập “mờ” Hình 1.2 a, Hàm phụ thuộc tập “mờ” B b, Hàm phụ thuộc tập “mờ” C Định nghĩa 1.2 Tập mờ F xác định tập kinh điển U tập mà phần tử cặp giá trị (x, mF (x )) x Ỵ U mF ánh xạ mF : U ® [0,1] (1.7) Ánh xạ mF gọi hàm thuộc (hàm phụ thuộc hay hàm thành viên ) tập mờ F Tập kinh điển U gọi tập (hay tập vũ trụ) tập mờ F Ví dụ tập mờ F số tự nhiên nhỏ với hàm phụ thuộc mF (x ) có dạng hình 1.2a định nghĩa U chứa phần tử sau Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT http://kilobooks.com B¸o c¸o nghiªn cøu khoa häc F= {(1, 1),(2, 1),(3, THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN 0,8),(4, 0, 07)} Số tự nhiên có độ phụ thuộc KIL OBO OKS CO M mF (1)= mF (2)= , số tự nhiên có độ phụ thuộc nhỏ mF (3)= 0,8 mF (4)= 0,07 , Những số tự nhiên khơng liệt kê có độ phụ thuộc 1.2 Các phép tốn tập mờ Giống định nghĩa tập mờ phép tốn tập mờ định nghĩa thơng qua hàm thuộc Nói cách khác, khái niệm xây dựng phép tốn tập mờ việc xác định hàm thuộc cho phép hợp, giao , bù từ tập mờ Một ngun tắc việc xây dựng phép tốn tập mờ khơng mâu thuẫn với phép tốn có lý thuyết tập hợp kinh điển 1.2.1 Phép hợp Cho hai tập hợp mờ A B có khơng gian U với hai hàm thuộc tương ứng mA (x ) mB (x ) Hợp A B tập mờ xác định U , kí hiệu A È B có hàm thuộc mẰ B (x ) thoả mãn: i mẰ B (x ) phụ thuộc vào mA (x ) mB (x ) ii mB (x )= với " x Þ mẰ B (x ) = mA (x ) iii Tính giao hốn, tức mẰ B (x )= mB È A (x ) iv Tính kết hợp, tức m( Ằ B )È C (x )= mẰ ( BÈ C ) (x ) v Là hàm khơng giảm: mA1 (x )£ mA2 (x ) Þ mA1 È B (x )£ mA2 È B (x ) Để tính hàm thuộc mẰ B (x ) có nhiều cách khác nhau, sau cơng thức dùng báo cáo này: mẰ B (x )= max {mA (x ), mB (x )} (Luật lấy max) Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT (1.8) http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc µ µ µ B ( x) a) KIL OBO OKS CO M µ A ( x) x x µ µ A ( x) b) µ B ( x) x Hình 1.3 Hàm thuộc hai tập mờ có khơng gian a) Hàm thuộc hai tập mờ A B b) Hợp hai tập mờ A B theo luật max Một cách tổng qt ánh xạ dạng mẰ B (x ): U ® [0,1] thoả mãn tiêu chuẩn nêu định nghĩa hợp hai tập mờ xem hợp hai tập mờ A B có chung khơng gian U Cơng thức mở rộng để áp dụng cho việc xác định hợp hai tập mờ khơng khơng gian nền, cách đưa hai tập mờ chung khơng gian tích hai tập cho Ví dụ cho tập mờ A xác định khơng gian M tập mờ B xác định khơng gian N Do hai tập M N độc lập với nên hàm thuộc mA (x ), x Ỵ M tập mờ A khơng phụ thuộc vào N ngược lại mB (x ), y Ỵ N tập B khơng phụ thuộc vào M Điều thể chỗ khơng gian tập tích M ´ N hàm mA (x ) phải mặt “cong” dọc theo trục y mB (x ) mặt “cong” dọc theo trục x (hình 1.4) Tập mờ A định nghĩa hai khơng gian M Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc M ´ N Để phân biệt chúng, sau kí hiệu A dùng để tập mờ A khơng gian M ´ N Đối với tập mờ khác kí hiệu tương tự Với kí hiệu KIL OBO OKS CO M mA (x, y )= mA (x ) với y Ỵ N mB (x, y)= mB (x ) với x Ỵ M a µ ( x) µ ( x) ∧ ∧ A B µ ( x, y ) x µ ( x, y ) B ∧ b A x M×N y c y ∧ µ ∧ x M×N ∧ A∪ B y ( x, y ) M×N x y Hình 1.4 Phép hợp hai tập mờ khơng a Hàm thuộc hai tập mờ A B b Đưa hai tập mờ chung M ´ N c Hợp hai tập mờ M ´ N Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc Sau đưa hai tập mờ A B chung khơng gian M ´ N thành A B hàm thuộc mẰ B (x , y ) tập mờ A È B xác KIL OBO OKS CO M định theo cơng thức (1.8) Hợp hai tập mờ theo luật max Cho tập mờ A xác định khơng gian M tập mờ B xác định khơng gian N , có hàm thuộc mA (x ), mB (x ) Hợp hai tập mờ A B theo luật max tập mờ xác định khơng gian M ´ N với hàm thuộc mẰ B (x, y)= max {mA (x, y), mB (x, y)} (1.9) mA (x, y )= mA (x ) với y Ỵ N mB (x, y)= mB (x ) với x Ỵ M Một cách tổng qt, hàm thuộc mẰ B (x, y) hợp hai tập mờ A , B khơng khơng gian phụ thuộc vào mA (x )Ỵ [0,1] mB (x )Ỵ [0,1] nên ta xem mẰ B (x, y) hàm hai biến mA , mB định nghĩa sau mẰ B (x, y)= m(mA , mB ): [0,1] ® [0,1] (1.10) Ta đến định nghĩa hàm thuộc m(mA , mB ) hợp hai tập mờ khơng khơng gian nền: Định nghĩa 1.3 Hàm thuộc hợp hai tập mờ A với mA (x ) định nghĩa khơng gian M B với mB (x ) định nghĩa khơng gian N hàm hai biến m(mA , mB ): [0,1] ® [0,1] xác định M ´ N thoả mãn: a) mB = Þ m(mA , mB )= mA Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc b) m(mA , mB )= m(mB , mA ), tức có tính giao hốn c) m(mA , m(mB , mC ))= m(m(mA , mB ), mC ), tức có tính kết hợp giảm KIL OBO OKS CO M d) m(mA , mB )£ m(mC , mD ), " mA £ mC , mB £ mD , tức có tính khơng Một hàm hai biến m(mA , mB ): [0,1] ® [0,1] thoả mãn điều kiện định nghĩa gọi hàm t-đối chuẩn (t-conorm) 1.2.2 Phép giao Cho hai tập hợp mờ A B có khơng gian U với hai hàm thuộc tương ứng mA (x ) mB (x ) Giao A B tập mờ xác định U , kí hiệu A I B có hàm thuộc mAI B (x ) thoả mãn: i mAI B (x ) phụ thuộc vào mA (x ) mB (x ) ii mB (x )= với " x Þ mAI B (x ) = mA (x ) iii Tính giao hốn, tức mAI B (x )= mB I A (x ) iv Tính kết hợp, tức m( AI B )I C (x )= mAI ( B I C ) (x ) v Nếu A1 Í A2 A1 Ç B Í A2 Ç B hay mẰ B (x ) có tính chất khơng giảm, tức mA1 (x )£ mA2 (x ) Þ mA1 ÇB (x )£ mA2 Ç B (x ) Tương tự trình bày phép hợp hai tập mờ, có nhiều cơng thức khác để tính hàm thuộc mAI B (x ) giao hai tập mờ ánh xạ mAI B (x ): U ® [0,1] thoả mãn tiêu chuẩn nêu định nghĩa xem hàm thuộc giao hai tập mờ A B có chung khơng gian U Sau cơng thức để tính hàm thuộc mAI B (x ) phép giao gồm: Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 10 http://kilobooks.com B¸o c¸o nghiªn cøu khoa häc THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN KIL OBO OKS CO M Mạng nơron nhân tạo chế tạo nhiều cách khác thực tế tồn nhiều kiểu mạng nơron nhân tạo Dựa vào số lớp hay liên kết lớp mạng mà người ta phân mạng nơron nhân tạo thành nhóm khác * Phân loại theo số lớp Phân loại theo số lớp mạng nơron nhân tạo gồm có hai nhóm: mạng lớp mạng nhiều lớp - Mạng lớp Mạng lớp cấu thành từ lớp mạng, vừa lớp vào vừa lớp trung gian lớp Một lớp mạng bao gồm nhóm nơron tổ chức theo cách cho tất chúng nhận véc tơ đầu vào để xử lý thời điểm Việc sản sinh net đầu vào, biến đổi thành tín hiệu đầu out xuất lúc tất nơron y1 x1 y2 x2 M ym M xn Hình 2.5 Mơ hình mạng lớp - Mạng nhiều lớp Mạng nhiều lớp cấu thành từ nhiều lớp liên kết với nhau, bao gồm lớp vào, lớp ẩn lớp Trong đó, lớp nhận tín hiệu đầu vào gọi lớp vào Các tín hiệu đầu mạng sản sinh lớp mạng Các lớp nằm lớp vào lớp gọi lớp ẩn Lớp ẩn thành phần nội mạng, khơng có tiếp xúc với mơi trường bên ngồi Số lượng lớp ẩn dao động từ đến vài lớp Tuy nhiên thực tế cho thấy cần lớp ẩn mạng đủ để giải lớp tốn phức tạp Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 21 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc y1 x2 y2 KIL OBO OKS CO M x1 M M M M xn lớp vào lớp ẩn M ym lớp Hình 2.6 Mơ hình mạng lớp truyền thẳng * Phân loại theo liên kết lớp Sự liên kết mạng nơron tuỳ thuộc vào ngun lý tương tác đầu nơron riêng biệt với nơron khác tạo cấu trúc mạng nơron Về ngun tắc có nhiều kiểu liên kết nơron, có số cấu trúc hay gặp ứng dụng sau: - Mạng truyền thẳng (Feedforward neural networks) Dòng liệu đầu vào từ nơron đầu vào đến nơron đầu truyền thẳng Việc xử lý liệu mở rộng nhiều lớp, khơng có liên kết ngược Tức là, khơng có liên kết từ đơn vị đầu tới đơn vị đầu vào lớp hay lớp trước Nếu mơ hình hố mạng truyền thẳng đồ thị, đồ thị có hướng hữu hạn khơng chu trình Trong đó, nơron nút, liên liên kết nơron cung đồ thị Hình 2.6 minh họa mạng truyền thẳng nhiều lớp - Mạng hồi quy (mạng nối ngược) (Recurrent neural network) Khác với mạng truyền thẳng, mạng hồi quy có chứa liên kết ngược Mơ hình hố mạng hồi quy đồ thị đồ thị có hướng hữu hạn có chu trình Hình 2.7 minh họa cho mạng hồi quy Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 22 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc x2 y1 KIL OBO OKS CO M x1 M M xn M M y2 M ym Hình 2.7 Mơ hình mạng nơron nhiều lớp hồi quy 2.3 Thủ tục học mạng nơron nhân tạo Mạng nơron hình thành chưa có tri thức, để giải tốn cụ thể phải cho mạng nơron học Mạng nơron học thơng qua q trình huấn luyện mạng tập liệu (training data) Tiến trình điều chỉnh trọng số để mạng “nhận biết ” mối quan hệ đầu vào đích mong muốn gọi học (learning) hay huấn luyện (training) Rất nhiều thuật tốn học phát minh để tìm tập trọng số tối ưu làm giải pháp cho tốn Các nhân tố định tới khả mạng nơron gồm: cấu trúc mạng (số lớp, số nơron lớp, cách mà lớp liên kết với nhau) trọng số liên kết bên mạng Dựa vào điều này, người ta phân thuật tốn học mạng nơron thành hai nhóm chính: học cấu trúc học tham số 2.3.1 Học tham số Học tham số quan tâm đến chiến lược hiệu chỉnh trọng số nơron mạng Giả sử có n nơron, nơron có m trọng số Chúng ta kết hợp lại tạo thành ma trận dạng sau: Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 23 http://kilobooks.com B¸o c¸o nghiªn cøu khoa häc K K K K w1n ù ú w2 n ú ú M úú wmn úû (2.7) KIL OBO OKS CO M éw11 w12 ê êw w22 W = ê 21 êM M ê êw ë m1 wm THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Trong đó, wij trọng số liên kết từ nơron i đến nơron j Các thủ học tham số nhằm tìm kiếm ma trận trọng só W cho mạng có khả đưa dự báo sát với thực tế Các thủ học có tham số chia thành ba lớp nhỏ hơn: học có đạo (học có thầy), học tăng cường, học khơng đạo (học khơng có thầy hay học tự tổ chức) - Học có đạo Véc tơ vào Tín hiệu out Mạng nơron Sản sinh sai số Hình 2.8 Sơ đồ học có đạo Mỗi lần véc tơ tín hiệu vào X cấp cho mạng, ta cấp ln cho mạng véc tơ đầu mong muốn Y Mạng phải sản sinh tín hiệu đầu out cho gần với Y Cụ thể, ta cấp tập ngẫu nhiên M = (X i , Yi ) Khi véc tơ X i vào mạng, véc tơ đầu Yi cung cấp (Hình 2.8) Độ lệch tín hiệu đầu outi véc tơ đầu Yi sản sinh sai số thu nhận sản sinh tín hiệu sai số Tín hiệu sai số vào mạng mạng hiệu chỉnh trọng số cho tín hiệu đầu outi gần với véc tơ đầu mong muốn Yi Nếu tín hiệu out = Y lúc mạng nơron bão hồ, ta nói thủ tục học mạng hội tụ - Học tăng cường Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 24 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc Véc tơ vào Tín hiệu out KIL OBO OKS CO M Mạng nơron Tín hiệu tăng cường Sản sinh tín hiệu tăng cường Hình 2.9 Sơ đồ học tăng cường Học tăng cường dạng học có đạo mạng nơron nhận tín hiệu ngồi mơi trường Tuy nhiên, tín hiệu ngồi mơi trường tín hiệu mang tính phê phán, khơng phải dẫn cụ thể học có đạo Nghĩa là, tín hiệu tăng cường nói cho mạng biết tín hiệu vừa sản sinh hay sai, khơng cho mạng biết tín hiệu phải Tín hiệu tăng cường xử lý xử lý tín hiệu tăng cường (Hình 2.9), nhằm mục đích giúp mạng hiệu chỉnh trọng số với hi vọng nhận tín hiệu tăng cường tốt tương lai Các thủ tục học tăng cường thường biết đến thủ tục học với nhà phê bình khơng phải học với thầy thủ tục học có đạo - Học khơng đạo Véc tơ vào Tín hiệu out Mạng nơron Hình 2.10 Sơ đồ học khơng đạo Trong thủ tục này, khơng có thơng tin từ ngồi mơi trường tín hiệu đầu out phải hay sai Mạng nơron phải tự khám phá đặc điểm, mối quan hệ quan tâm như: dạng đưòng nét, có chuẩn – có bình thường hay khơng, hệ số tương quan, tính cân xứng, Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 25 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc KIL OBO OKS CO M tính chạy, … mẫu học sau chuyển quan hệ tìm thấy qua đầu Trong q trình học, trọng số mạng thay đổi để thể đặc tính phát Do thủ tục gọi tự tổ chức (Hình 2.10) 2.3.2 Học cấu trúc Học cấu trúc thuật tốn tìm kiếm tham số cấu trúc mạng để tìm cấu trúc mạng hoạt động tốt Trong thực tế, việc học cấu trúc việc tìm số lớp ẩn số nơron lớp 2.4 Thuật tốn lan truyền ngược vqj wiq q = 1, 2, , l i = 1, 2, , n j = 1, 3, , m q = 1, 3, , l y%1 x1 y%2 x2 M M M M xm y%n Hình 2.11 Mạng nơron hai lớp truyền thẳng Từ mẫu học cụ thể x ( ), y ( ) trọng số có mạng Chẳng k k k k k hạn w( ), v ( ) mạng hai lớp, người ta xác định đầu thực y%( ) Sau sở so sánh với mẫu học y ( ), trọng số lớp nơron đầu ra, ví dụ k w( ), hiệu chỉnh thành w( k k + 1) Tiếp tục từ trọng số w( k + 1) người ta lại hiệu chỉnh trọng số nơron thuộc lớp phía trước, ví dụ v ( ) thành v( k + 1) k Cứ trọng số lớp nơron đầu vào Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 26 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc Để phần giải thích chi tiết thuật tốn lan truyền ngược đơn giản, sau ta lấy mạng hai lớp hình 2.11 làm ví dụ KIL OBO OKS CO M k k Với sai lệch cho riêng mẫu học thứ k v ( ) - y%( ) , giá trị gia tăng D wiq( ) xác định theo cơng thức cải tiến Widnow từ (7.12) sau k k k k da D wiq( ) = s éêyi( ) - y%i( )ùú ë ûdci (2.8) zq = sdoi zq (k ) ci Trong số k k da doi = éêyi( ) - y%i( )ùú ë ûdci (2.9) (k ) ci Có tên gọi tín hiệu sai lệch nơron đầu thứ i Rõ ràng D wiq( ) phụ k thuộc vào zq Để tính zq ta sử dụng trọng số cũ có mạng v ( ) sau: k ỉ m (k) (k)÷ = a çççå vqj x j ÷ ÷ çè ø÷ ( ) (k ) zq = a cq (2.10) j= Cùng với D wiq( ) , trọng số cũ wiq( ) hiệu chỉnh thành k wiq( k + 1) k = wiq( ) + D wiq( ) k Sau có wiq( (2.11) k k + 1) , ta xác định giá trị gia tăng D vqj( ) cho trọng số cũ v(qj ) k k nơron thuộc lớp đầu vào nhờ cơng thức cải biên theo tư tưởng Widnow: é k ù k da k + da wiq( )ú x j = sdhq x j D vqj = s å ê yi( ) - y%i( ) ê údc dci i= ë û q n (k) ( ) (2.12) Trong dhq = n é (k) ù ê yi - y%i(k) da wiq(k + 1)úda ê údc dci ë û q å ( i= ) = (k ) cq da dcq n å doi wiq( k + 1) (2.13) (k ) i= cq Từ D vqj( ) ta k Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 27 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc v(qj k + 1) = v(qj ) + D vqj( ) k (2.14) k KIL OBO OKS CO M Ví dụ: Xét mạng hai lớp hình 2.12 với hai nơron lớp đầu vào nơron lớp đầu Các nơron mạng nơron Fermi 1 + e- c y = a (c)= da = y (1 - y) dc Þ Giả sử mạng có trọng số: v(qj ) q = 1,2; j = 1, wiq( ), q = 1,2 k k Khi có thêm mẫu học x (k ) ỉx (k)ư÷ ç k = çç 1k ÷ , y( ) trước hết trọng số cũ ÷ çèx ( )ø÷ ÷ wiq( ) nơron lớp hiệu chỉnh thành k wiq( k + 1) = wiq( ) + D wiq( ) k k Trong ỉ2 k k k ÷ D wiq( ) = sdo1 zq = sdo1 a çççå v(qj )x (j )÷ ÷ ÷ çè j= ø 1444442 444443 zq ( ) ( k k k k do1 = y( ) - y%( ) y%( ) - y%( ) ) ỉ2 k k ÷ với y%( ) = a çççå wiq( )zq ÷ ÷ ÷ çè q= ø Sau hiệu chỉnh xong lớp để có wiq( k + 1) , trọng số v(qj ) lớp đầu k vào sửa đổi thành v(qj k + 1) Trong đó: = vqj( ) + D vqj( ) = v(qj ) + sdhq x j k k k dhq = zq (1 - zq )do1wiq( k + 1) Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 28 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc x1 v11 w11 KIL OBO OKS CO M v21 v12 x2 v22 y% w12 Hình 2.12 Minh hoạ cho ví dụ 2.5 Mạng nơron mờ Sự kết hợp trực quan trực tiếp suy rộng mạng nơron cách đưa khái niệm mờ đặc biệt tập mờ số mờ vào mạng nơron xem xét xem tốn nào, thuật tốn Tác động lớp thuật tốn sao? Hồn tồn tự nhiên người ta nghĩ tới nghiên cứu bốn loại suy rộng sau: 1) Loại 1: Tín hiệu vào số thực, trọng số mờ 2) Loại 2: Tín hiệu vào tập mờ, trọng số số thực 3) Loại 3: Cả tín hiệu vào trọng số số mờ 4) Loại mở rộng: Khai thác phép tốn t-chuẩn, t-đối chuẩn III Bài tốn xác định quan hệ mờ mạng nơron nhân tạo 3.1 Bài tốn Cho khơng gian vào X khơng gian Y u cầu đặt xác định quan hệ mờ R khơng gian vào Việc xác định quan hệ mờ R thực thơng qua việc tìm lời giải cho phương trình quan hệ mờ mạng nơron mờ Chúng ta cho phương trình quan hệ mờ X Å R = Y , X Ỵ [0,1] , Y Ỵ [0,1] , r Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT s 29 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc r´ s R Ỵ [0,1] Chúng ta giới hạn trường hợp Å = max-min Chúng éX i , Y i : i = 1, , p ù, để tìm R êë úû sử dụng mạng nơron mờ để nhận dạng KIL OBO OKS CO M ta giả sử có tập mẫu Vấn đề đặt thiết kế mạng nơron ( tơpơ nó) thủ tục học w11 x1 Out1 w12 w1s w21 x2 w22 Out2 w2 s M M wr wr xr Outs wrs Hình 3.1Mơ hình mạng nơron 3.2 Tơpơ mạng Chúng ta coi mạng nơron mờ có tơpơ sau: Các cặp đầu vào đầu (x1 , ,xi , , xr ) (Out1, ,Out j , , Outs ), Out j xác định Out j = max[min (xi , wij )], wij phần tử ma trận trọng số W định số lượng kết nối (xem hình 3.1) Vì vậy, xem xét mạng nơron khơng có lớp ẩn, đầu vào giá trị X Ỵ [0,1] đầu Y Ỵ [0,1] thu r s Y = max(min( W , X )), W ma trận trọng số Nếu X = (x1 , ,xi , , xr ), Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 30 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc Y = (Out1 , ,Out j , , Outs ) phần tử ma trận W wij đầu tính sau M KIL OBO OKS CO M Out1 = max[min (x1 , w11 ), (x2 , w21 ), …, (xr , wr1 )], Outs = max[min (x1 , w1s ), (x2 , w2 s ), …, (xr , wrs )], 3.3 Thủ tục học thuật tốn huấn luyện mạng Mục đích việc huấn luyện mạng điều chỉnh trọng số cho ứng dụng đưa tập đầu vào đem lại tập đầu mong muốn Điều định hướng cách tối thiểu bình phương độ sai khác đầu mong muốn Tj đầu thực Oj cho tất mẫu học, E= å (T j ( ( Oj ) , Oj = maxi xi , wij )) Bước 1: Khởi tạo ma trận trọng số W , wij = với i = 1,2, , r; j = 1,2, , s Bước 2: Xác định ma trận trọng số qua mẫu học D wij = mdj C , dj = Tj - Oj , m bước học C xác định sau: ì ì ( Min (xi , wij )® C = xs , ïïï ïïï x s ³ Max i ¹ s ïï x s < wsj í ïï x < Max ( Min (x , w )® C = x * x , ïï i ij s s ïỵ s i ¹ s C = ïí ïï ìï w ³ Max ( Min(x , w )® C = 1, i ij ïï sj ïï i ¹ s x w ³ í ïï s sj ïï w < Max ( Min(x , w )® C = w ïï i ij sj i ¹ s ỵï sj ỵ Sử dụng thuật tốn lan truyền ngược, sau lần học ma trận trọng số tính lại nhằm tối thiểu bình phương độ sai khác đầu mong muốn Tj đầu thực Oj cho tất mẫu học Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 31 http://kilobooks.com B¸o c¸o nghiªn cøu khoa häc THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN 3.4 Ví dụ KIL OBO OKS CO M wij ( míi ) = wij ( cò ) + D wij Với tập giá trị thích hợp X t Ỵ [0,1] , giá trị mong muốn Yt thu tổng hợp max-min Yt = X t Å R, t = 1, , X = (1, 0, 0, 0, 0) ® Y1 = (0.6, 0.5, 0.8, 0.3, 0.2), X = (0, 1, 0, 0, 0) ® Y2 = (0.4, 0.1, 0.9, 0.6, 0.4), X = (0, 0, 1, 0, 0) ® Y3 = (0.1, 0.1, 0.9, 0.8, 0.5), X = (0, 0, 0, 1, 0) ® Y4 = (0.9, 0.2, 0.9, 0.1, 0.5), X = (0, 0, 0, 0, 1) ® Y5 = (0.4, 0.5, 0.3, 0.8, 0.9) Mạng với tơpơ biểu diễn phần 3.2 huyến luyện với cặp {(X t , Yt ), t = 1, , 5} Kết thu được: - Với m= 0.5 , số lần lặp 19 ỉ0.599999 çç çç0.399999 çç çç0.100000 çç çç0.899999 çç è0.399999 0.499999 0.799999 0.299999 0.199999ư÷ ÷ ÷ 0.100000 0.899999 0.599999 0.399999÷ ÷ ÷ ÷ 0.100000 0.899999 0.799999 0.499999÷ ÷ ÷ ÷ 0.200000 0.899999 0.100000 0.499999÷ ÷ ÷ ÷ 0.499999 0.300000 0.799999 0.899999ø÷ - Với m = , số lần lặp ỉ0.600000 çç çç0.400000 çç çç0.100000 çç çç0.900000 çç è0.400000 0.500000 0.800000 0.300000 0.200000ư÷ ÷ ÷ 0.100000 0.900000 0.600000 0.400000÷ ÷ ÷ ÷ 0.100000 0.900000 0.800000 0.500000÷ ÷ ÷ ÷ 0.200000 0.900000 0.100000 0.500000÷ ÷ ÷ ÷ 0.500000 0.300000 0.800000 0.900000ø÷ Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 32 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc 3.5 Xây dựng chương trình ứng dụng KIL OBO OKS CO M Sử dụng ngơn ngữ C# để xây dựng chương trình minh hoạ cho thuật tốn trình bày để giải tốn xác định quan hệ mờ mạng nơron nhân tạo KẾT LUẬN - Bộ não người máy kĩ thuật diệu kì Các nhà khoa học xây dựng mơ hình tính tốn mơ hoạt động não người như: khả học cao, khả dung thứ lỗi - Sử dụng mạng nơron nhân tạo giúp giảm độ phức tạp thời gian tính tốn, đặc biệt với tốn cần xử lý với khối lượng liệu lớn Nó khơng xử lý liệu đầu vào rõ mà xử lý với liệu mờ Điều phù hợp với việc giải tốn đặt thực tế Tuy nhiên giải mạng nơron phương pháp xấp xỉ, cho kết phù hợp với sai số chấp nhận Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 33 http://kilobooks.com B¸o c¸o nghiªn cøu khoa häc THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN MỤC LỤC Phần mở đầu……………………………………………………………….1 KIL OBO OKS CO M Tên đề tài…………………………………………………………….1 Lý chọn đề tài……………………………………………………1 I Tổng quan lý thuyết tập mờ quan hệ mờ………………………… 1.1 Khái niệm tập mờ…………………………………………………2 1.2 Các phép tốn tập mờ………………………………………….6 1.2.1 Phép hợp………………………………………………… 1.2.2 Phép giao……………………………………………… 10 1.2.3 Phép bù………………………………………………… 13 1.3 Quan hệ mờ…………………………………………………… 14 II Giới thiệu mạng nơron nhân tạo………………………………….15 2.1 Mạng nơron sinh học………………………………………….15 2.2 Mạng nơron nhân tạo…………………………………………17 2.2.1 Mơ hình nơron nhân tạo………………………………… 17 2.2.2 Định nghĩa phân loại mạng nơron nhân tạo………… 20 2.3 Thủ tục học mạng nơron nhân tạo…………………… 23 2.3.1 Học tham số…………………………………………… 23 2.3.2 Học cấu trúc…………………………………………… 26 2.4 Thuật tốn lan truyền ngược………………………………….26 2.5 Mạng nơron mờ……………………………………………….29 III Bài tốn xác định quan hệ mờ mạng nơron nhân tạo …… 29 3.1 Bài tốn ……………………………………………………… 29 3.2 Tơpơ mạng…………………………………………………… 30 3.3 Thủ tục học thuật tốn huấn luyện mạng…………………31 3.4 Ví dụ……………………………………………………………34 Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 34 http://kilobooks.com B¸o c¸o nghiªn cøu khoa häc THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN 3.5 Xây dựng chương trình ứng dụng………………………… 33 Kết luận…………………………………………………………… 33 KIL OBO OKS CO M Tài liệu tham khảo…………………………………………………35 TÀI LIỆU THAM KHẢO [1] Neural Networks by Christos Stergiou and Dimitrios Siganos [2 ] Introduction to Neural Networks – by Genevieve Orr &Willamette University, Cummins prepared by Genevieve Orr, Nici Schraudolph, Fred [3] Lý thuyết điều khiển mờ - Phan Xn Minh & Nguyễn Dỗn Phước Và số website ANN hệ mờ Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 35 [...]... tạo ………………………………………17 2.2.1 Mơ hình nơron nhân tạo ……………………………… 17 2.2.2 Định nghĩa và phân loại mạng nơron nhân tạo ……… 20 2.3 Thủ tục học của mạng nơron nhân tạo ………………… 23 2.3.1 Học tham số…………………………………………… 23 2.3.2 Học cấu trúc…………………………………………… 26 2.4 Thuật tốn lan truyền ngược………………………………….26 2.5 Mạng nơron mờ …………………………………………….29 III Bài tốn xác định quan hệ mờ bằng mạng nơron nhân tạo …… 29 3.1 Bài tốn ………………………………………………………... tập mờ, trọng số là số thực 3) Loại 3: Cả tín hiệu vào và trọng số đều là số mờ 4) Loại mở rộng: Khai thác các phép tốn t-chuẩn, t-đối chuẩn III Bài tốn xác định quan hệ mờ bằng mạng nơron nhân tạo 3.1 Bài tốn Cho khơng gian vào X khơng gian ra Y u cầu đặt ra là xác định quan hệ mờ R giữa khơng gian vào và ra Việc xác định quan hệ mờ R được thực hiện thơng qua việc tìm lời giải cho một phương trình quan. .. là mơ hình mạng nơron nhân tạo KIL OBO OKS CO M 2.2 Mạng nơron nhân tạo 2.2.1 Mơ hình nơron nhân tạo Một nơron nhân tạo phản ánh các tính chất cơ bản của nơron sinh học Mỗi nơron nhân tạo là một đơn vị xử lí thơng tin làm cơ sở cho hoạt động của một mạng nơron Nó có chức năng nhận tín hiệu vào, tổng hợp và xử lý các tín hiệu vào để tính tín hiệu ra Dưới đây là một mơ hình của một nơron nhân tạo w1j x1... một hệ mờ biểu diễn dưới dạng một quan hệ mờ nhị ngun R trên khơng gian tích X ´ Y Đầu vào (input) của hệ là một tập mờ A cho trên khơng gian nền input X Tác động của đầu vào A với hệ R sẽ là phép hợp thành A o R sẽ cho ở đầu ra (output) một tập mờ trên khơng gian nền Y , kí hiệu là B Khi ấy ta có A o R = B II Giới thiệu về mạng nơron nhân tạo Mạng nơron hay mạng nơron nhân tạo là sự tái tạo bằng. .. Tổng quan lý thuyết tập mờ và quan hệ mờ ……………………… 2 1.1 Khái niệm tập mờ ………………………………………………2 1.2 Các phép tốn về tập mờ ……………………………………….6 1.2.1 Phép hợp………………………………………………… 6 1.2.2 Phép giao……………………………………………… 10 1.2.3 Phép bù………………………………………………… 13 1.3 Quan hệ mờ ………………………………………………… 14 II Giới thiệu về mạng nơron nhân tạo ……………………………….15 2.1 Mạng nơron sinh học………………………………………….15 2.2 Mạng nơron nhân tạo ………………………………………17... cầu trong khoảng [-1,1] 2.2.2 Định nghĩa và phân loại mạng nơron nhân tạo 2.2.2.1 Định nghĩa Mạng nơron nhân tạo là sự mơ phỏng hoạt động của bộ não con người Nó là sự liên giữa các nơron độc lập với nhau Khơng có một định nghĩa tổng qt về mạng nơron, song phần lớn những người làm việc trong lĩnh vực mạng nơron đều có thể đồng ý với định nghĩa sau: Mạng nơron là một hệ thống bao gồm rất nhiều phần... Hình 1.6: Tập bù mạnh A c của tập mờ A a Hàm thuộc của tập mờ A b Hàm thuộc của tập mờ A c 1.3 Quan hệ mờ Định nghĩa 1.6 Cho X , Y là hai khơng gian nền R gọi là một quan hệ mờ trên X ´ Y nếu R là một tập mờ trên X ´ Y , tức là có một hàm thuộc mR : X ´ Y ® [0,1], ở đây mR (x, y)= R (x, y) là độ thuộc của (x, y) vào quan hệ R - Tính bắc cầu Định nghĩa: Quan hệ mờ R trên X ´ X gọi là: a) Min-chuyển... hay sự liên kết giữa các lớp trong mạng mà người ta phân mạng nơron nhân tạo thành các nhóm khác nhau * Phân loại theo số lớp Phân loại theo số lớp thì mạng nơron nhân tạo gồm có hai nhóm: mạng một lớp và mạng nhiều lớp - Mạng một lớp Mạng một lớp cấu thành từ một lớp mạng, nó vừa là lớp vào vừa là lớp trung gian và cũng là lớp ra Một lớp mạng bao gồm một nhóm các nơron được tổ chức theo một cách sao... một chương trình minh hoạ cho thuật tốn đã trình bày để giải bài tốn xác định quan hệ mờ bằng mạng nơron nhân tạo KẾT LUẬN - Bộ não của con người là một bộ máy kĩ thuật diệu kì Các nhà khoa học đã xây dựng một mơ hình tính tốn mơ phỏng hoạt động của bộ não người như: khả năng học rất cao, khả năng dung thứ lỗi - Sử dụng mạng nơron nhân tạo giúp giảm độ phức tạp và thời gian tính tốn, đặc biệt là với những... một mạng hồi quy Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 22 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc x2 y1 KIL OBO OKS CO M x1 M M xn M M y2 M ym Hình 2.7 Mơ hình mạng nơron nhiều lớp hồi quy 2.3 Thủ tục học của mạng nơron nhân tạo Mạng nơron khi mới hình thành chưa có tri thức, để có thể giải quyết một bài tốn cụ thể nào đó thì phải cho mạng nơron học Mạng nơron ... tạo Trong đó: - xi với i = 1,2, , n : tín hiệu đầu vào - wij với i = 1,2, , n : trọng số tương ứng với đầu vào - qj : ngưỡng kích hoạt nơron j - net : tín hiệu tổng hợp đầu vào - f (net ) : Hàm... K54C - CNTT 12 http:/ /kilobooks. com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc Một hàm hai biến m(mA , mB ): [0,1] ® [0,1] thoả mãn điều kiện định nghĩa gọi hàm t- chuẩn (t-norm)... điều kiện sau: - Tín hiệu đầu phải khơng âm với giá trị net Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT 18 http:/ /kilobooks. com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN B¸o c¸o nghiªn cøu khoa häc - Hàm f phải