BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM VIỆN CÔNG NGHỆ THÔNG TIN DƯƠNG THĂNG LONG PHƯƠNG PHÁP XÂY DỰNG HỆ MỜ DẠNG LUẬT VỚI NGỮ NGHĨA DỰA TRÊN ĐẠI SỐ GIA TỬ VÀ ỨNG DỤNG TRONG BÀI TOÁN PHÂN LỚP LUẬN ÁN TIẾN SĨ TOÁN HỌC HÀ NỘI - 2010 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM VIỆN CÔNG NGHỆ THÔNG TIN DƯƠNG THĂNG LONG PHƯƠNG PHÁP XÂY DỰNG HỆ MỜ DẠNG LUẬT VỚI NGỮ NGHĨA DỰA TRÊN ĐẠI SỐ GIA TỬ VÀ ỨNG DỤNG TRONG BÀI TOÁN PHÂN LỚP Chuyên ngành: BẢO ĐẢM TOÁN HỌC CHO MÁY TÍNH VÀ HỆ THỐNG TÍNH TOÁN Mã số: 62.46.35.01 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TSKH NGUYỄN CÁT HỒ TS TRẦN THÁI SƠN HÀ NỘI - 2010 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng Các kết viết chung với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết luận án trung thực chưa công bố công trình khác Tác giả Dương Thăng Long LỜI CẢM ƠN Luận án hoàn thành hướng dẫn tận tình nghiêm khắc PGS TSKH Nguyễn Cát Hồ TS Trần Thái Sơn Lời đầu tiên, tác giả xin bày tỏ lòng kính trọng biết ơn sâu sắc tới hai Thầy Xin chân thành gửi lời cảm ơn tới TS Vũ Như Lân, PGS TS Đặng Thành Phu, PGS TSKH Bùi Công Cường, PGS TS Phan Trung Huy, PGS TS Vũ Chấn Hưng đóng góp quý báu trình nghiên cứu thời gian hoàn thành luận án Tác giả xin chân thành gửi lời cảm ơn đến Ban lãnh đạo Viện Công nghệ thông tin, Phòng Đào tạo sau đại học, Phòng Các hệ chuyên gia tính toán mềm tạo điều kiện thuận lợi trình học tập, nghiên cứu hoàn thành luận án Xin cảm ơn Ban giám hiệu Viện Đại học Mở Hà Nội, Ban chủ nhiệm khoa Công nghệ Tin học Phòng chức Viện quan tâm giúp đỡ, tạo điều kiện để tác giả thực kế hoạch nghiên cứu đảm bảo tiến độ Cảm ơn anh chị phòng Các hệ chuyên gia tính toán mềm - Viện Công nghệ thông tin, đồng nghiệp thuộc Khoa Công nghệ Tin học - Viện Đại học Mở Hà Nội động viên trao đổi kinh nghiệm qúa trình hoàn thành luận án Cuối cùng, tác giả xin chân thành cảm ơn thành viên Gia đình, người dành cho tác giả tình cảm nồng ấm sẻ chia lúc khó khăn sống, động viên giúp đỡ tác giả trình nghiên cứu Luận án quà tinh thần mà tác giả trân trọng gửi tặng đến thành viên Gia đình 3 MỤC LỤC LỜI CAM ĐOAN .1 LỜI CẢM ƠN .2 MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH MỞ ĐẦU .11 Chương TỔNG QUAN VÀ NHỮNG KIẾN THỨC CƠ SỞ .20 1.1 Kiến thức sở lập luận mờ 20 1.1.1 Khái niệm mờ hình thức hóa toán học tập mờ 20 1.1.2 Biến ngôn ngữ .22 1.1.3 Hệ mờ dạng luật phương pháp lập luận xấp xỉ truyền thống 24 1.2 Đại số gia tử: số vần đề 26 1.2.1 Các khái niệm đại số gia tử 26 1.2.2 Vấn đề định lượng ngữ nghĩa đại số gia tử 28 1.2.3 Phương pháp lập luận xấp xỉ nội suy theo tiếp cận đại số gia tử 36 1.3 Bài toán phân lớp khai phá liệu 39 1.3.1 Giới thiệu toán phân lớp 39 1.3.2 Mô hình hệ mờ dạng luật giải toán phân lớp 43 1.4 Kết luận Chương .48 Chương PHƯƠNG PHÁP SINH LUẬT MỜ VỚI NGỮ NGHĨA CÁC TỪ NGÔN NGỮ DỰA TRÊN ĐSGT 50 2.1 Lược đồ xây dựng hệ luật mờ dựa ĐSGT 51 2.2 Phương pháp sinh luật mờ dựa hệ khoảng tính mờ 54 2.2.1 Hệ khoảng tính mờ quan hệ ngữ nghĩa hạng từ 54 2.2.2 Thuật toán sinh luật mờ dựa hệ khoảng tính mờ 59 2.2.3 Phương pháp rút gọn phép hợp luật mờ 65 2.3 Phương pháp sinh luật mờ dựa hệ khoảng tương tự 68 2.3.1 Đại số gia tử .68 2.3.2 Hệ khoảng tương tự A X 70 2.3.3 Thuật toán sinh luật mờ dựa hệ khoảng tương tự 77 2.3.4 Phương pháp rút gọn hệ luật phép sàng .84 2.4 Kết luận Chương .90 Chương PHƯƠNG PHÁP THIẾT KẾ NGÔN NGỮ VÀ TỐI ƯU HỆ LUẬT 91 3.1 Phương pháp thiết kế ngôn ngữ cho toán phân lớp .91 3.1.1 Đặt toán 91 3.1.2 Phương pháp tối ưu tham số dựa giải thuật di truyền lai .96 3.2 Bài toán thiết kế tối ưu hệ luật mờ 104 3.2.1 Đặt toán 104 3.2.2 Tìm kiếm hệ luật tối ưu dựa giải thuật di truyền lai 105 3.3 Kết luận Chương 110 Chương MÔ PHỎNG BẰNG MÁY TÍNH TRÊN MỘT SỐ BÀI TOÁN PHÂN LỚP 111 4.1 Phương pháp mô cho toán phân lớp 111 4.2 Bài toán phân lớp loại hoa - IRIS 113 4.2.1 Áp dụng thuật toán sinh luật IFRG1 114 4.2.2 Áp dụng thuật toán sinh luật IFRG2 116 4.3 Bài toán phân lớp loại rượu - WINE 119 4.4 Bài toán phân lớp loại kính - GLASS 124 4.5 Bài toán phân lớp loại men sinh học - YEAST 129 4.6 Kết luận Chương 132 KẾT LUẬN CHUNG 134 CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN .136 TÀI LIỆU THAM KHẢO .137 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Các ký hiệu: AX Đại số gia tử tuyến tính AX Đại số gia tử tuyến tính đầy đủ AX2 Đại số gia tử µ(h), fm(x) Độ đo tính mờ gia tử h hạng từ x υ Giá trị định lượng theo điểm giá trị ngôn ngữ µA(v) Hàm định lượng giá trị ngôn ngữ A (đo độ thuộc v) sm(x,y) Hàm xác định mức độ gần hai hạng từ x y ℑ Khoảng tính mờ giá trị ngôn ngữ Xk Tập hạng từ có độ dài k X(k) Tập hạng từ có độ dài không k Ik Hệ khoảng tính mờ mức k giá trị ngôn ngữ I(k) Hệ khoảng tính mờ từ mức đến mức k giá trị ngôn ngữ Tg Khoảng tương tự bậc g giá trị ngôn ngữ S(k) Hệ khoảng tương tự mức k giá trị ngôn ngữ Các chữ viết tắt: ĐSGT Đại số gia tử ĐS2GT Đại số gia tử SGA Simulated Annealing - Genetic Algorithm IFRG1 Initial Fuzzy Rules Generation IFRG2 Initial Fuzzy Rules Generation HAFRG Hedge Algebras based Fuzzy Rules Generation FPO-SGA Fuzzy Parameters Optimization - SGA RBO-SGA Rule base Optimization - SGA DANH MỤC CÁC BẢNG Bảng 1.1: Bảng luật mờ dạng ngôn ngữ toán điều khiển 38 Bảng 2.1: Danh sách luật sinh thuật toán IFRG1 cho toán IRIS2 63 Bảng 2.2: Tỷ lệ (%) số mẫu phân lớp hệ luật bảng 2.1 theo đánh giá trọng số luật với hai phương pháp lập luận 64 Bảng 2.3- Hệ luật thu sau hợp từ hệ luật bảng 2.1 Ví dụ 2.1 67 Bảng 2.4: Danh sách luật sinh thuật toán IFRG2 cho toán IRIS2 81 Bảng 2.5: Tỷ lệ (%) số mẫu phân lớp hệ luật bảng 2.4 theo đánh giá trọng số luật với hai phương pháp lập luận 83 Bảng 2.6: Kết áp dụng phương pháp sàng hệ luật bảng 2.4 (Ví dụ 2.4) 85 Bảng 2.7: Tỷ lệ (%) số mẫu phân lớp theo phương pháp sàng 87 Bảng 3.1: Các tham số gia tử tối ưu thuật toán FPO-SGA cho toán IRIS2 101 10 Bảng 3.2: Danh sách luật sinh thuật toán IFRG1 sau tối ưu tham số cho toán IRIS2 (mỗi giá trị ngôn ngữ điều kiện luật tính tham số cho hàm định lượng ngữ nghĩa) 102 11 Bảng 3.3: Các tham số gia tử tối ưu thuật toán FPO-SGA cho toán IRIS 103 12 Bảng 3.4: Danh sách luật sinh thuật toán IFRG2 theo tham số tối ưu bảng 3.3 cho toán IRIS (mỗi giá trị ngôn ngữ điều kiện luật tính tham số hàm định lượng ngữ nghĩa) 103 13 Bảng 3.5: So sánh kết trước sau tối ưu tham số toán IRIS2 104 14 Bảng 3.6: Bảng tham số mờ gia tử cho toán WINE 108 15 Bảng 3.7: Kết chạy RBO-SGA so sánh với phương pháp FRBCS khác dựa tập mờ 110 16 Bảng 3.8: Hệ gồm luật mờ đạt tỷ lệ số mẫu phân lớp 100% WINE 110 17 Bảng 4.1: Các tham số gia tử tối ưu thuật toán FPO-SGA cho toán IRIS 115 18 Bảng 4.2: Danh sách luật kết thuật toán FPO-SGA cho toán IRIS 115 19 Bảng 4.3: Kết thuật toán IFRG1 so sánh với phương pháp FRBCS khác toán IRIS 115 20 Bảng 4.4: Kết tham số tối ưu (PARiris) theo thuật toán IFRG2 cho toán IRIS 117 21 Bảng 4.5: Kết thử nghiệm toán IRIS hai sơ đồ không tối ưu có tối ưu hệ luật, so sánh với phương pháp FRBCS khác 118 22 Bảng 4.6: Kết tối ưu tham số mờ gia tử (PARwine) theo thuật toán IFRG2 toán WINE 121 23 Bảng 4.7: Kết phân lớp (PTe(%)) sơ đồ No-RBO theo thuật toán IFRG2 trường hợp LV1 toán WINE, so sánh với phương pháp FRBCS Ishibuchi [44] (chữ nghiêng) 122 24 Bảng 4.8: Kết thử nghiệm sơ đồ RBO-SGA theo thuật toán IFRG2 toán WINE, so sánh với phương pháp FRBCS khác 124 25 Bảng 4.9: Tham số mờ gia tử tối ưu (PARglass) theo thuật toán IFRG2 toán GLASS 126 26 Bảng 4.10: Kết phân lớp (PTe(%)) sơ đồ No-RBO theo thuật toán IFRG2 trường hợp LV1 toán GLASS, so sánh với phương pháp FRBCS Ishibuchi [44] (chữ nghiêng) 128 27 Bảng 4.11: Kết thử nghiệm sơ đồ RBO-SGA theo thuật toán IFRG2 toán GLASS, so sánh với phương pháp FRBCS khác 128 28 Bảng 4.12: Số lượng mẫu liệu lớp toán YEAST 130 29 Bảng 4.13: Tham số mờ gia tử tối ưu (PARyeast) theo thuật toán IFRG2 toán YEAST 131 30 Bảng 4.14: Kết thử nghiệm sơ đồ RBO-SGA theo thuật toán IFRG2 toán YEAST, so sánh với phương pháp FRBCS khác 132 DANH MỤC CÁC HÌNH Hình 1.1: Độ đo tính mờ biến TRUTH 30 Hình 1.2: Khoảng tính mờ hạng từ biến TRUTH 33 Hình 1.3: Mô hình mạng nơron FF ứng dụng nội suy để lập luận 37 Hình 1.4: Kết sai số điều khiển phương pháp so sánh với [39] 38 Hình 1.5: Lưới phân hoạch mờ miền thuộc tính 41 Hình 1.6: Phương pháp phân hoạch mờ scatter-partition 43 Hình 2.1: Hàm định lượng dạng tam giác hạng từ 60 Hình 2.2: Sơ đồ phân hoạch miền thuộc tính PL, PW 63 Hình 2.3: Minh họa phương pháp hợp luật 66 10 Hình 2.4: Các khoảng tượng tự hạng từ 71 11 Hình 2.5: Hình 2.5: Hệ khoảng tương tự S(2) tập X(2) 71 12 Hình 2.6: Hệ khoảng tương tự S(1) X(1) 73 13 Hình 2.7: Hệ phân hoạch khoảng tương tự láng giềng chúng 74 14 Hình 2.8: Hàm định lượng dạng tam giác hạng từ ĐS2GT 77 15 Hình 2.9: Lưới phân hoạch mờ dựa hệ khoảng tương tự 81 16 Hình 2.10: Kết phân lớp theo tiêu chuẩn sàng c 89 17 Hình 2.11: Kết phân lớp theo tiêu chuẩn sàng s 89 18 Hình 2.12: Kết phân lớp theo tiêu chuẩn sàng c.s 89 19 Hình 3.1: Tập mờ Malic Acid [10] (a), Proline [50] (b) 92 20 Hình 3.2: Quá trình HAFRG xây dựng hệ luật mờ phân lớp 93 21 Hình 3.3: Sơ đồ mã hóa cá thể chọn hệ luật 106 22 Hình 4.1: Sơ đồ phân bố liệu lớp toán IRIS 114 10 23 Hình 4.2: Sơ đồ phân bố liệu lớp toán WINE 120 24 Hình 4.3: Đồ thị hiệu phân lớp (PTe) theo sơ đồ RBO-SGA trường hợp LV1 toán WINE 123 25 Hình 4.4: Sơ đồ phân bố liệu lớp toán GLASS 126 26 Hình 4.5: Sơ đồ phân bố liệu lớp toán YEAST 130 11 MỞ ĐẦU Trong sống loài người, ngôn ngữ hình thành cách tự nhiên để giải nhu cầu trao đổi thông tin với Hơn thế, công cụ để người mô tả vật, tượng giới thực dựa để tư duy, lập luận đưa nhận định, phán nhằm phục vụ cho sống xã hội Thật đáng tiếc, giới thực vô hạn ngôn ngữ lại hữu hạn, tất yếu xuất cụm từ không xác mơ hồ Tuy nhiên, khả người thật tài tình, tư duy, lập luận dựa hữu hạn ngôn ngữ xây dựng, khám phá tri thức khoa học, khai thác cải tạo giới thực, nhằm thúc đẩy xã hội loài người ngày phát triển mạnh mẽ, tốt đẹp hoàn thiện Đó điều phủ nhận sức mạnh ngôn ngữ, trái lại hữu ích cho nhân loại Ngày với phát triển vượt bậc khoa học công nghệ, nhiều thiết bị máy móc tạo nhằm giúp người giải phóng sức lao động, không lao động chân tay mà lao động trí óc Dĩ nhiên, thiết bị máy móc phải “thông minh”, có khả tư duy, lập luận sáng tạo kiểu não người Để thực điều này, nhiều nhà khoa học nghiên cứu lý thuyết lẫn ứng dụng, đưa phương pháp, quy trình nhằm kế thừa, mô khả người vào thiết bị máy móc Trước hết, nhà khoa học phải hình thức hóa toán học vấn đề ngôn ngữ xử lý ngôn ngữ mà người làm Người tiên phong lĩnh vực Lotfi A Zadeh Trong [80], ông đề xuất khái niệm mờ từ khái niệm mơ hồ, không rõ ràng, không chắn hình thức hóa toán học tập mờ (fuzzy set), xác định hàm thuộc (membership function) Trên sở đó, lý thuyết tập mờ hình thành làm tảng cho phương pháp mô tư lập luận người, cho phép biểu diễn thao tác tính toán mô hình ứng dụng Dựa lý thuyết tập mờ L.A Zadeh, nhà khoa học tiếp cận phát triển theo nhiều hướng khác nhau, lý thuyết lẫn ứng dụng thực tiễn 12 Chúng ta tìm thấy kết qua công trình D Dubois, H Prade, C.S George Lee, H.J Zimmermann, T.J Ross, R Fuller, J.J Buckley, R Kruse, D Nauck, N.K Kasabov, W Pedrycz, [15], [22], [25], [48], [52], [55], [69], [72], [82] Trong đó, phải kể đến phương pháp lập luận xấp xỉ mà khái niệm biến ngôn ngữ (linguistic variable, [81]) lôgíc mờ (fuzzy logic, [2], [81]) đóng vai trò then chốt, nhằm mô trình lập luận người Tuy nhiên việc mô hình hóa trình tư lập luận người vấn đề khó thách thức nhà nghiên cứu đặc trưng giàu thông tin ngôn ngữ chế suy luận dựa tri thức mà kinh nghiệm, trực quan cảm nhận theo ngữ cảnh người Do có mô hình toán học hoàn hảo để mô chế suy luận Quá trình lập luận người nói chung lập luận xấp xỉ nói riêng trình tìm kiếm kết luận không chắn từ giả thiết không chắn theo cách gần Các phương pháp lập luận xấp xỉ thường xây dựng dựa phát biểu dạng luật “If then ”, phần giả thiết (hay gọi vế trái luật) gồm nhiều điều kiện kết hợp với từ “and” (phép và) Các luật mờ chia làm hai dạng, dạng có phương pháp lập luận xây dựng tương ứng: - Dạng luật Mamdani [55]: phần kết luận luật khái niệm mờ biểu diễn hàm thuộc giải tích Trong dạng này, có hai phương pháp lập luận xây dựng: Phương pháp thứ nhất, theo truyền thống, xem luật quan hệ mờ kết nhập chúng thành quan hệ mờ chung R, đóng vai trò toán tử Lập luận tức tìm kiếm đầu B′ cho đầu vào A′, B′ = R(A′) Với nhiều cách chọn phép t-norm, t-conorm kéo theo để tính toán, cách chọn cho kết B′ khác Nhìn chung nói cách chọn phép toán tốt mà phụ thuộc vào toán cụ thể trực quan cảm nhận người giải toán Điều phù hợp với lập luận xấp xỉ tạo tính mềm dẻo ứng dụng phương pháp Trong phương pháp lập luận thứ hai, luật mờ xem điểm không gian ngôn ngữ, xây dựng ánh 13 xạ định lượng ngữ nghĩa cho giá trị ngôn ngữ để chuyển điểm không gian thực tạo thành “siêu lưới” Thực nội suy siêu lưới để tìm kết đầu đầu vào cho trước - Dạng luật Tagaki-Sugeno [79]: phần kết luận luật mờ giá trị rõ, xác định hàm giải tích hay chí giá trị Dạng bước đầu tác giả đề xuất ứng dụng điều khiển, nhiều nhà nghiên cứu ứng dụng toán khai phá liệu [10], [30]-[33], [42]-[47], [60] Các phương pháp lập luận xây dựng dạng này: Thứ nhất, luật có mức “đốt cháy” liệu đầu vào cao chọn kết lập luận phần kết luận luật Đây gọi phương pháp lập luận single-winner-rule Thứ hai, luật đóng vai trò “bầu cử” (vote) cho mẫu liệu lớp vế phải luật dựa mức đốt cháy luật liệu đó, lớp có tổng mức đốt cháy cao dùng để phân lớp cho liệu đầu vào tương ứng Phương pháp lập luận gọi weighted-vote Hệ luật mờ dạng Tagaki-Sugeno với hai phương pháp lập luận single-winner-rule weighted-vote trực quan, khử mờ kết lập luận, phù hợp việc xây dựng mô hình ứng dụng số toán khai phá liệu nhiều tác giả nghiên cứu [10], [12], [17], [20], [27], [30]-[33], [42]-[47], [60] Nhìn chung, cho dù hệ luật mờ biểu diễn cách với phương pháp lập luận xây dựng tương ứng lý thuyết tập mờ xem tảng cho phương pháp lập luận xấp xỉ Nhưng thân lý thuyết tập mờ khó để mô hoàn chỉnh cấu trúc ngôn ngữ mà người sử dụng để suy luận, cho dù cách tiếp cận ứng dụng thành công nhiều lĩnh vực sống Vì cấu trúc thứ tự cảm sinh khái niệm mờ biểu thị giá trị ngôn ngữ tập mờ Chẳng hạn, mặt ngữ nghĩa cảm nhận “yếu” nhỏ “khỏe”, “cao” lớn “thấp” hàm thuộc chúng lại không sánh với Mặt khác, [81] tập khái niệm mờ không đóng số phép toán tập mờ Vì trình lập luận nhiều người ta cần phải xấp xỉ ngôn 14 ngữ tức phải tìm giá trị ngôn ngữ mà ý nghĩa xấp xỉ với tập mờ cho trước, điều gây nên phức tạp lớn sai số cho trình Hơn nữa, [9] hệ suy diễn xây dựng ngôn ngữ hình thức xác định tập lớp công thức tương đương cấu trúc đại số thuộc lớp đại số trừu tượng, lôgíc mờ giá trị ngôn ngữ (hay lôgíc mờ theo nghĩa Zadeh) thiếu sở đại số làm tảng Nhằm khắc khắc phục phần nhược điểm trên, năm 1990, N.C Ho & W Wechler [37] khởi xướng phương pháp tiếp cận đại số đến cấu trúc tự nhiên miền giá trị biến ngôn ngữ Theo cách tiếp cận này, giá trị ngôn ngữ biến ngôn ngữ nằm cấu trúc đại số gọi đại số gia tử (ĐSGT) Dựa tính chất ngữ nghĩa ngôn ngữ phát hiện, phương pháp tiên đề hóa nhiều tác giả tập trung phát triển lý thuyết ĐSGT với kết ĐSGT mở rộng [38], ĐSGT mịn hóa [36], ĐSGT mở rộng đầy đủ [5], ĐSGT PN-không [9] Trong đó, tiêu biểu ĐSGT mịn hóa với việc trang bị khái niệm độ đo tính mờ giá trị ngôn ngữ phương pháp định lượng ngữ nghĩa [35] Trên sở đó, phương pháp lập luận xấp xỉ dựa ĐSGT ứng dụng số lĩnh vực tác giả phát triển, kể đến phương pháp lập luận sử dụng mạng nơron điều khiển mờ [4], ứng dụng sở liệu mờ [3], lập luận nội suy gia tử có tối ưu tham số ứng dụng điều khiển mờ [8], [39] Những kết này, dù chưa nhiều, khả quan cho thấy ý nghĩa mạnh ĐSGT ứng dụng Bên cạnh đó, bùng nổ thời đại thông tin nay, lượng thông tin liệu tạo hàng ngày lớn lĩnh vực sống Khối lượng thông tin liệu khổng lồ vượt khỏi giới hạn khả ghi nhớ xử lý người Nhu cầu cần thiết đến trình tự động tìm kiếm thông tin hữu ích, quan hệ ràng buộc liệu kho liệu lớn để phát tri thức, quy luật hay khuynh hướng liệu hỗ trợ người phán đoán, nhận xét, định Nhằm đáp ứng nhu cầu đó, nhà nghiên cứu đề xuất, nghiên cứu phát triển phương pháp khai phá liệu (data mining) Các 15 toán biết đến lĩnh vực phân lớp nhận dạng mẫu (classification), hồi quy dự báo (regression), phân cụm (clustering), khai phá luật kết hợp (association rules), [15], [18], [27], [48], [63], [54], [69] với nhiều mô hình theo tiếp cận dựa tập mờ đề xuất Trong tiêu biểu mô hình dạng hệ luật mờ ứng dụng cho toán phân lớp nghiên cứu mạnh mẽ, kết phong phú [10], [12], [16], [17], [20], [23], [24], [26], [30]-[33], [40]-[47], [50], [53], [56], [58]-[60], [66], [74], [77] Tuy nhiên mô hình tiếp cận dựa lý thuyết tập mờ lôgíc mờ, gặp phải hạn chế mà xuất phát từ thân nội lý thuyết tập mờ: - Các phương pháp xây dựng hệ luật dựa tập mờ có tách biệt giá trị ngôn ngữ với tập mờ biểu diễn ngữ nghĩa chúng toán, chí số phương pháp sử dụng thuật toán tìm kiếm tối ưu tham số tập mờ làm méo ngữ nghĩa giá trị ngôn ngữ, cho dù đưa ràng buộc tìm kiếm Kết tập mờ khó phản ánh ngữ nghĩa giá trị ngôn ngữ tương ứng, điều thể [10], [50] - Một số phương pháp khác [42]-[47], [60] lại thiết lập tập mờ giá trị ngôn ngữ cách cố định, theo chủ quan người Trong khi, giá trị ngôn ngữ mang ngữ nghĩa tương đối khác toán khác Chẳng hạn, nói thời tiết từ “rất lạnh” mang ngữ nghĩa với nhiệt độ vào khoảng 10oC, nhiệt độ thể người từ “rất lạnh” lại mang ngữ nghĩa vào khoảng 35oC - Các phương pháp tìm kiếm tối ưu tham số mờ kết khó phản ánh ngữ nghĩa giá trị ngôn ngữ tương ứng, tạo không gian tìm kiếm lớn tham số Điều làm giảm tốc độ hội tụ trình tìm kiếm giảm hiệu phương pháp Mặt khác, phía ĐSGT, việc áp dụng phương pháp định lượng ngữ nghĩa theo điểm không phù hợp mô hình ứng dụng phân lớp Miền liệu thuộc tính toán thường liên tục hệ luật mờ xây dựng lại rời rạc, cần phương pháp định lượng ngữ nghĩa giá trị 16 ngôn ngữ ĐSGT phải liên tục miền ngữ nghĩa Hơn nữa, sử dụng khái niệm độ đo tính mờ giá trị ngôn ngữ để định nghĩa khoảng tính mờ biểu diễn cho miền liệu đủ áp dụng mức (các giá trị ngôn ngữ có số lượng gia tử giống nhau), bỏ qua giá trị ngôn ngữ mức (số lượng gia tử hơn, hay chí gia tử) Điều không phù hợp, giá trị ngôn ngữ có vai trò bình đẳng việc biểu diễn ngữ nghĩa cho miền liệu Để khắc phục vấn đề trên, lần đầu tiên, luận án đề xuất phương pháp ứng dụng ĐSGT vào xây dựng mô hình cho toán phân lớp lĩnh vực khai phá liệu Trong ĐSGT, với tính chất sánh giá trị ngôn ngữ tạo nên ràng buộc ngữ nghĩa phương pháp tìm kiếm tối ưu tham số, không làm biến dị tập mờ chúng Thông thường, thực tế mô hình ứng dụng cho toán phân lớp với số lượng giá trị ngôn ngữ không nhiều, số gia tử chí không sử dụng gia tử [50], [10], [42] Và để giảm bớt không gian tìm kiếm tối ưu tham số cho mô đảm bảo tính bình đẳng việc xem xét giá trị ngôn ngữ, cải tiến số vấn đề ĐSGT đề xuất nhằm đem lại ứng dụng đạt hiệu cao Với ý nghĩa vậy, luận án đặt mục tiêu nghiên cứu cụ thể sau đây: 1) Khảo sát tính chất, đặc trưng giá trị ngôn ngữ vấn đề ĐSGT nhằm ứng dụng vào việc xây dựng luật mờ cho toán phân lớp 2) Với yêu cầu đặt việc xây dựng hệ luật mờ cho toán phân lớp, luận án thiết kế phương pháp tìm kiếm tối ưu xấp xỉ để lựa chọn tham số mờ gia tử đủ tốt tìm kiếm hệ luật mờ đủ tốt cho ứng dụng 3) Chọn số toán phân lớp từ đơn giản đến phức tạp để ứng dụng kiểm chứng cho phương pháp xây dựng thông qua việc đánh giá so sánh với phương pháp khác 17 Với nhiệm vụ đặt ra, luận án đạt số kết đóng góp vào việc nghiên cứu mở rộng ứng dụng cho ĐSGT Có thể khái quát kết sau: - Nghiên cứu sâu đại số gia tử (ĐS2GT), tức ĐSGT gồm gia tử dương gia tử âm, khảo sát tính chất Khảo sát tính chất kế thừa ngữ nghĩa quan hệ ngữ nghĩa giá trị ngôn ngữ Giới thiệu khái niệm khoảng tương tự giá trị ngôn ngữ xây dựng hệ khoảng tương tự cho tập giá trị ngôn ngữ Trên sở ĐS2GT, khẳng định hệ khoảng tương tự tồn ứng dụng xấp xỉ cho trình thực - Xây dựng hai phương pháp sinh luật mờ trực tiếp từ tập liệu mẫu cho toán phân lớp Một thuật toán dựa hệ khoảng tính mờ thuật toán dựa hệ khoảng tương tự giá trị ngôn ngữ Các luật sinh hai phương pháp thực theo “vết” liệu mang ngữ nghĩa giá trị ngôn ngữ Trên sở quan hệ ngữ nghĩa giá trị ngôn ngữ, luận án đưa phép kết nhập luật mờ áp dụng cho việc rút gọn hệ luật Bên cạnh đó, phương pháp sàng dựa tiêu chuẩn đánh giá áp dụng để rút gọn hệ luật - Xây dựng phương pháp thiết kế ngôn ngữ cho toán thông qua việc tìm kiếm tối ưu tham số mờ gia tử cho mô hình dựa giải thuật di truyền (Genetic Algorithm - GA) kết hợp thuật toán mô luyện (Simulated Annealing - SA), từ kết áp dụng phương pháp sinh tập luật mờ phân lớp thiết thuật toán tìm kiếm hệ luật tối ưu tập luật - Ứng dụng mô hình vào toán phân lớp đặc trưng với tập liệu cung cấp Đại học California - Irvin, nhiều tác giả dùng để thử nghiệm cho mô hình phân lớp Đánh giá so sánh kết với phương pháp khác cho thấy tính hiệu mô hình luận án Về bố cục, luận án bao gồm phần mở đầu, chương, phần kết luận tài liệu tham khảo 18 Chương 1: Trình bày vấn đề dùng luận án tập mờ phép toán lôgíc mờ, khái niệm biến ngôn ngữ, mô hình hệ mờ dạng luật tóm tắt phương pháp lập luận xấp xỉ truyền thống mô hình Trình bày khái niệm, tính chất ĐSGT, vấn đề định lượng ngữ nghĩa theo điểm giá trị ngôn ngữ ứng dụng vào việc xây dựng phương pháp lập luận xấp xỉ nội suy gia tử dựa mạng nơron Cũng chương này, giới thiệu tổng quan toán phân lớp khai phá liệu phương pháp giải toán mô hình hệ mờ dạng luật Chương 2: Khảo sát tính chất ĐS2GT xây dựng hệ khoảng tương tự cho tập giá trị ngôn ngữ Trong ĐS2GT, luận án khẳng định tồn hệ khoảng tương tự ứng dụng xấp xỉ cho trình thực Trên sở hệ khoảng tương tự, luận án đề xuất phương pháp xây dựng hệ luật mờ ứng dụng cho toán phân lớp (thuật toán IFRG2) Bên cạnh đó, ĐSGT tuyến tính thông thường (không hạn chế số gia tử), luận án đề xuất thêm phương pháp xây dựng hệ luật mờ phân lớp dựa hệ khoảng tính mờ giá trị ngôn ngữ (thuật toán IFRG1) Cả hai phương pháp xây dựng hệ luật mờ khẳng định có độ phức tạp đa thức kích thước tập liệu mẫu toán Cũng chương này, luận án khảo sát tính chất kế thừa ngữ nghĩa quan hệ ngữ nghĩa giá trị ngôn ngữ xây dựng phép kết nhập để rút gọn hệ luật mờ Bên cạnh đó, phương pháp sàng theo tiêu chuẩn đánh giá luật để rút gọn hệ luật áp dụng chương Các phương pháp xây dựng rút gọn hệ luật mờ minh họa ví dụ trực quan để kiểm tra đánh giá Chương 3: Trong chương này, luận án xem xét toán tối ưu tham số tối ưu hệ luật Dựa giải thuật di truyền kết hợp thuật toán mô luyện, thiết kế hai phương pháp tối ưu: Thứ thuật toán FPO-SGA để tìm kiếm tham số mờ gia tử tối ưu cho mô hình đề xuất toán ứng dụng Thứ hai thuật toán RBO-SGA để tìm kiếm hệ luật tối ưu Ở đây, ví dụ minh họa cho phương pháp tối ưu sử dụng để đánh giá, so sánh kết với ... VÀ ĐÀO TẠO VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM VIỆN CÔNG NGHỆ THÔNG TIN DƯƠNG THĂNG LONG PHƯƠNG PHÁP XÂY DỰNG HỆ MỜ DẠNG LUẬT VỚI NGỮ NGHĨA DỰA TRÊN ĐẠI SỐ GIA TỬ VÀ ỨNG DỤNG TRONG BÀI TOÁN PHÂN... Lược đồ xây dựng hệ luật mờ dựa ĐSGT 51 2.2 Phương pháp sinh luật mờ dựa hệ khoảng tính mờ 54 2.2.1 Hệ khoảng tính mờ quan hệ ngữ nghĩa hạng từ 54 2.2.2 Thuật toán sinh luật mờ dựa hệ khoảng... việc xây dựng hệ luật mờ cho toán phân lớp, luận án thiết kế phương pháp tìm kiếm tối ưu xấp xỉ để lựa chọn tham số mờ gia tử đủ tốt tìm kiếm hệ luật mờ đủ tốt cho ứng dụng 3) Chọn số toán phân lớp