i LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng Tất tài liệu tham khảo có nguồn gốc, xuất xứ rõ ràng Tôi xin cam đoan tất nội dung luận văn nội dung đề cương yêu cầu thầy giáo hướng dẫn Nếu sai xin hoàn toàn chịu trách nhiệm trước Hội đồng khoa học trước Pháp luật Thái Nguyên, tháng 11 năm 2014 Tác giả Đào Thị Minh Hoàn ii LỜI CẢM ƠN Lời cho phép bày tỏ lòng biết ơn sâu sắc tới TS Trần Thái Sơn – Viện Công Nghệ Thông Tin – Viện Hàn Lâm Khoa Học Công Nghệ Việt Nam giúp đỡ dẫn tận tình cho định hướng đề tài, hướng dẫn việc tiếp cận khai thác tài liệu tham khảo bảo cho trình viết luận văn hoàn thành luận văn Tôi xin chân thành cảm ơn Ban giám hiệu, Khoa sau đại học trường Đại học Công Nghệ Thông Tin Truyền Thông Thái Nguyên tạo điều kiện giúp nghiên cứu hoàn thành luận văn Do điều kiện thời gian phạm vi nghiên cứu có hạn, luận văn không tránh khỏi thiếu sót, tác giả luận văn kính mong nhận dẫn góp ý thêm thầy giáo, cô giáo anh chị học viên để luận văn trở nên hoàn thiện Tác giả Đào Thị Minh Hoàn iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC HÌNH v DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vi MỞ ĐẦU Chương 1: TẬP MỜ VÀ GIẢI THUẬT DI TRUYỀN 1.1 Tổng quan tập mờ 1.1.1 Mở đầu 1.1.2 Kiến thức sở tập mờ 1.1.3 Biến ngôn ngữ 1.1.4 Lôgic mờ 1.1.5 Lập luận xấp xỉ 13 1.2 Giải thuật di truyền 17 1.2.1 Những khái niệm giải thuật di truyền 17 1.2.2 Các tính chất đặc thù thuật giải di truyền 19 1.2.3 Các bước quan trọng việc áp dụng giải thuật di truyền 20 1.2.4 Các phương thức biến hoá giải thuật di truyền 20 Chương 2:: GIẢI BÀI TOÁN XÂY DỰNG HỆ LUẬT MỜ THEO CÁCH TIẾP CẬN CỦA LÝ THUYẾT TẬP MỜ ỨNG DỤNG VÀO BÀI TOÁN HỒI QUY MỜ 23 2.1 Bài toán trích chọn luật mờ từ sở liệu 23 2.1.1 Chuyển đổi CSDL số sang CSDL mờ: mục đích phương pháp giải 24 2.1.2 Bài toán hồi quy mờ 24 2.2 Xây dựng hệ luật mờ từ CSDL - nhóm giải pháp giai doạn 28 2.3 Xây dựng hệ luật mờ từ CSDL – nhóm giải pháp giai doạn 36 Chương 3:CHƯƠNG TRÌNH THỬ NGHIỆM 38 iv 3.1 Đặt toán 38 3.2 Tìm kiếm hệ luật tối ưu dựa giải thuật di truyền lai 39 3.3 Chương trình 44 3.3.1 Cài đặt chương trình 44 3.3.2 Giao diện chương trình 44 KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 v DANH MỤC CÁC HÌNH Hình 1.1: Đồ thị biểu diễn hàm thuộc tập mờ già (old) Hình 1.2: Mã hóa cá thể từ không gian lời giải toán 18 Hình 2.1: Các phận không gian đầu vào đầu thành vùng mờ có chức thành viên tương ứng (a) rn(ri) (b) 01(12) (c) oi(y) 36 Hình 3.1: Sơ đồ mã hóa cá thể chọn hệ luật cho thuật toán SGA 40 vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Các kí hiệu, chữ viết tắt U A A(x) Ỹ Ý nghĩa Tập vũ trụ Tập mờ Ánh xạ từ U vào [0,1] Là đầu mờ FRBCS Fuzzy Rule Based Classification Systems CSDL Cơ sở liệu GA Giải thuật di truyền MF Hàm thuộc FB CSDL mờ SGA Thuật toán di truyền lai MỞ ĐẦU Khai phá liệu, rộng khai phá tri thức thu hút ý mạnh mẽ nhà nghiên cứu giới Việt Nam Do bùng nổ thông tin lĩnh vực đời sống, đòi hỏi phải có phương pháp khoa học công nghệ để khai thác có hiệu từ khối lượng thông tin khổng lồ tri thức cần thiết giúp cho người hoạch định chiến lược, sách cho xã hội Hồi quy (regression), hướng nghiên cứu khai phá liệu, có nhiệm vụ từ tập liệu mẫu rút quy luật để dự báo mô hình kết xẩy liệu tương lai Hồi quy toán học phát triển từ lâu đạt nhiều kết tốt đẹp, nhiên so với yêu cầu thực tế nhiều việc phải làm, tăng tính xác mô hình, giảm thời gian tính toán đến mức tối thiểu, nghiên cứu mối tương quan nhiều biến phức tạp Với phát triển mạnh mẽ công nghệ thông tin, gần nhiều hướng nghiên cứu giải toán hồi quy đời, có hướng nghiên cứu hồi quy mờ dựa hệ luật mờ đặc biệt quan tâm tính hiệu kết hợp với độ xác cao thuật toán, đáp ứng nhu cầu khai thác liệu mờ Hệ luật mờ Mamdani (MFRBS) bao gồm M luật có dạng Rm: IF X1 is AND …AND XF is THEN XF+1 is (1) m = 1, , M Trong X = {X1, , Xf, , XF} tập biến ngôn ngữ đầu vào XF+1 biến đầu Như vậy, MFRBS có đặc điểm khác mô hình khác biến đầu vào mờ dạng từ ngôn ngữ tự nhiên Đặc điểm mang lại tính “thân thiện” với người suy luận từ ngôn ngữ tự nhiên đặc điểm người Các luật biểu diễn dạng quen thuộc với suy nghĩ lập luận người Hiện MFRBS nghiên cứu sử dụng rộng rãi nghiên cứu lĩnh vực điều khiển tự động, khai phá liệu Với toán hồi quy mờ, MFRBS coi biểu diễn xấp xỉ siêu mặt không gian M+1 chiều, cho phép với đầu vào vecto M chiều giá trị thực (hoặc ngôn ngữ) suy giá trị đầu (giá trị số) Luận văn có nhiệm vụ nghiên cứu tổng hợp đề xuất giải pháp xây dựng hệ luật mờ Mamdani ứng dụng vào giải toán hồi quy mờ thực tế Về bố cục, luận văn gồm phần mở đầu, chương, phần kết luận tài liệu tham khảo Phần mở đầu nêu mục đích yêu cầu cách tiếp cận giải toán hồi quy mờ thông qua hệ luật mờ Mandani theo cách tiếp cận lý thuyết tập mờ Chương 1: Tập mờ giải thuật di truyền Trong chương trình bày kiến thức tập mờ giải thuật di truyền Chương 2: Giải toán xây dựng hệ luật mờ theo cách tiếp cận lý thuyết tập mờ Ứng dụng vào toán hồi quy mờ Đề xuất cách xây dựng hệ luật mờ Mandani sử dụng hệ luật mờ giải toán hồi quy mờ Chương 3: Chương trình thử nghiệm Trình bày chương trình thử nghiệm minh họa cho cách tiếp cận lý thuyết tập mờ việc giải toán hồi quy mờ Chương TẬP MỜ VÀ GIẢI THUẬT DI TRUYỀN 1.1 Tổng quan tập mờ 1.1.1 Mở đầu Lý thuyết tập mờ đề xuất L A Zadeh năm 1965, có lẽ đến thuật ngữ “fuzzy” trở nên rõ ràng nhà nghiên cứu kỹ sư Nó tiếp tục nghiên cứu mạnh mẽ Bằng phương pháp tiếp cận khác nhau, nhà nghiên cứu Dubois, Prade, Mamdani, Tagaki, Sugeno,… đưa kết lý thuyết ứng dụng toán điều khiển mờ, khai phá liệu mờ, sở liệu mờ, hệ hỗ trợ định Hệ suy diễn mờ áp dụng cho lập luận xấp xỉ phát triển dựa lý thuyết tập mờ, với ràng buộc định, xem xấp xỉ vạn Hơn nữa, mạnh hệ mờ xấp xỉ hành vi hệ thống mà hàm giải tích quan hệ dạng số không tồn Vì vậy, hệ mờ có tiềm to lớn để ứng dụng giải hệ thống phức tạp hệ sinh học, hệ xã hội, hệ kinh tế hệ thống trị Mặt khác, hệ mờ ứng dụng hệ thống phức tạp, không cần giải pháp xác mà cần giải pháp xấp xỉ nhanh hơn, hiệu giảm chi phí tính toán 1.1.2 Kiến thức sở tập mờ Là người khởi xướng cho lý thuyết tập mờ, L A Zadeh có nhiều nghiên cứu mở đường cho phát triển ứng dụng Ý tưởng bật Zadeh từ khái niệm trừu tượng ngữ nghĩa thông tin mờ, không chắn trẻ-già, nhanh-chậm, cao-thấp,… Ông tìm cách biểu diễn chúng khái niệm toán học, gọi tập mờ định nghĩa sau Định nghĩa 1.1 Cho tập vũ trụ U với phần tử ký hiệu x, U={x} Một tập mờ A U tập đặc trưng hàm A(x) mà liên kết phần tử xU với số thực đoạn [0,1] Giá trị hàm A(x) biểu diễn mức độ thuộc x A A(x) ánh xạ từ U vào [0,1] gọi hàm thuộc tập mờ A Như vậy, giá trị hàm A(x) gần tới mức độ thuộc x A cao Khi A tập hợp kinh điển, hàm thuộc nó, A(x), nhận giá trị 0, tương ứng với x có nằm A hay không Rõ ràng, tập mờ mở rộng khái niệm tập hợp kinh điển Các khái niệm, phép toán lý thuyết tập kinh điển mở rộng cho tập mờ Họ tất tập mờ miền sở U không gian hàm từ U vào đoạn [0,1], tức F (U ,[0,1]) = {A : U[0,1]}, không gian tương đối giàu cấu trúc tính toán mà nhiều nhà nghiên cứu sử dụng cho việc mô phương pháp suy luận người Chúng ta biểu diễn tập mờ cách sau, tùy theo tập U hữu hạn, đếm hay vô hạn liên tục: - Trường hợp U hữu hạn, U={ui : 1i n}, ta viết A = A(u1)/u1 + A(u2)/u2 + … + A(un)/un = 1i nA(ui)/ui - Trường hợp U vô hạn đếm được, U={ui : i=1,2,… }, ta viết A = 1i 0 RkS* } Rõ ràng hệ SiS*, thỏa điều kiện ràng buộc S * R1 R2 R3 pi g2 g1 Ri R|S*| gj=0 gNmax Si không chọn luật Hình 3.1: Sơ đồ mã hóa cá thể chọn hệ luật cho thuật toán SGA Các phép toán di truyền chọn lọc, lai ghép, đột biến thay thế: 41 Các phép toán di truyền áp dụng sau: (1) Phép chọn lọc (SGA_Selection): sử dụng sơ đồ chọn lọc xếp hạng không tuyến tính theo hàm số mũ, cá thể xếp theo thứ tự giảm giá trị hàm Fit, cá thể thứ i (xếp hạng i) chọn vào quần thể bố mẹ (parent) theo xác suất sau: pi= ((1-a).a-i)/(a-Npop-1), với a= 1+γ(Tk)/Npop, γ(Tk) = 1+(γmax– 1).(ln(T0)-ln(Tk))/(ln(T0)-ln(Tend)), Npoplà số cá thể quần thể, Tk= T0.αk nhiệt độ luyện hệ k(k= 1, ,Gmax), tham số Tk giảm từ nhiệt độ ban đầu T0đến Tend= T0.αGmax, với 0[...]... phương pháp chuyển đổi một CSDL số sang CSDL mờ - bước khởi đầu quan trọng và cần thiết cho việc xây dựng hệ luật mờ Tiếp theo, để thấy tầm quan trọng của việc xây dựng hệ luật mờ (Mamdani) – 24 mục tiêu chính của luận văn, tác giả giới thiệu một vài bài toán có cùng một phương pháp giải là xây dựng hệ luật mờ như vậy từ một CSDL số cho trước 2.1.1 Chuyển đổi CSDL số sang CSDL mờ: mục đích và phương pháp... tập mờ là lớp các quan hệ mờ, chúng là các tập mờ trên không gian tích Đề-các các miền cơ sở Như tên gọi, quan hệ mờ mô tả mối quan hệ mờ giữa các đối tượng trong miền cơ sở Về mặt hình thức chúng ta định nghĩa quan hệ mờ như sau Định nghĩa 1.6 Cho U là tích Đề-các của n miền cơ sở Ui, i=1, ,…, n Khi đó mỗi một tập mờ trên U được gọi là một quan hệ mờ n-ngôi và được kí hiệu là R, gọi là tên của quan hệ. .. phá dữ liệu nói riêng, có thể tiến hành thu thập tri thức này một cách tương đối tự động từ các kho thông tin khổng lồ lưu giữ được trong các hệ thống thông tin Luận văn này có nội dung nằm trong hướng nghiên cứu nói trên, cụ thể là giải bài toán hồi quy mờ dựa trên cơ sở xây dựng một siêu mặt xấp xỉ từ một Cơ sở dữ liệu (CSDL) số cho trước Siêu mặt xấp xỉ được biểu diễn dưới dạng một hệ các luật mờ Mamdani. .. tổng thể, bài toán về khai phá dữ liệu đặt ra là cho trước một Cơ sở dữ liệu (thường là CSDL số, tức các giá trị của CSDL là các số thực), từ đó, bằng các phương pháp xử lý nhất định, rút ra một hệ tri thức phản ánh các quy luật ngầm chứa trong CSDL số này Các quy luật này có thể biểu diễn dưới dạng hệ luật IF X is A and Y is B THEN Z is C, trong đó X, Y, Z là các biến mờ (thường là các biến ngôn ngữ),... CỦA LÝ THUYẾT TẬP MỜ ỨNG DỤNG VÀO BÀI TOÁN HỒI QUY MỜ 2.1 Bài toán trích chọn luật mờ từ cơ sở dữ liệu Như đã nói ở phần trên, lý thuyết tập mờ hiện đang ứng dụng rộng rãi trong nhiều lĩnh vực khoa học cũng như kinh tế, xã hội, đặc biệt trong các lĩnh vực có liên quan lập luận có yếu tố con người tham gia như những hệ thống điều khiển mờ, hệ chuyên gia, hệ hỗ trợ quyết định Trong các hệ thống như vậy,... tập mờ khác nhau, như “già”, “trẻ”, “rất trẻ”, “tương đối già” Với mỗi tập mờ như vậy, ta đều phải xác định hàm thuộc tương ứng Nhu cầu xác định phân chia các miền mờ cho một thuộc tính của CSDL có thể thấy rõ qua bài toán khai phá luật kết hợp được trình bày sau đây Khai phá các luật kết hợp từ cơ sở dữ liệu, có xuất phát điểm từ bài toán nghiên cứu số liệu bán hàng trong siêu thị Ở bài toán này, số. .. thuộc của tập mờ R Dấu  biểu diễn hình thức của hàm thuộc, có thể một trong ba trường hợp là hữu hạn hoặc đếm được hoặc liên tục Quan hệ mờ cũng có các phép tính cơ bản như trên tập mờ vì bản thân nó cũng là tập mờ Ngoài ra, quan hệ mờ có những phép tính đặc thù riêng mà trên tập mờ không có, đó là phép hợp thành dưới đây Định nghĩa 1.7 Cho R là một quan hệ mờ trên UV và S là quan hệ mờ trên VW Khi... tập mờ là nhiệm vụ đầu tiên phải hoàn thành Việc chuyển đổi CSDL số sang CSDL mờ cơ bản gồm các bước sau: Bước 1: Phân chia không gian đầu vào và đầu ra của dữ liệu số tới vùng mờ Như đã nêu trong Chương 1, công việc đầu tiên phải tiến hành là phân chia các thuộc tính thành các miền mờ Nếu ta có thể tạo nên một tập các tập mờ tốt (theo nghĩa sẽ giải thích bên dưới), nhưng bước tiếp theo để xây dựng hệ. .. Đồ thị biểu diễn hàm thuộc của tập mờ già (old) Tiếp theo chúng ta định nghĩa một số phép toán cơ bản trên tập mờ, các phép này làm cơ sở cho việc phát triển lôgíc mờ và lập luận xấp xỉ sau này Định nghĩa 1.5 Cho hai tập mờ A và B trên tập nền U có hàm thuộc tương ứng là A vàB, ba phép toán cơ bản là hợp, giao của hai tập mờ và lấy phần bù của tập mờ A là một tập mờ C, được viết là C = AB, hoặc C... khi không có đủ dữ liệu mẫu quan sát được (thường cũng dẫn đến việc khó xác định được phân bố thống kê), người ta đã sử dụng mô hình hồi quy mờ, có dạng: Ỹ = y0 + y1x1 + + ynxn ở đó Ỹ là đầu ra mờ, yi là các hệ số mờ, (x1, x2, , xn) vector n-chiều đầu vào số thực Các phương pháp giải bài toán hồi quy mờ dạng này thường là các phương pháp không phụ thuộc vào phân bố xác suất của dữ liệu (distribution