i S húa bi Trung tõm Hc liu http://www.lrc-tnu.edu.vn/ đại học thái nguyên Tr-ờng đại học CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG O TH MINH HON XY DNG H LUT M MAMDANI T C S D LIU S Chuyờn ngnh: KHOA HC MY TNH Mó s : 60.48.01 LUN VN THC S KHOA HC MY TNH THI NGUYấN - 2014 ii Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Tất cả tài liệu tham khảo đều có nguồn gốc, xuất xứ rõ ràng. Tôi xin cam đoan tất cả những nội dung trong luận văn đúng nhƣ nội dung trong đề cƣơng và yêu cầu của thầy giáo hƣớng dẫn. Nếu sai tôi xin hoàn toàn chịu trách nhiệm trƣớc Hội đồng khoa học và trƣớc Pháp luật. Thái Nguyên, tháng 11 năm 2014 Tác giả Đào Thị Minh Hoàn iii Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Lời đầu tiên cho phép tôi bày tỏ lòng biết ơn sâu sắc tới TS. Trần Thái Sơn – Viện Công Nghệ Thông Tin – Viện Hàn Lâm Khoa Học và Công Nghệ Việt Nam đã giúp đỡ và chỉ dẫn tận tình cho tôi về định hƣớng đề tài, hƣớng dẫn tôi trong việc tiếp cận và khai thác các tài liệu tham khảo cũng nhƣ chỉ bảo cho tôi trong quá trình tôi viết luận văn và hoàn thành luận văn. Tôi xin chân thành cảm ơn Ban giám hiệu, Khoa sau đại học trƣờng Đại học Công Nghệ Thông Tin và Truyền Thông Thái Nguyên đã tạo mọi điều kiện giúp tôi nghiên cứu và hoàn thành luận văn này. Do điều kiện thời gian và phạm vi nghiên cứu có hạn, luận văn không tránh khỏi những thiếu sót, tác giả luận văn kính mong nhận đƣợc sự chỉ dẫn và góp ý thêm của các thầy giáo, cô giáo và các anh chị học viên để luận văn trở nên hoàn thiện hơn. Tác giả Đào Thị Minh Hoàn iv Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN iii MỤC LỤC iv DANH MỤC CÁC HÌNH vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vii MỞ ĐẦU 1 Chƣơng 1: TẬP MỜ VÀ GIẢI THUẬT DI TRUYỀN 3 1.1. Tổng quan về tập mờ 3 1.1.1. Mở đầu 3 1.1.2. Kiến thức cơ sở về tập mờ 3 1.1.3. Biến ngôn ngữ 8 1.1.4. Lôgic mờ 9 1.1.5. Lập luận xấp xỉ 13 1.2. Giải thuật di truyền 17 1.2.1. Những khái niệm cơ bản về giải thuật di truyền 17 1.2.2. Các tính chất đặc thù của thuật giải di truyền 19 1.2.3. Các bƣớc quan trọng trong việc áp dụng giải thuật di truyền 20 1.2.4. Các phƣơng thức biến hoá của giải thuật di truyền 20 Chƣơng 2:: GIẢI BÀI TOÁN XÂY DỰNG HỆ LUẬT MỜ THEO CÁCH TIẾP CẬN CỦA LÝ THUYẾT TẬP MỜ. ỨNG DỤNG VÀO BÀI TOÁN HỒI QUY MỜ 23 2.1. Bài toán trích chọn luật mờ từ cơ sở dữ liệu 23 2.1.1. Chuyển đổi CSDL số sang CSDL mờ: mục đích và phƣơng pháp giải. 24 2.1.2. Bài toán hồi quy mờ 24 2.2. Xây dựng hệ luật mờ từ CSDL - nhóm giải pháp 2 giai doạn. 28 2.3. Xây dựng hệ luật mờ từ CSDL – nhóm giải pháp 1 giai doạn. 36 Chƣơng 3:CHƢƠNG TRÌNH THỬ NGHIỆM 38 v Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 3.1. Đặt bài toán 38 3.2. Tìm kiếm hệ luật tối ƣu dựa trên giải thuật di truyền lai 39 3.3. Chƣơng trình 44 3.3.1. Cài đặt chƣơng trình 44 3.3.2. Giao diện của chƣơng trình 44 KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 vi Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC HÌNH Hình 1.1: Đồ thị biểu diễn hàm thuộc của tập mờ già (old) 6 Hình 1.2: Mã hóa cá thể từ không gian các lời giải của bài toán 18 Hình 2.1: Các bộ phận của không gian đầu vào và đầu ra thành các vùng mờ có chức năng thành viên tƣơng ứng. (a) rn(ri). (b) 01(12). (c) oi(y). 36 Hình 3.1: Sơ đồ mã hóa cá thể chọn hệ luật cho thuật toán SGA 40 vii Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Các kí hiệu, các chữ viết tắt Ý nghĩa U Tập vũ trụ A Tập mờ  A (x) Ánh xạ từ U vào [0,1] Ỹ Là đầu ra mờ FRBCS Fuzzy Rule Based Classification Systems CSDL Cơ sở dữ liệu GA Giải thuật di truyền MF Hàm thuộc FB CSDL mờ SGA Thuật toán di truyền lai 1 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Khai phá dữ liệu, rộng hơn là khai phá tri thức đã và đang thu hút sự chú ý mạnh mẽ của các nhà nghiên cứu trên thế giới và ở Việt Nam. Do sự bùng nổ thông tin trong mọi lĩnh vực của đời sống, đòi hỏi phải có những phƣơng pháp khoa học và công nghệ để khai thác có hiệu quả từ khối lƣợng thông tin khổng lồ những tri thức cần thiết giúp cho con ngƣời hoạch định những chiến lƣợc, chính sách cho xã hội. Hồi quy (regression), một trong những hƣớng nghiên cứu chính trong khai phá dữ liệu, có nhiệm vụ từ những tập dữ liệu mẫu rút ra các quy luật để dự báo mô hình và kết quả có thể xẩy ra trong dữ liệu tƣơng lai. Hồi quy toán học đã phát triển từ khá lâu và cũng đạt đƣợc nhiều kết quả tốt đẹp, tuy nhiên so với yêu cầu thực tế thì vẫn còn nhiều việc phải làm, nhƣ tăng tính chính xác của mô hình, giảm thời gian tính toán đến mức tối thiểu, nghiên cứu các mối tƣơng quan nhiều biến phức tạp Với sự phát triển mạnh mẽ của công nghệ thông tin, gần đây nhiều hƣớng nghiên cứu mới giải bài toán hồi quy đã ra đời, trong đó có hƣớng nghiên cứu hồi quy mờ dựa trên hệ luật mờ đặc biệt đƣợc quan tâm do tính hiệu quả kết hợp với độ chính xác khá cao của thuật toán, đáp ứng nhu cầu khai thác dữ liệu mờ hiện nay. Hệ luật mờ Mamdani (MFRBS) bao gồm M luật có dạng R m : IF X 1 is AND …AND X F is THEN X F+1 is (1) m = 1, , M Trong đó X = {X 1 , , X f , , X F } là tập các biến ngôn ngữ đầu vào và X F+1 là biến đầu ra. Nhƣ vậy, MFRBS có đặc điểm khác các mô hình khác là các biến đầu vào và ra đều là mờ dƣới dạng từ của ngôn ngữ tự nhiên. Đặc điểm này mang lại tính “thân thiện” với con ngƣời vì suy luận trên các từ của ngôn ngữ tự nhiên là đặc điểm của con ngƣời. Các luật cũng đƣợc biểu diễn dƣới dạng quen thuộc với suy nghĩ và lập luận của con ngƣời. Hiện tại MFRBS đƣợc nghiên cứu sử dụng rộng rãi trong nghiên cứu ở các lĩnh vực điều khiển tự động, khai phá dữ liệu Với bài toán hồi quy mờ, MFRBS đƣợc coi nhƣ một biểu diễn xấp xỉ của một siêu 2 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ mặt trong không gian M+1 chiều, cho phép với đầu vào là một vecto M chiều các giá trị thực (hoặc ngôn ngữ) có thể suy ra giá trị đầu ra (giá trị số). Luận văn có nhiệm vụ nghiên cứu tổng hợp và đề xuất giải pháp xây dựng một hệ luật mờ Mamdani ứng dụng vào giải quyết bài toán hồi quy mờ trong thực tế. Về bố cục, luận văn gồm phần mở đầu, 3 chƣơng, phần kết luận và tài liệu tham khảo. Phần mở đầu nêu mục đích yêu cầu và cách tiếp cận giải bài toán hồi quy mờ thông qua hệ luật mờ Mandani theo cách tiếp cận lý thuyết tập mờ. Chƣơng 1: Tập mờ và giải thuật di truyền Trong chƣơng này trình bày các kiến thức cơ bản về tập mờ và giải thuật di truyền. Chƣơng 2: Giải bài toán xây dựng hệ luật mờ theo cách tiếp cận của lý thuyết tập mờ. Ứng dụng vào bài toán hồi quy mờ Đề xuất cách xây dựng hệ luật mờ Mandani và sử dụng hệ luật mờ này giải quyết bài toán hồi quy mờ. Chƣơng 3: Chƣơng trình thử nghiệm Trình bày chƣơng trình thử nghiệm minh họa cho cách tiếp cận lý thuyết tập mờ trong việc giải bài toán hồi quy mờ. 3 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Chƣơng 1 TẬP MỜ VÀ GIẢI THUẬT DI TRUYỀN 1.1. Tổng quan về tập mờ 1.1.1. Mở đầu Lý thuyết tập mờ đƣợc đề xuất bởi L. A. Zadeh năm 1965, và có lẽ đến nay thuật ngữ “fuzzy” trở nên rõ ràng đối với các nhà nghiên cứu và các kỹ sƣ. Nó đã và đang đƣợc tiếp tục nghiên cứu rất mạnh mẽ. Bằng các phƣơng pháp tiếp cận khác nhau, các nhà nghiên cứu nhƣ Dubois, Prade, Mamdani, Tagaki, Sugeno,… đã đƣa ra những kết quả cả về lý thuyết và ứng dụng trong các bài toán điều khiển mờ, khai phá dữ liệu mờ, cơ sở dữ liệu mờ, các hệ hỗ trợ và quyết định Hệ suy diễn mờ áp dụng cho lập luận xấp xỉ đƣợc phát triển dựa trên lý thuyết tập mờ, với những ràng buộc nhất định, đƣợc xem nhƣ là một bộ xấp xỉ vạn năng. Hơn nữa, thế mạnh của hệ mờ là có thể xấp xỉ các hành vi hệ thống mà ở đó các hàm giải tích hoặc các quan hệ dạng số không tồn tại. Vì vậy, hệ mờ có tiềm năng to lớn để ứng dụng giải quyết các hệ thống phức tạp nhƣ hệ sinh học, hệ xã hội, hệ kinh tế và hệ thống chính trị. Mặt khác, hệ mờ còn có thể ứng dụng trong các hệ thống ít phức tạp, ở đó không cần một giải pháp chính xác mà chỉ cần một giải pháp xấp xỉ nhƣng nhanh hơn, hiệu quả hơn khi giảm chi phí tính toán. 1.1.2. Kiến thức cơ sở về tập mờ Là ngƣời khởi xƣớng cho lý thuyết tập mờ, L. A. Zadeh đã có rất nhiều nghiên cứu mở đƣờng cho sự phát triển và ứng dụng. Ý tƣởng nổi bật của Zadeh là từ những khái niệm trừu tƣợng về ngữ nghĩa của thông tin mờ, không chắc chắn nhƣ trẻ-già, nhanh-chậm, cao-thấp,… Ông đã tìm cách biểu diễn chúng bằng một khái niệm toán học, đƣợc gọi là tập mờ và đƣợc định nghĩa nhƣ sau. Định nghĩa 1.1. Cho một tập vũ trụ U với các phần tử ký hiệu bởi x, U={x}. Một tập mờ A trên U là tập đƣợc đặc trƣng bởi một hàm  A (x) mà nó liên kết mỗi phần tử xU với một số thực trong đoạn [0,1]. Giá trị hàm  A (x) biểu [...]... CSDL số sang CSDL mờ - bƣớc khởi đầu quan trọng và cần thiết cho việc xây dựng hệ luật mờ Tiếp theo, để thấy tầm quan trọng của việc xây dựng hệ luật mờ (Mamdani) – Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 24 mục tiêu chính của luận văn, tác giả giới thiệu một vài bài toán có cùng một phƣơng pháp giải là xây dựng hệ luật mờ nhƣ vậy từ một CSDL số cho trƣớc 2.1.1 Chuyển đổi CSDL số sang... tập mờ là lớp các quan hệ mờ, chúng là các tập mờ trên không gian tích Đề-các các miền cơ sở Nhƣ tên gọi, quan hệ mờ mô tả mối quan hệ mờ giữa các đối tƣợng trong miền cơ sở Về mặt hình thức chúng ta định nghĩa quan hệ mờ nhƣ sau Định nghĩa 1.6 Cho U là tích Đề-các của n miền cơ sở Ui, i=1, ,…, n Khi đó mỗi một tập mờ trên U đƣợc gọi là một quan hệ mờ n-ngôi và đƣợc kí hiệu là R, gọi là tên của quan hệ. .. phá dữ liệu nói riêng, có thể tiến hành thu thập tri thức này một cách tƣơng đối tự động từ các kho thông tin khổng lồ lƣu giữ đƣợc trong các hệ thống thông tin Luận văn này có nội dung nằm trong hƣớng nghiên cứu nói trên, cụ thể là giải bài toán hồi quy mờ dựa trên cơ sở xây dựng một siêu mặt xấp xỉ từ một Cơ sở dữ liệu (CSDL) số cho trƣớc Siêu mặt xấp xỉ đƣợc biểu diễn dƣới dạng một hệ các luật mờ Mamdani. .. TOÁN XÂY DỰNG HỆ LUẬT MỜ THEO CÁCH TIẾP CẬN CỦA LÝ THUYẾT TẬP MỜ ỨNG DỤNG VÀO BÀI TOÁN HỒI QUY MỜ 2.1 Bài toán trích chọn luật mờ từ cơ sở dữ liệu Nhƣ đã nói ở phần trên, lý thuyết tập mờ hiện đang ứng dụng rộng rãi trong nhiều lĩnh vực khoa học cũng nhƣ kinh tế, xã hội, đặc biệt trong các lĩnh vực có liên quan lập luận có yếu tố con ngƣời tham gia nhƣ những hệ thống điều khiển mờ, hệ chuyên gia, hệ. .. 2.1.1 Chuyển đổi CSDL số sang CSDL mờ: mục đích và phương pháp giải Về tổng thể, bài toán về khai phá dữ liệu đặt ra là cho trƣớc một Cơ sở dữ liệu (thƣờng là CSDL số, tức các giá trị của CSDL là các số thực), từ đó, bằng các phƣơng pháp xử lý nhất định, rút ra một hệ tri thức phản ánh các quy luật ngầm chứa trong CSDL số này Các quy luật này có thể biểu diễn dƣới dạng hệ luật IF X is A and Y is B THEN... tập mờ khác nhau, nhƣ “già”, “trẻ”, “rất trẻ”, “tƣơng đối già” Với mỗi tập mờ nhƣ vậy, ta đều phải xác định hàm thuộc tƣơng ứng Nhu cầu xác định phân chia các miền mờ cho một thuộc tính của CSDL có thể thấy rõ qua bài toán khai phá luật kết hợp đƣợc trình bày sau đây Khai phá các luật kết hợp từ cơ sở dữ liệu, có xuất phát điểm từ bài toán nghiên cứu số liệu bán hàng trong siêu thị Ở bài toán này, số. .. hoàn thành Việc chuyển đổi CSDL số sang CSDL mờ cơ bản gồm các bƣớc sau: Bƣớc 1: Phân chia không gian đầu vào và đầu ra của dữ liệu số tới vùng mờ Nhƣ đã nêu trong Chƣơng 1, công việc đầu tiên phải tiến hành là phân chia các thuộc tính thành các miền mờ Nếu ta có thể tạo nên một tập các tập mờ tốt (theo nghĩa sẽ giải thích bên dƣới), nhƣng bƣớc tiếp theo để xây dựng hệ luật mờ sẽ đƣợc tiến hành thuận lợi,... thuộc của tập mờ R Dấu  biểu diễn hình thức của hàm thuộc, có thể một trong ba trƣờng hợp là hữu hạn hoặc đếm đƣợc hoặc liên tục Quan hệ mờ cũng có các phép tính cơ bản nhƣ trên tập mờ vì bản thân nó cũng là tập mờ Ngoài ra, quan hệ mờ có những phép tính đặc thù riêng mà trên tập mờ không có, đó là phép hợp thành dƣới đây Định nghĩa 1.7 Cho R là một quan hệ mờ trên UV và S là quan hệ mờ trên VW Khi... phân hoạch mờ của Tf tập mờ trên biến Xf Hệ luật mờ { Mamdani bao gồm M luật có dạng Rm: IF X1 is AND …AND XF is Số hóa bởi Trung tâm Học liệu THEN XF+1 is (1) http://www.lrc-tnu.edu.vn/ 27 m = 1, , M Nhƣ vậy, MFRBS có đặc điểm khác các mô hình khác là các biến đầu vào và ra đều là mờ dƣới dạng từ của ngôn ngữ tự nhiên Đặc điểm này mang lại tính “thân thiện” với con ngƣời vì suy luận trên các từ của ngôn... một hệ mờ F Tuy nhiên, nó mới chỉ ra có tồn tại một hệ mờ nhƣ vậy nhƣng không cho biết rõ tham số của hệ Bắt buộc chúng ta phải xây dựng một chiến lƣợc tìm kiếm và thiết lập các yếu tố này Chẳng hạn sử dụng cơ chế học của mạng nơron, hoặc tối ƣu theo giải thuật di truyền để thực hiện điều này Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 17 1.2 Giải thuật di truyền 1.2.1 Những khái niệm cơ . XÂY DỰNG HỆ LUẬT MỜ THEO CÁCH TIẾP CẬN CỦA LÝ THUYẾT TẬP MỜ. ỨNG DỤNG VÀO BÀI TOÁN HỒI QUY MỜ 23 2.1. Bài toán trích chọn luật mờ từ cơ sở dữ liệu 23 2.1.1. Chuyển đổi CSDL số sang CSDL mờ: . quy mờ 24 2.2. Xây dựng hệ luật mờ từ CSDL - nhóm giải pháp 2 giai doạn. 28 2.3. Xây dựng hệ luật mờ từ CSDL – nhóm giải pháp 1 giai doạn. 36 Chƣơng 3:CHƢƠNG TRÌNH THỬ NGHIỆM 38 v Số hóa. thức cơ bản về tập mờ và giải thuật di truyền. Chƣơng 2: Giải bài toán xây dựng hệ luật mờ theo cách tiếp cận của lý thuyết tập mờ. Ứng dụng vào bài toán hồi quy mờ Đề xuất cách xây dựng hệ luật