ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT & TRUYỀN THÔNG DƯƠNG ĐỨC NGUYÊN NGHIÊN CỨU MỘT SỐ THUẬT TOÁN LIÊN QUAN ĐẾN TẬP RÚT GỌN TRÊN BẢNG QUYẾT ĐỊNH NHẤT QUÁN Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS VŨ ĐỨC THI Thái Nguyên – 2013 i LỜI CAM ĐOAN 1) Tôi xin cam đoan luận văn sản phẩm nghiên cứu riêng 2) Một số định lý, định nghĩa hệ quả, thuật toán lấy từ nguồn tài liệu xác có trích dẫn tên tài liệu tên tác giả rõ ràng 3) Chương trình thử nghiệm viết cài đặt, không chép 4) Tôi xin chịu trách nhiệm hoàn toàn sản phẩm nghiên cứu Tác giả Dương Đức Nguyên ii LỜI CẢM ƠN Để hoàn thành đề tài luận văn thạc sĩ cách hoàn chỉnh, bên cạnh nỗ lực cố gắng thân có hướng dẫn nhiệt tình quý Thầy Cô, động viên ủng hộ gia đình bạn bè suốt thời gian học tập nghiên cứu thực luận văn thạc sĩ Xin chân thành bày tỏ lòng biết ơn đến Thầy Vũ Đức Thi, người hết lòng giúp đỡ tạo điều kiện tốt cho hoàn thành luận văn Xin gửi lời tri ân điều mà Thầy dành cho Xin chân thành bày tỏ lòng biết ơn đến toàn thể quý thầy cô giảng dạy truyền đạt kiến thức cho để hoàn thành môn học xuất thời gian học cao học trường Đại học Thái Nguyên Xin gửi lời cảm ơn tới ban lãnh đạo toàn thể thầy cô trường Đại học Công Nghệ Thông Tin Truyền Thông Đại Học Thái Nguyên tạo điều kiện thuận lợi cho thời gian học tập nghiên cứu Xin chân thành bày tỏ lòng biết ơn đến gia đình, người không ngừng động viên, hỗ trợ tạo điều kiện tốt cho suốt thời gian học tập thực luận văn Cuối cùng, xin chân thành bày tỏ lòng cảm ơn đến anh chị, đồng nghiệp hỗ trợ cho nhiều suốt trình học tập, nghiên cứu thực đề tài luận văn thạc sĩ cách hoàn chỉnh Thái Nguyên, tháng năm 2013 Học viên Dương Đức Nguyên iii MỤC LỤC DƯƠNG ĐỨC NGUYÊN I NGHIÊN CỨU MỘT SỐ THUẬT TOÁN LIÊN QUAN ĐẾN I TẬP RÚT GỌN TRÊN BẢNG QUYẾT ĐỊNH NHẤT QUÁN I CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH I MÃ SỐ: 60 48 01 I LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH I NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS VŨ ĐỨC THI I THÁI NGUYÊN – 2013 I DANH MỤC CÁC BẢNG .VIII DANH MỤC CÁC HÌNH IX DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT .X MỞ ĐẦU .1 CHƯƠNG 1: MỘT SỐ KHÁI NIỆM CƠ BẢN 1.1 QUÁ TRÌNH KHAI PHÁ TRI THỨC TỪ CƠ SỞ DỮ LIỆU .4 QUÁ TRÌNH KHAI PHÁ TRI THỨC CÓ THỂ CHIA THÀNH CÁC BƯỚC NHƯ SAU: HÌNH 1.1 QUÁ TRÌNH KHÁM PHÁ TRI THỨC TỪ CƠ SỞ DỮ LIỆU 1.1.1 XÁC ĐỊNH VẤN ĐỀ 1.1.2 THU THẬP VÀ TIỀN XỬ LÍ DỮ LIỆU 1.2 KHAI PHÁ DỮ LIỆU 1.2.1 MỘT SỐ QUAN NIỆM VỀ KHAI PHÁ DỮ LIỆU 1.2.2.NHIỆM VỤ CỦA KHAI PHÁ DỮ LIỆU 1.2.3 TRIỂN KHAI VIỆC KHAI PHÁ DỮ LIỆU .8 1.2.4 MỘT SỐ ỨNG DỤNG KHAI PHÁ DỮ LIỆU 1.2.5 CÁC KỸ THUẬT KHAI PHÁ DỮ LIỆU b Phân lớp liệu: Mục tiêu phương pháp phân lớp liệu dự đoán nhãn lớp cho mẫu liệu Quá trình phân lớp liệu thường gồm hai bước: Xây dựng mô hình sử dụng mô hình để phân lớp liệu 10 iv c Phương pháp hồi quy: Phương pháp hồi quy khác với phân lớp liệu chỗ: Hồi quy dùng để dự đoán giá trị liên tục phân lớp liệu dùng để dự đoán giá trị rời rạc .10 1.2.6 KIẾN TRÚC CỦA HỆ THỐNG KHAI PHÁ DỮ LIỆU .11 HÌNH 1.2 KIẾN TRÚC CỦA HỆ THỐNG KHAI PHÁ DỮ LIỆU .11 1.2.7 QUÁ TRÌNH KHAI PHÁ DỮ LIỆU .12 HÌNH 1.3 QUÁ TRÌNH KHAI PHÁ DỮ LIỆU 13 1.2.8 NHỮNG KHÓ KHĂN TRONG KHAI PHÁ DỮ LIỆU 13 1.3 HỆ THÔNG TIN ĐẦY ĐỦ VÀ MÔ HÌNH TẬP THÔ TRUYỀN THỐNG 14 1.3.1 HỆ THÔNG TIN ĐẦY ĐỦ 14 1.3.2 MÔ HÌNH TẬP THÔ TRUYỀN THỐNG .15 BẢNG 1.1 BẢNG THÔNG TIN VỀ BỆNH CÚM 16 1.3.3 BẢNG QUYẾT ĐỊNH ĐẦY ĐỦ 17 1.3.4 TẬP RÚT GỌN VÀ TẬP LÕI 18 BẢNG 1.2 BẢNG QUYẾT ĐỊNH VỀ BỆNH CÚM 19 1.4.1 MỘT SỐ KHÁI NIỆM CƠ BẢN 19 Mục trình bày khái niệm mô hình liệu quan hệ E.F.codd Các khái niệm xem [6,7,8,13] 19 1.4.2 MỘT SỐ THUẬT TOÁN CƠ BẢN 22 1.5.TỔNG KẾT CHƯƠNG 26 CHƯƠNG 2: RÚT GỌN THUỘC TÍNH VÀ MỘT SỐ THUẬT TOÁN TRÊN BẢNG QUYẾT ĐỊNH NHẤT QUÁN 27 2.1 MỞ ĐẦU 27 2.2 MỘT SỐ TÍNH CHẤT CỦA METRIC TRÊN BẢNG QUYẾT ĐỊNH 28 BẢNG 2.1 BẢNG QUYẾT ĐỊNH VỀ BỆNH CẢM CÚM .32 A)THẬT VẬY IE () + IE() 33 = .33 2.3 RÚT GỌN THUỘC TÍNH TRONG BẢNG QUYẾT ĐỊNH SỬ DỤNG METRIC 33 2.3.1.TẬP LÕI VÀ TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH DỰA TRÊN METRIC 33 v 2.3.2 THUẬT TOÁN TÌM TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH SỬ DỤNG METRIC 34 BẢNG 2.2 BẢNG QUYẾT ĐỊNH MINH HỌA VÍ DỤ 2.2 .35 2.3.3 MỐI LIÊN HỆ GIỮA TẬP RÚT GỌN DỰA TRÊN METRIC VÀ TẬP RÚT GỌN ENTROPY SHANNON 42 2.3.4 THUẬT TOÁN TÌM TẬP RÚT GỌN THEO THAM SỐ ĐỘ CHẮC CHẮN CỦA TẬP LUẬT 42 2.4 THUẬT TOÁN TÌM TẬP TẤT CẢ CÁC THUỘC TÍNH RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH NHẤT QUÁN .44 2.4.1 ĐẶT VẤN ĐỀ 44 2.4.2 THUẬT TOÁN 45 2.5 THUẬT TOÁN TÌM HỌ TẤT CẢ CÁC TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH NHẤT QUÁN .47 BẢNG 2.3 BẢNG QUYẾT ĐỊNH Ở VÍ DỤ 2.6 .49 2.6 THUẬT TOÁN XÂY DỰNG CÁC PHỤ THUỘC HÀM TỪ BẢNG QUYẾT ĐỊNH NHẤT QUÁN 50 2.7 THUẬT TOÁN XÂY DỰNG BẢNG QUYẾT ĐỊNH TỪ TẬP PHỤ THUỘC HÀM 51 BẢNG 2.4 BẢNG BẢNG QUYẾT ĐỊNH ĐƯỢC XÂY DỰNG TỪ THUẬT TOÁN 55 2.8 TỔNG KẾT CHƯƠNG .55 CHƯƠNG 3: CÀI ĐẶT CHƯƠNG TRÌNH TÌM TẬP TẤT CẢ CÁC THUỘC TÍNH RÚT GỌN TRÊN BẢNG QUYẾT ĐỊNH NHẤT QUÁN 56 ĐẶT VẤN ĐỀ 56 NHƯ TA ĐÃ TRÌNH BÀY TRONG CHƯƠNG TỪ MỘT BẢNG QUYẾT ĐỊNH NHẤT QUÁN BAN ĐẦU NẾU CÓ CÁC THUỘC TÍNH RÚT GỌN TA TÌM CÁCH LOẠI BỎ CÁC THUỘC TÍNH ĐÓ ĐI ĐỂ LÀM CHO BÀI TOÁN TRỞ NÊN ĐƠN GIẢN HƠN MÀ VẪN KHÔNG ẢNH HƯỞNG TỚI VIỆC PHÂN LỚP ĐỐI TƯỢNG NỘI DUNG THUẬT TOÁN ĐƯỢC TRÌNH BÀY TRONG MỤC 2.4 CHƯƠNG 56 YÊU CẦU HỆ THỐNG VÀ CẤU HÌNH CHO MÁY 56 2.1 YÊU CẦU HỆ THỐNG .56 2.2 CẤU HÌNH CHO MÁY .56 vi GIỚI THIỆU CHƯƠNG TRÌNH VÀ CÁCH SỬ DỤNG 57 3.1 CẤU TRÚC CHƯƠNG TRÌNH 57 HÌNH 3.1 LIÊN KẾT GIỮA CÁC LỚP TRONG CHƯƠNG TRÌNH .57 HÌNH 3.2 LỚP REDUCED .58 HÌNH 3.3 LỚP DESISIONTABLE 58 HÌNH 3.4 LỚP EQUALSYSTEM 58 HÌNH 3.5 LỚP ULTILITIES 59 3.2 GIỚI THIỆU CHƯƠNG TRÌNH .59 HÌNH 3.6 GIAO DIỆN CHÍNH CỦA CHƯƠNG TRÌNH .59 HÌNH 3.7 SỬA HAY THÊM MỘT DÒNG DỮ LIỆU MỚI TRÊN BẢNG “FLU” 60 THỰC HIỆN THUẬT TOÁN VỚI BỘ DỮ LIỆU FLU, EXAMPLE1, EXAMPLE 60 4.1 BỘ DỮ LIỆU “FLU” 60 BẢNG 3.1 TRIỆU CHỨNG CÚM CỦA BỆNH NHÂN 61 KẾT QUẢ: TẬP CÁC THUỘC TÍNH RÚT GỌN 61 HÌNH 3.8 KẾT QUẢ CỦA BỘ DỮ LIỆU FLU .62 4.2 BỘ DỮ LIỆU “EXAMPLE1” .62 BẢNG 3.2 BẢNG QUYẾT ĐỊNH 62 KẾT QUẢ: TẬP CÁC THUỘC TÍNH RÚT GỌN 62 HÌNH 3.9 KIỂM TRA XEM BẢNG QUYẾT ĐỊNH EXAMPLE1 CÓ NHẤT QUÁN KHÔNG 63 HÌNH 3.10 KẾT QUẢ KHI THỰC HIỆN THUẬT TOÁN VỚI BỘ DỮ LIỆU EXAMPLE1 64 4.3 BỘ DỮ LIỆU “EXAMPLE” .64 - DỮ LIỆU ĐẦU VÀO CỦA CHƯƠNG TRÌNH LÀ BẢNG QUYẾT ĐỊNH CHO Ở TRONG BẢNG 2.3 VÍ DỤ 2.6 MỤC 2.5 64 KẾT QUẢ: TẬP CÁC THUỘC TÍNH RÚT GỌN 64 HÌNH 3.11 KIỂM TRA XEM BẢNG QUYẾT ĐỊNH EXAMPLE CÓ NHẤT QUÁN KHÔNG 65 vii HÌNH 3.12 KẾT QUẢ KHI THỰC HIỆN THUẬT TOÁN VỚI BỘ DỮ LIỆU EXAMPLE 65 KIỂM THỬ 66 BẢNG 3.3 BẢNG DỮ LIỆU KẾT QUẢ THỰC HIỆN TRÊN BỘ DỮ LIỆU MẪU 66 TỔNG KẾT CHƯƠNG 66 KẾT LUẬN VÀ ĐỀ NGHỊ 67 TÀI LIỆU THAM KHẢO 68 vii i DANH MỤC CÁC BẢNG BẢNG 1.1 BẢNG THÔNG TIN VỀ BỆNH CÚM 16 BẢNG 1.2 BẢNG QUYẾT ĐỊNH VỀ BỆNH CÚM 19 BẢNG 2.1 BẢNG QUYẾT ĐỊNH VỀ BỆNH CẢM CÚM .32 BẢNG 2.2 BẢNG QUYẾT ĐỊNH MINH HỌA VÍ DỤ 2.2 .35 BẢNG 2.3 BẢNG QUYẾT ĐỊNH Ở VÍ DỤ 2.6 .49 BẢNG 2.4 BẢNG BẢNG QUYẾT ĐỊNH ĐƯỢC XÂY DỰNG TỪ THUẬT TOÁN 55 BẢNG 3.1 TRIỆU CHỨNG CÚM CỦA BỆNH NHÂN 61 BẢNG 3.2 BẢNG QUYẾT ĐỊNH 62 BẢNG 3.3 BẢNG DỮ LIỆU KẾT QUẢ THỰC HIỆN TRÊN BỘ DỮ LIỆU MẪU 66 ix DANH MỤC CÁC HÌNH HÌNH 1.1 QUÁ TRÌNH KHÁM PHÁ TRI THỨC TỪ CƠ SỞ DỮ LIỆU HÌNH 1.3 QUÁ TRÌNH KHAI PHÁ DỮ LIỆU 13 HÌNH 3.1 LIÊN KẾT GIỮA CÁC LỚP TRONG CHƯƠNG TRÌNH .57 HÌNH 3.2 LỚP REDUCED .58 HÌNH 3.3 LỚP DESISIONTABLE 58 HÌNH 3.4 LỚP EQUALSYSTEM 58 HÌNH 3.5 LỚP ULTILITIES 59 HÌNH 3.6 GIAO DIỆN CHÍNH CỦA CHƯƠNG TRÌNH .59 HÌNH 3.7 SỬA HAY THÊM MỘT DÒNG DỮ LIỆU MỚI TRÊN BẢNG “FLU” 60 HÌNH 3.8 KẾT QUẢ CỦA BỘ DỮ LIỆU FLU .62 HÌNH 3.9 KIỂM TRA XEM BẢNG QUYẾT ĐỊNH EXAMPLE1 CÓ NHẤT QUÁN KHÔNG 63 HÌNH 3.10 KẾT QUẢ KHI THỰC HIỆN THUẬT TOÁN VỚI BỘ DỮ LIỆU EXAMPLE1 64 HÌNH 3.11 KIỂM TRA XEM BẢNG QUYẾT ĐỊNH EXAMPLE CÓ NHẤT QUÁN KHÔNG 65 HÌNH 3.12 KẾT QUẢ KHI THỰC HIỆN THUẬT TOÁN VỚI BỘ DỮ LIỆU EXAMPLE 65 58 Hình 3.2 Lớp Reduced DesisionTable: đọc ghi sở liệu, xử lý liệu để cung cấp cho lớp EqualSystem tính toán Hình 3.3 Lớp DesisionTable + EqualSystem: chứa thuộc tính phương thức để tính hệ ε r ={ Eij :1 ≤ iPOSc(D)= X ∪ (BX) Không U: Vậy bảng định không ⊂U / D quán b) Các bước thực thuật toán Vì bảng định không quán nên kết thúc thuật toán 62 Hình 3.8 Kết liệu Flu 4.2 Bộ liệu “EXAMPLE1” Xét bảng định có thuộc tính đối tượng sau: U C1 C2 C3 C4 u1 6 U2 2 U 0 0 U4 0 U5 4 U6 5 U7 0 Bảng 3.2 Bảng định Dữ liệu đầu vào: - Bảng định DS=(U,C ∪ {C4},V,f), - Các đối tượng U ={u ,u ,u ,u ,u ,u ,u }, - Các thuộc tính C ={ c1,c2,c3,c4} Kết quả: Tập thuộc tính rút gọn * Thực thuật toán: a) Kiểm tra xem bảng định có quán không 63 Xấp xỉ BX (0) = {U3, U4, U2}, Xấp xỉ BX(1)= {U7}, Xấp xỉ BX (4) = {U5}, Xấp xỉ BX (5) = {U6}, Xấp xỉ BX (6) = {U1} => POSc(C4)= ∪ X ⊂U / D (BXi) = U: Vậy bảng định quán Hình 3.9 Kiểm tra xem bảng định Example1 có quán không b) Các bước thực thuật toán + Bước 1: Hệ ε r = {{c3},{c1,c4},{c1},{c1,c2,c4},{c1,c3},{c2},{c2,c3}} + Bước 2: Tập Md = {{c1,c3},{c2,c3}} + Bước 3: Tập IK = Giao K:k thuộc Md = {c3}, Tập V = R - k∈Iµ K = R - IK = {c1,c2,c4} d + Bước 4: REAT(C) = V - {c4} = {c1,c2}, => Hoàn thành thuật toán (thuộc tính rút gọn l {c1,c2}) 64 Hình 3.10 Kết thực thuật toán với liệu Example1 4.3 Bộ liệu “EXAMPLE” - Dữ liệu đầu vào chương trình bảng định cho bảng 2.3 ví dụ 2.6 mục 2.5 Dữ liệu đầu vào: - Bảng định DS=(U,C ∪ {d},V,f), - Các đối tượng U ={u ,u ,u ,u ,u ,u ,u }, - Các thuộc tính C ={ c1,c2,c3,c4} Kết quả: Tập thuộc tính rút gọn * Thực thuật toán: a) Kiểm tra xem bảng định có quán không Xấp xỉ BX (0) = {u3,u4,u2,u7,u5}, Xấp xỉ BX (5) = {u6}, Xấp xỉ BX (6) = {u1}, => POSc(D) = X ∪ (BX) = U: Vậy bảng định quán ⊂U / D 65 Hình 3.11 Kiểm tra xem bảng định Example có quán không b) Các bước thực thuật toán + Bước 1: Hệ ε r = {{c3},{c1,c4},{c4},{c1,c2,c4},{c3,c4},{c2},{c2,c3,c4},{c2,c4}} + Bước 2: Tập Md = {{c3},{c2}} + Bước 3: Tập IK = Giao K: k thuộc Md = {} Tập V = R - k∈Iµ K = R - IK = {c1,c2,c3,c4} d + Bước 4: REAT(C) = V - {c4} = {c1,c2,c3} => Hoàn thành thuật toán (thuộc tính rút gọn {c1,c2, c3}) Hình 3.12 Kết thực thuật toán với liệu Example 66 Kiểm thử Chương trình thử nghiệm chạy máy tính có cấu hình chi tiết sau: Hệ điều hành: Windows 7, Chip Core i3 - 2,1 Ghz, Ram: 2G Dưới bảng liệu thời gian kết thực liệu mẫu: Flu.data, Example.data, Example1.data Stt Tên bảng Số Số dòng cột T/b t1 t2 t3 t4 t5 t6 t T/b rút gọn (s) Flu 0.0407 0.0366 0.0473 0.0349 0.0233 0.0410 0.033 0.03 (s) Example 0.0350 0.0326 0.0506 0.0351 0.0302 0.0270 0.035 0.04 (s) Example1 0.0270 0.0255 0.0187 0.0270 0.0460 0.0309 0.027 0.03 (s) Bảng 3.3 Bảng liệu kết thực liệu mẫu Tổng kết chương Trong chương hướng dẫn cài đặt chương trình kết thử nghiệm chương trình tìm tập thuộc tính rút gọn Đưa số giao diện cách sử dụng chạy chương trình… 67 KẾT LUẬN VÀ ĐỀ NGHỊ Kết đạt luận văn Có thể nói khai phá liệu kỹ thuật quan trọng, mang tính thời không việt nam mà công nghệ thông tin giới Sự bùng nổ thông tin liệu toàn cầu, mặt đời sống xã hội với phát triển ứng dụng ngày rộng rãi công nghệ thông tin lĩnh vực khiến cho nhu cầu xử lý khối liệu khổng lồ để kết xuất thông tin, tri thức hữu ích cho người sử dụng cách tự động, nhanh chóng xác Một phương pháp quan trọng kỹ thuật khai phá liệu mà đề tài tìm hiểu để làm sở liệu cho số thuật toán rút gọn bảng định quán Trong khoảng thời gian không dài đề tài tổng kết kiến thức để phục vụ cho việc nghiên cứu số thuật toán liên quan đến tập rút gọn bảng định quán Có thể nói đề tài tài liệu tham khảo khá đầy đủ, rõ ràng kiến thức nghiên cứu số thuật toán liên quan đến tập rút gọn bảng định quán Qua cài đặt thuật toán ”Tìm tập tất thuộc tính rút gọn bảng định quán” chạy thử chương trình máy PC nhiều lượt với nhiều liệu khác Hướng nghiên cứu Trên sở nghiên cứu trình bày luận văn, tiếp tục nghiên cứu sâu số thuật toán liên quan tới tập rút gọn bảng định quán Nhằm loại bỏ thuộc tính dư thừa không cần thiết mà không làm ảnh hưởng tới toán Qua toán khai phá liệu trở nên đơn giản hơn, phù hợp với giai đoạn hiên Trong trình học tập, tìm hiểu nghiên cứu với khoảng thời gian làm luận văn, cố gắng tập trung tìm hiểu tham khảo tài liệu liên quan Tuy nhiên thời gian điều kiện nghiên cứu có hạn nên không tránh khỏi thiếu sót, mong nhận nhận xét đóng góp ý kiến quý thầy cô giáo quan tâm để luận văn hoàn thiện 68 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Hoàng Thị Lan Giao (2007), “Khía cạnh đại số logic phát luật theo tiếp cận tập thô”, Luận án tiến sĩ toán học, Viện công nghệ thông tin [2] Nguyễn Long Giang, Vũ Đức Thi (2011) “Thuật toán tìm tất rút gọn bảng định”, tạp chí tin học điều khiển học, Tr27,S.3,tr.199 – 205 [3] Nguyễn Long Giang, Vũ Đức Thi (2011) “ Một số phương pháp rút gọn tính bảng định dựa Entropy cải tiến”, tạp chí tin học điều khiển học T.27,s.2 tr.166 – 175 [4] Nguyễn Long Giang, Vũ Đức Thi (2012), “một số thuật toán bảng định sử dụng lý thuyết sở liệu quan hệ”, Kỷ yếu hội thảo số vấn đề chọn lọc CNTT TT, cần thơ, 10/2011, TR.303-317 Tiếng Anh [5] Andrzej Skowron and Rauszer C (1992), “The Discernibility Matrices and Fuctions in Information Sysems”, Interlligent Decision Support, Handbook of Applications and Advances of the Rough Sets Theory, kluwer, Dordrecht, pp.331 – 362 [6] Demetrovics J And Thi V.D (1987), “key, antieys and prime attributes” Ann Univ Scien Budapest Sect Comput 8,pp 37 – 54 [7] Demetrovics J And Thi V.D (1995), “Some remarks on generating Armstrong and inferring functional dependencies relation”, Acts Cybernetica 12, pp 167 – 180 [8] Demetrovics J And Thi V.D (1998), “”Relations and minimal key”, Acts Cybernetica 8,3,pp 279 – 285 [9] Lv Y.J and Li J.h (2007), “A Quick Algorithmfor Reduction of Attribute in Information Systems”, The First International Symposium on Data, Privacy, and 69 E-Commerce (ISDPE 2007), pp.98-100 [10] Nguyễn Long Giang, Vũ Đức Thi (2011), “Some Problems Concering Condition Attributes and Reducts in Decision Tables”, Proceeding of the Fifsh National Symposium “Fundamental and Applied Information Technology Research” (FAIR), Bien Hoa, Dong Nai, pp.142 – 152 [11] Pawlak Z (1991), Rough sets: Theoretical Aspects of Reasoning About Data, Kluwer Aca-demic Publishers [12] Pawlak Z (1998), “Rough set theory and its applications to data analysis”, Cysbernetics and systems 29, pp 661-688 [13] Thi V.D (1986), “Minimal key and Antikey”, Acta Cybernetica 7,4, pp.361-371” 70 Phụ lục using System; using System.Collections; using System.Data; using System.Text; namespace ReducedSetDecisionTable { public class EqualSystem { public string tableName { get; set; } public int numOfColumn { get; set; } public int numOfRow { get; set; } public string nameOfDesision { get; set; } public string equalSystem { get; set; } public string md { get; set; } public string v { get; set; } public string reat { get; set; } public EqualSystem(string tableName) { this.tableName = tableName; DataTable metaData = Ultilities.getMetaData(tableName); this.numOfColumn = Int32.Parse(metaData.Rows[0]["NumOfColumn"].ToString()); this.numOfRow = Int32.Parse(metaData.Rows[0]["NumOfRow"].ToString()); this.nameOfDesision = metaData.Rows[0]["NameOfDesision"].ToString(); } public ArrayList calcEqualSystem() { ArrayList system = new ArrayList(); DataTable dataTable = Ultilities.getDataTable(this.tableName); StringBuilder partition; for (int i = 0; i < this.numOfRow-1; i++) { for (int j = i + 1; j 1) { builder.Remove(builder.Length - 1, 1); } builder.Append("}" + Environment.NewLine + Environment.NewLine); this.equalSystem = builder.ToString(); 71 return system; } public string printEqualSystem() { return this.equalSystem; } public ArrayList calcMD() { ArrayList system = new ArrayList(); ArrayList equalSystem = calcEqualSystem(); bool checkStatus = true; foreach (string item in equalSystem) { if (!item.Contains(this.nameOfDesision)) { foreach (string itemChild in equalSystem) { if (!itemChild.Contains(this.nameOfDesision)) { if (!item.Equals(itemChild)) { if (Ultilities.isSubSet(item, itemChild)) { checkStatus = false; break; } else { checkStatus = true; } } } } if (checkStatus) { system.Add(item); } } } StringBuilder builder = new StringBuilder(); builder.Append("+ Buoc 2: "+Environment.NewLine+" Tap Md = {"); foreach (string item in system) { builder.Append("{" + item + "},"); } if (builder.Length > 1) { builder.Remove(builder.Length - 1, 1); } builder.Append("}" + Environment.NewLine + Environment.NewLine); this.md = builder.ToString(); return system; } public string printMD() { return this.md; } public string findIK() { string result = String.Empty; ArrayList md = calcMD(); result = Ultilities.intersection(md[0].ToString(), md[1].ToString()); for (int i = 2; i < md.Count; i++) { result = Ultilities.intersection(result, md[i].ToString()); } return result; } public ArrayList findV() 72 { ArrayList result = new ArrayList(); string ikString = findIK(); string[] ik = ikString.Split(','); bool checkStatus; for (int i = 1; i 1) { builder.Remove(builder.Length - 1, 1); } builder.Append("}" + Environment.NewLine+ Environment.NewLine); this.v = builder.ToString(); return result; } public string printV() { return this.v; } public string findReat() { StringBuilder result = new StringBuilder(); ArrayList temp = findV(); foreach (string item in temp) { if (!item.Equals(this.nameOfDesision)) { result.Append(item + ","); } } if (result.Length > 0) { result.Remove(result.Length - 1, 1); } this.reat = "+ Buoc 4: " + Environment.NewLine + " REAT(C) = V - {" + this.nameOfDesision + "} = {" + result.ToString() + "}" + Environment.NewLine + Environment.NewLine + "==> Hoan thuat toan."; return result.ToString(); } public string printReat() { return this.reat; } } } [...]... kiến thức cơ bản nhất liên quan đến tập rút gọn và bảng quyết định nhất quán - Dựa trên lý thuyết đã tổng kết được, đi xâu vào tìm hiểu, nghiên cứu một số 3 thuật toán liên quan đến tập rút gọn trên bảng quyết định nhất quán Cài đặt thuật toán tìm tập tất cả các thuộc tính rút gọn của bảng quyết định nhất quán Ý nghĩa khoa học của đề tài - Đây là lĩnh vực được nhiều nhà khoa học nghiên cứu và đã có đóng... - Có thể coi đề tài là một tài liệu tham khảo khá đầy đủ, rõ ràng về một số thuật toán liên quan đến tập rút gọn trên bảng quyết định nhất quán Đối tượng và phạm vi nghiên cứu của đề tài - Các thuật toán cơ bản nhất liên quan đến tập rút gọn trên bảng quyết định nhất quán Phương pháp nghiên cứu - Lập kế hoạch, lên quy trình, tiến độ thực hiện - Tham khảo nhiều tài liệu có liên quan, tham khảo các ý... với tập tối thiểu của thuộc tính {d} trên quan hệ, và một vài bài toán trên bảng quyết định liên quan đến tập rút gọn có thể được giải quyết bằng một số kết quả liên quan đến tập tối thiểu của một thuộc tính trong cơ sở dữ liệu quan hệ; bao gồm bài toán tìm tập tất cả các thuộc tính rút gọn, bài toán tìm họ tất cả các tập rút gọn, bài toán trích lọc tri thức dưới dạng các phụ thuộc hàm từ bảng quyết định, ... quyết định, bài toán xây dựng bảng quyết định từ tập phụ thuộc hàm cho trước Cho đến nay, hướng tiếp cận này chưa được nhiều tác giả quan tâm nghiên cứu Trên bảng quyết định nhất quán, vấn đề nhiên cứu đặt ra là xây dựng các thuật toán có ý nghĩa liên quan đến tập rút gọn sử dụng một số kết quả liên quan đến tập tối thiểu của một thuộc tính trong một cơ sở dữ liệu quan hệ Mục tiêu nghiên cứu của đề tài... lớp của bảng quyết định Đối với một bảng quyết định có nhiều tập rút gọn khác nhau tuy nhiên trong thực hành thường không đòi hỏi tìm tất cả các tập rút gọn mà chỉ cần tìm được một tập rút gọn tốt nhất theo một tiêu chuẩn đánh giá nào đó là đủ Vì vậy, mỗi phương pháp rút gọn thuộc tính đều trình bày một thuật toán Heuristic tìm tập rút gọn Các thuộc tính này giảm thiểu đáng kể khối lượng tính toán, nhờ... vực nghiên cứu Thực tiễn của đề tài nghiên cứu - Tổng kết các kiến thức cơ bản nhất của khai phá dữ liệu - Luận văn có thể trở thành tài liệu tham khảo cho những người muốn tìm hiểu về khai phá dữ liệu và một số thuật toán liên quan đến tập rút gọn trên bảng quyết định nhất quán Luận văn gồm 3 chương với các nội dung sau: Chương 1: Trình bày về một số khái niện cơ bản Chương 2: Rút gọn thuộc tính và một. .. thuộc tính lõi Theo định nghĩa 1.3 thuộc tính không cần thiết được gọi là thuộc tính dư thừa hoặc thuộc tính rút gọn Định nghĩa 1.4 [11] (tập rút gọn dựa trên miền dương) Cho bảng quyết định DS=(U,C∪D,V,f) Và tập thuộc tính R⊆C Nếu 1) POSR (D)=POSC (D) 2) ∀ r∈ R, POSR-{r} (D)≠POSC (D) Thì R là một tập rút gọn của C dựa trên miền dương Tập rút gọn định nghĩa như trên còn gọi là tập rút gọn Pawlak Ký hiệu... chính xác tập dữ liệu Thuộc tính lõi xuất hiện trong tất cả các tập rút gọn của bảng quyết định Thuộc tính dư thừa là những thuộc tính mà việc loại bỏ chúng không ảnh hưởng đến việc phân lớp tập dữ liệu, thuộc tính dư thừa không xuất hiện trong bất kỳ rút gọn nào của bảng quyết định Thuộc tính rút gọn là thuộc tính xuất hiện trong một tập rút gọn nào đó của bảng quyết định Chúng ta sẽ đưa ra các định nghĩa... toán có khối lượng dữ liệu lớn Cho bảng quyết định nhất quán DS=(U,C ∪ {d}), tập thuộc tính R ⊆ C được gọi là tập rút gọn của thuộc tính điều kiện C nếu R là tập tối thiểu thỏa mãn phụ thuộc hàm R→{d} Xét quan hệ r trên tập thuộc tính R ⊆ C{d} được gọi là một tập tối thiểu của thuộc tính {d} nếu R là tập thuộc tính tối thiểu thỏa mãn phụ thuộc hàm R→{d} Do đó, khái niệm tập rút gọn của bảng quyết định. .. gọi là không nhất quán hay mâu thuẫn Theo định nghĩa miền dương, bảng quyết định là nhất quán khi và chỉ khi POSC(D)=U Trong trường hợp bảng không nhất quán thì POSC (D) chính là tập con cực đại của U sao cho phụ thuộc hàm C  D đúng 18 1.3.4 Tập rút gọn và tập lõi Trong bảng quyết định, các thuộc tính điều kiện được phân thành 3 nhóm: thuộc tính lõi (core attribute), thuộc tính rút gọn (reductive ... kiến thức liên quan đến tập rút gọn bảng định quán - Dựa lý thuyết tổng kết được, xâu vào tìm hiểu, nghiên cứu số thuật toán liên quan đến tập rút gọn bảng định quán Cài đặt thuật toán tìm tập tất... {d} quan hệ, vài toán bảng định liên quan đến tập rút gọn giải số kết liên quan đến tập tối thiểu thuộc tính sở liệu quan hệ; bao gồm toán tìm tập tất thuộc tính rút gọn, toán tìm họ tất tập rút. .. số thuật toán liên quan đến tập rút gọn bảng định quán Đối tượng phạm vi nghiên cứu đề tài - Các thuật toán liên quan đến tập rút gọn bảng định quán Phương pháp nghiên cứu - Lập kế hoạch, lên