 Luận văn tốt nghiệp Khai phá song song luật kết hợp mờ -1- Mở đầu Hơn thập niên trở lại đây, khai phá liệu (KPDL) trở thành hướng nghiên cứu lĩnh vực khoa học máy tính cơng nghệ tri thức Hàng loạt nghiên cứu, đề xuất đời thử nghiệm ứng dụng thành công vào đời sống với mười năm lịch sử cho thấy KPDL lĩnh vực nghiên cứu ổn định, có tảng lý thuyết vững xem “sớm nở tối tàn” số nhà tin học nghi ngờ thủa ban đầu lĩnh vực KPDL bao hàm nhiều hướng tiếp cận Các kỹ thuật áp dụng lĩnh vực phần lớn thừa kế từ lĩnh vực sở liệu (CSDL), machine learning, trí tuệ nhân tạo, lý thuyết thông tin, xác suất thống kê, tính tốn hiệu cao Các tốn chủ yếu KPDL phân lớp/dự đoán (classification/prediction), phân cụm (clustering), khai phá luật kết hợp (association rules mining), khai phá chuỗi (sequence mining), v.v Lĩnh vực điểm hội tụ giao thoa nhiều lĩnh vực khác KPDL ứng dụng thành cơng vào thương mại, tài & thị trường chứng khốn, sinh học, y học, giáo dục, viễn thơng, v.v Ý thức lĩnh vực nghiên cứu có nhiều triển vọng, tơi chọn hướng nghiên cứu Khai phá song song luật kết hợp mờ cho đề tài luận văn Luận văn xây dựng dựa nghiên cứu có lĩnh vực khai phá luật kết hợp kể từ năm 1993, đồng thời tơi mạnh dạn trình bày vài đề xuất riêng mà hai số đề xuất “nêu lên mối liên hệ luật kết hợp mờ lý thuyết tập mờ” “thuật toán song song khai phá luật kết hợp mờ” Luận văn tổ chức thành chương sau: • Chương I trình bày tổng quan KPDL định nghĩa KPDL khám phá tri thức từ sở liệu, bước trình khám phá tri thức Chương đề cập đến kỹ thuật hướng tiếp cận KPDL phân loại hệ thống khai phá theo nhiều tiêu chí khác Phần cuối chương phác họa ứng dụng -2lĩnh vực hướng nghiên cứu trọng thời gian tới • Chương II trình bày toán “khai phá luật kết hợp” Để vào nghiên cứu cụ thể hai chương sau, chương cung cấp hiểu biết cần thiết toán khai phá luật kết hợp Phần cuối chương tổng hợp đề xuất 10 năm lịch sử tồn phát triển tốn • Chương III trình bày “khai phá luật kết hợp mờ” Phần đầu chương phát biểu lại toán khai phá luật kết hợp với thuộc tính số thuộc tính hạng mục phương pháp rời rạc hóa liệu cho toán Dạng luật kết hợp với phương pháp rời rạc hóa kèm có vài hạn chế ngữ nghĩa luật hay vấn đề “điểm biên gãy” Luật kết hợp mờ đề xuất hướng khắc phục nhược điểm toán Bên cạnh tổng hợp nghiên cứu trước dạng luật này, luận văn nêu lên mối liên hệ luật kết hợp lý thuyết tập mờ giải câu hỏi “tại lại chọn phép tích đại số phép lấy cho toán tử T-norm” Phần cuối chương đề xuất cách chuyển đổi luật kết hợp mờ dạng luật kết hợp mờ với thuộc tính số dựa vào ngưỡng wf tương ứng với tập mờ f thuộc tính mờ • Chương IV tập trung vào toán ”khai phá song song luật kết hợp” Phần đầu chương này, luận văn tóm tắt lại thuật tốn đề xuất thử nghiệm thành cơng Các thuật tốn giống điểm phải đồng hóa dù nhiều hay suốt q trình tính tốn nhược điểm cần khắc phục Nắm bắt tính chất luật kết hợp mờ, luận văn đề xuất thuật tốn theo xử lý (BXL) hệ thống song song hạn chế tối đa trình trao đổi liệu đồng hóa Thuật tốn khai phá song song luật kết hợp mờ xem gần lý tưởng ngồi việc tránh nhược điểm truyền thơng, cịn đạt cân tải BXL nhờ chiến thuật chia tập thuộc tính ứng cử viên phù hợp • Chương V tổng kết luận văn việc nêu lại công việc thực kết đạt luận văn Ngoài ra, chương đề -3cập vấn đề chưa giải giải thấu đáo tồn luận văn cơng việc hướng nghiên cứu tương lai Lời cảm ơn: Đầu tiên, muốn gửi lời cảm ơn sâu sắc đến cán hướng dẫn khoa học, thầy giáo, TS Hà Quang Thụy, người truyền cho nguồn cảm hứng nghiên cứu khoa học, người đưa đến với lĩnh vực nghiên cứu này, người giảng dạy, hướng dẫn tơi tận tình suốt bốn năm qua Tôi xin bày tỏ lời cảm ơn tới thầy cô giáo giảng dạy suốt hai năm học qua GS Huỳnh Hữu Tuệ, GS, TSKH Nguyễn Xuân Huy, PGS, TS Ngô Quốc Tạo, TS Vũ Đức Thi, TS Nguyễn Kim Anh, v.v Tôi xin trân trọng cảm ơn nhà khoa học đồng thời thầy giáo ban chủ nhiệm lớp cao học K8T1 GS VS Nguyễn Văn Hiệu, GS TSKH Bạch Hưng Khang, PGS TS Hồ Sỹ Đàm, GS TSKH Phạm Trần Nhu, PGS TS Đỗ Đức Giáo Tôi muốn gửi lời cảm ơn tới thành viên nhóm seminar “Khai phá liệu & tính tốn song song” TS Đỗ Văn Thành, ThS Phạm Thọ Hoàn, ThS Đoàn Sơn, CN Bùi Quang Minh, ThS Nguyễn Trí Thành, CN Nguyễn Thành Trung, CN Tào Thị Thu Phượng, CN Vũ Bội Hằng, v.v Họ người thầy, người bạn sát cánh bên tơi lĩnh vực nghiên cứu có góp ý chun mơn động viên tinh thần đáng trân trọng Tôi xin ghi nhận tình cảm, giúp đỡ chun mơn sống thầy giáo, bạn đồng nghiệp Bộ môn Các Hệ thống thông tin, Khoa Cộng nghệ, ĐHQG Hà Nội Sự quan tâm người thầy TS Nguyễn Tuệ, PGS TS Trịnh Nhật Tiến, ThS Nguyễn Quang Vinh, ThS Vũ Bá Duy, ThS Lê Quang Hiếu v.v động viên khích lệ nhiều thời gian qua Cuối cùng, xin gửi lời cảm ơn sâu sắc tới tất người thân gia đình tơi, bạn bè tơi Họ thật nguồn động viên vô tận sống Học viên thực luận văn -4Phan Xuân Hiếu Mục lục Mở đầu Mục lục Danh sách hình vẽ Danh sách bảng biểu Bảng từ viết tắt Chương I Tổng quan Khai phá liệu 1.1 Khai phá liệu 1.1.1 Tại lại Khai phá liệu? 1.1.2 Định nghĩa Khai phá liệu 10 1.1.3 Các bước Khám phá tri thức (KDD) 11 1.2 Các hướng tiếp cận kỹ thuật áp dụng Khai phá liệu 12 1.2.1 Các hướng tiếp cận kỹ thuật Khai phá liệu 12 1.2.2 Các dạng liệu khai phá 13 1.3 Ứng dụng Khai phá liệu 14 1.3.1 Ứng dụng Khai phá liệu 14 1.3.2 Phân loại hệ Khai phá liệu 14 1.4 Những vấn đề trọng Khai phá liệu 15 Chương II Luật kết hợp 17 2.1 Tại lại luật kết hợp? 17 2.2 Phát biểu toán khai phá luật kết hợp 18 2.3 Những hướng tiếp cận khai phá luật kết hợp 20 Chương III Khai phá luật kết hợp mờ 23 3.1 Luật kết hợp có thuộc tính số 23 -53.1.1 Luật kết hợp có thuộc tính số 23 3.1.2 Các phương pháp rời rạc hóa 24 3.2 Luật kết hợp mờ 27 3.2.1 Rời rạc hóa thuộc tính dựa vào tập mờ 27 3.2.2 Luật kết hợp mờ (fuzzy association rules) 29 3.2.3 Thuật toán khai phá luật kết hợp mờ 33 3.2.4 Chuyển luật kết hợp mờ luật kết hợp với thuộc tính số 38 3.2.5 Thử nghiệm kết luận 38 Chương IV Khai phá song song luật kết hợp mờ 39 4.1 Một số thuật toán song song khai phá luật kết hợp 40 4.1.1 Thuật toán phân phối độ hỗ trợ 40 4.1.2 Thuật toán phân phối liệu 41 4.1.3 Thuật toán phân phối tập ứng cử viên 43 4.1.3 Thuật toán sinh luật song song 46 4.1.4 Một số thuật toán khác 47 4.2 Thuật toán song song cho luật kết hợp mờ 47 4.2.1 Hướng tiếp cận 47 4.2.2 Thuật toán song song cho luật kết hợp mờ 51 4.3 Thử nghiệm kết luận 52 Chương V Kết luận 53 Những vấn đề giải luận văn 53 Công việc nghiên cứu tương lai 54 Tài liệu tham khảo 56 -6- Danh sách hình vẽ Hình - Lượng liệu tích lũy tăng mạnh theo thời gian Hình - Các bước trình khám phá tri thức (KDD) 12 Hình - Minh họa luật kết hợp 17 Hình - Ví dụ vấn đề "Điểm biên gãy" tiến hành rời rạc hóa liệu 26 Hình - Đồ thị hàm thuộc tập mờ "Tuổi_trẻ", "Tuổi_trung_niên", "Tuổi_già" 27 Hình - Đồ thị hàm thuộc hai tập mờ "Cholesterol_thấp" "Cholesterol_cao" 28 Hình - Thuật toán phân phối độ hỗ trợ hệ BXL 41 Hình - Thuật toán phân phối liệu BXL 43 -7- Danh sách bảng biểu Bảng - Ví dụ CSDL dạng giao dịch 18 Bảng - Các tập phổ biến CSDL bảng với độ hỗ trợ tối thiểu 50% 18 Bảng - Luật kết hợp sinh từ tập phổ biến ACW 19 Bảng - CSDL khám chẩn đoán bệnh tim mạch 17 bệnh nhân 23 Bảng - Rời rạc hóa thuộc tính số rời rạc hữu hạn thuộc tính hạng mục 25 Bảng - Rời rạc hóa thuộc tính số "Lượng cholesterol máu" 25 Bảng - Rời rạc hóa thuộc tính số “Tuổi tác” 25 Bảng - CSDL khám chẩn đoán bệnh tim mạch 13 bệnh nhân 29 Bảng - Bảng ký hiệu sử dụng thuật toán khai phá luật kết hợp mờ 34 Bảng 10 - Thuật toán khai phá luật kết hợp mờ 34 Bảng 11 - TF - giá trị thuộc tính ghi mờ hóa 35 Bảng 12 - C1 - tập tất tập thuộc tính có lực lượng 36 Bảng 13 - F2 - tập thuộc tính phổ biến có lực lượng 37 Bảng 14 - Các luật mờ sinh từ CSDL bảng 37 Bảng 15 - Thuật toán sinh luật kết hợp 46 Bảng 16 - Tập thuộc tính mờ sau mờ hóa từ CSDL bảng 48 Bảng 17 - Thuật tốn hỗ trợ việc chia tập thuộc tính mờ cho BXL 51 -8- Bảng từ viết tắt Từ cụm từ Cơ sở liệu Khai phá liệu BXL Từ viết tắt Từ tiếng Anh CSDL Database KPDL Data Mining BXL Processor -9- Chương I Tổng quan Khai phá liệu 1.1 Khai phá liệu 1.1.1 Tại lại Khai phá liệu? Hơn thập niên trở lại đây, lượng thông tin lưu trữ thiết bị điện tử (đĩa cứng, CD-ROM, băng từ, v.v.) không ngừng tăng lên Sự tích lũy liệu xảy với tốc độ bùng nổ Người ta ước đoán rằng, lượng thơng tin tồn cầu tăng gấp đơi sau khoảng hai năm theo số lượng kích cỡ CSDL tăng lên cách nhanh chóng [AR95] Hình - Lượng liệu tích lũy tăng mạnh theo thời gian Chúng ta thực “ngập” liệu, lại cảm thấy “đói” tri thức thơng tin hữu ích Lượng liệu khổng lồ thực nguồn “tài nguyên” giá trị thông tin yếu tố then chốt hoạt động kinh doanh giúp người điều hành quản lý có nhìn sâu sắc, xác, khách quan vào tiến trình kinh doanh trước định KPDL – khai thác thơng tin tiềm ẩn có tính dự đốn từ CSDL lớn – hướng tiếp cận với khả giúp công ty trọng vào thơng tin có nhiều ý nghĩa từ tập hợp liệu lớn (databases, data warehouses, data repositories) mang tính lịch sử Những cơng cụ KPDL dự đốn xu hướng tương lai cho phép doanh nghiệp định kịp thời định hướng tri thức mà KPDL đem lại Sự phân tích liệu cách tự động mang tính dự báo KPDL có ưu hẳn so với phân tích thơng thường dựa kiện khứ hệ hỗ trợ định (decision support systems - DSSs) truyền thống trước Cơng cụ KPDL trả - 46 4.1.3 Thuật toán sinh luật song song Cho tập phổ biến l, chương trình sinh luật kết hợp sinh luật dạng a => (l – a), a tập khác rỗng l Độ hỗ trợ luật độ hỗ trợ tập phổ biến l (tức s(l)), độ tin cậy luật tỷ số s(l)/s(a) Để sinh luật hiệu quả, tiến hành duyệt tập l có kích thước lớn trước tiên tiếp tục xét tập nhỏ luật vừa sinh thỏa mãn độ tin cậy tối thiểu (minconf) Ví dụ, l tập phổ biến ABCD, luật ABC => D không thỏa mãn độ tin cậy tối thiểu luật AB => CD không thỏa mãn độ hỗ trợ AB lớn ABC Như không cần xét luật mà vế trái tập ABC chúng khơng thỏa mãn độ tin cậy tối thiểu Thuật toán sinh luật [AS94] thể ý tưởng sau: // Simple algorithm Forall frequent itemset lk, k > Call gen_rules(lk, lk); // The gen_rules generates all valid rules α => (l - α), for all α ⊂ am Procedure gen_rules(lk : frequent k-itemset, am : frequent m-itemset) Begin A = {(m-1)-itemsets am-1 | am-1 ⊂ am} Forall am-1 ∈ A begin conf = s(lk)/s(am-1); if (conf ≥ minconf) then begin output the rule am-1 => (lk – am-1); if (m – > 1) then Call gen_rules(lk, am-1); end end End Bảng 15 - Thuật toán sinh luật kết hợp Để sinh luật song song, chia tập tập thuộc tính phổ biến cho tất BXL hệ thống Mỗi BXL sinh luật tập phổ biến phân chia cho sử dụng thuật toán Trong thuật toán sinh luật song song, để tính độ tin cậy luật, BXL cần phải tham chiếu đến độ hỗ trợ tập phổ biến nằm BXL khác Vì lý này, BXL nên có thơng tin toàn tập phổ biến truớc thực thuật toán sinh luật song song - 47 4.1.4 Một số thuật tốn khác Ngồi ba thuật tốn nêu trên, nhà nghiên cứu lĩnh vực đề xuất thêm nhiều thuật toán khai phá luật kết hợp song song khác Thuật toán phân phối liệu thông minh (Intelligent Data Distribution Algorithm) [HKK97] đề xuất dựa thuật toán phân phối liệu với bước cải tiến việc truyền liệu BXL thời gian tính tốn Thay truyền liệu cặp BXL, BXL thuật tốn tổ chức thành vịng logic chúng tiến hành truyền liệu theo vòng tròn Thuật toán MLFPT (Multiple Local Frequent Pattern Tree) [ZHL98] thuật toán dựa FP-growth Thuật toán giảm số lần duyệt qua CSDL, không cần tạo tập ứng cử viên cân tải BXL hệ thống Thuật toán khai phá luật kết hợp song song [ZPO01] đề xuất khác với thuật tốn khác chỗ làm việc hệ thống đa xử lý đối xứng (SMP, gọi shared-everything system) thay hệ song song phân tán khơng chia sẻ tài ngun (shared-nothing system) 4.2 Thuật tốn song song cho luật kết hợp mờ Các thuật toán song song đề xuất trước thường phải đồng hóa BXL chúng phải truyền thơng tin tập ứng cử viên (thuật tốn phân phối độ hỗ trợ, thuật toán phân phối ứng cử viên) phải truyền liệu cho (thuật toán phân phối liệu) Do phải truyền thông đồng hóa suốt q trình tính tốn nên thuật tốn khơng xem song song lý tưởng Với cách tiếp cận luật kết hợp mờ phần trên, tơi xin đề xuất thuật tốn song song gần lý tưởng để khai phá dạng luật Thuật toán “lý tưởng” chỗ BXL hệ thống gần truyền thông với suốt q trình tính tốn, chúng cần truyền thơng với lần thuật toán kết thúc để tập hợp luật khai phá từ BXL hệ thống 4.2.1 Hướng tiếp cận Theo toán khai phá luật kết hợp mờ phần trên, thuộc tính iu I gắn với tập tập mờ Fiu sau: - 48 - { Fiu = f iu1 , f iu2 , , f iuk } Ví dụ, với CSDL bảng 8, có: Fi1 = FTuổi = {Tuổi_trẻ, Tuổi_trung_niên, Tuổi_già} (với k = 3) Fi2 = FCholesterol = {Cholesterol_thấp, Cholesterol_cao} (với k = 2) Luật kết hợp mờ có dạng: X is A ⇒ Y is B Trong đó: • X, Y ⊆ I tập thuộc tính X = {x1, x2, …, xp}, Y = {y1, y2, …, yq} xi ≠ xj (nếu i ≠ j) yi ≠ yj (nếu i ≠ j) • A = {fx1, fx2, …, fxp}, B = {fy1, fy2, …, fyq} tập tập mờ tương ứng với thuộc tính X Y fxi ∈ Fxi fyj ∈ Fyj Mỗi thuộc tính mờ khơng phải tên thuộc tính mà cặp bao gồm [ + ] Với I = {Tuổi, Cholesterol, Đường_trong_máu, Bệnh_tim} bảng tập thuộc tính mờ là: IF = {[Tuổi, Tuổi_trẻ] (1), [Tuổi, Tuổi_trung_niên] (2), [Tuổi, Tuổi_già] (3), [Cholesterol, Cholesterol_thấp] (4), [Cholesterol, Cholesterol_cao] (5), [Đường_trong_máu, Đường_trong_máu_0] (6), [Đường_trong_máu, Đường_trong_máu_1] (7), [Bệnh_tim, Bệnh_tim_khơng] (8), [Bệnh_tim, Bệnh_tim_có] (9)} Bảng 16 - Tập thuộc tính mờ sau mờ hóa từ CSDL bảng Như vậy, sau mờ hóa IF bao gồm thuộc tính mờ so với thuộc tính ban đầu Sau mờ hóa, giá trị ghi thuộc tính CSDL ban đầu chuyển khoảng [0, 1] nhờ hàm thuộc tương ứng Yêu cầu tốn tìm tất luật kết hợp mờ tập thuộc tính IF tập ghi T F Như biết, tập thuộc tính mờ (cả vế trái lẫn vế phải) luật kết hợp mờ khơng chứa hai thuộc tính mờ có thuộc tính nguồn (thuộc tính khơng mờ I) ban đầu Ví dụ, luật “Tuổi_già AND Cholesterol_cao AND Tuổi_trẻ => Bệnh_tim_có” “Đường_trong_máu > - 49 120 AND Bệnh_tim_khơng => Bệnh_tim_có” khơng hợp lệ luật thứ Tuổi_già Tuổi_trẻ hai thuộc tính mờ có nguồn gốc ban đầu Tuổi, cịn luật thứ hai, Bệnh_tim_khơng Bệnh_tim_có hai thuộc tính mờ bắt nguồn từ thuộc tính Bệnh_tim ban đầu Có hai lý để khẳng định điều Thứ nhất, thuộc tính mờ có nguồn gốc thường có giá trị mờ “loại trừ lẫn nhau” nên chúng xuất tập phổ biến độ hỗ trợ tập phổ biến thường nhỏ nhỏ trường hợp chúng loại trừ thật Ví dụ, giá trị hàm thuộc tập mờ Tuổi_già đối tượng mà cao giá trị hàm thuộc tập mờ Tuổi_trẻ nhỏ, khơng có người lại “vừa già vừa trẻ” Lý thứ hai luật kết hợp mờ thường không tự nhiên có ý nghĩa Như vậy, luật kết hợp liên quan đến thuộc tính có chung nguồn gốc hồn tồn độc lập với nhau, tìm kiếm chúng thuật tốn song song gần lý tưởng Giả sử hệ thống có BXL, tìm cách chia IF thành sáu phần cho BXL sau: Với BXL P1: IF1 = {[Tuổi, Tuổi_trẻ] (1), [Cholesterol, Cholesterol_thấp] (4), [Đường_trong_máu, Đường_trong_máu_0] (6), [Đường_trong_máu, Đường_trong_máu_1] (7), [Bệnh_tim, Bệnh_tim_khơng] (8), [Bệnh_tim, Bệnh_tim_có] (9)} = {1, 4, 6, 7, 8, 9} Với BXL P2: IF2 = {1, 5, 6, 7, 8, 9} Với BXL P3: IF3 = {2, 4, 6, 7, 8, 9} Với BXL P4: IF4 = {2, 5, 6, 7, 8, 9} Với BXL P5: IF5 = {3, 4, 6, 7, 8, 9} Với BXL P6: IF6 = {3, 5, 6, 7, 8, 9} Như vậy, chia thuộc tính mờ cho BXL, BXL thuộc tính Hai thuộc tính đưa để phân chia Tuổi Cholesterol Đây cách chia tối ưu tích số lượng tập mờ gắn với thuộc tính Tuổi (là - 50 3) số lượng tập mờ gắn với thuộc tính Cholesterol (là 2) vừa số lượng BXL hệ thống (là 6) Trong trường hợp chia tối ưu chia tập thuộc tính mờ cho tất BXL hệ thống, nhiên có trường hợp sử dụng giải pháp chia “chấp nhận được” có nghĩa có vài BXL hệ thống “nghỉ ngơi” Sau tơi xin đề xuất thuật tốn chia tập thuộc tính mờ cho BXL, thuật tốn dựa chiến lược quay lui (backtracking) dừng tìm nghiệm Trong trường hợp khơng tìm nghiệm đúng, thuật tốn trả nghiệm “chấp nhận được” Cho CSDL D với I = {i1, i2, …, in} tập n thuộc tính, T = {t1, t2, …, tm} tập m ghi Sau gắn tập mờ cho thuộc tính (cịn gọi q trình mờ hóa), ta có CSDL DF với TF tập ghi mà giá trị trường thuộc đoạn [0, 1] (tính tốn thơng qua hàm thuộc tập mờ) tập thuộc tính mờ IF = {[i1, fi11], …, [i1, fi1k1], [i2, fi21], …, [i2, fi2k2], …, [in, fin1], …, [in, finkn]} Trong đó, fiju tập mờ thứ u gắn với thuộc tính ij kj số lượng tập mờ gắn với thuộc tính ij Ví dụ, với CSDL D bảng 8, có I = {Tuổi, Cholesterol, Đường_trong_máu, Bệnh_tim} sau mờ hóa DF có IF bảng 16 Khi đó, k1 = 3, k2 = 2, k3 = 2, k4 = tương ứng số lượng tập mờ gắn với thuộc tính I Đặt tập FN = {k1} ∪ {k2} ∪ … ∪ {kn} = {s1, s2, …, sv} (v ≤ n tồn cặp ki kj giống nhau) N số lượng BXL hệ thống, toán phân chia tập thuộc tính mờ cho BXL sau: tìm tập Fn (khác rỗng) FN cho tích phần tử Fn số lượng BXL (là N) hệ thống Trong trường hợp khơng tìm thấy nghiệm thuật tốn trả nghiệm “chấp nhận được” tức tích phần tử Fn xấp xỉ N Bài tốn giải chiến lược quay lui Với ví dụ trên, FN = {3} ∪ {2} ∪ {2} ∪ {2} = {3, 2} Thuật toán: BOOLEAN Subset(FN, N, Idx) k = 1; Idx[1] = 0; S = 0; while (k > 0) { - 51 10 11 12 13 14 15 16 17 18 19 20 21 Idx[k]++; if (Idx[k]