1 MỞ ĐẦU Trích chọn thuộc tính theo phương pháp tiếp cận lý thuyết tập thô củ wl k thư ng c gọi rút gọn thuộc tính) toán c cộng ồng khoa học quan tâm từ lý thuyết tập thô c ề xuất năm 1982 cho ến n y t gọn thuộc tính l tr nh chọn l tập thuộc tính s o cho lư ng thông tin h m ch t i s lư ng thuộc tính l t i thi u Một ng nh c th có nhiều tập thuộc tính rút gọn (từ gọi ngắn gọn tập rút gọn) tập rút gọn ều có th thay c cho tập thuộc tính g c iệc tìm tập rút gọn t t liên qu n ến toán tìm tất c rút gọn củ ng nh - ây l toán NP - khó c ch ng minh [41] Tuy nhiên, ng dụng th c tế việc tìm tập rút gọn t t không thiết, thư ng chiến lư c tìm kiếm heuristic c áp dụng tìm tập rút gọn t i ưu phù h p mô hình phân tích liệu Cho ến nay, phương pháp heuristic r t gọn thuộc tính theo hư ng tiếp cận l thuyết tập thô c phát tri n phong ph Các phương pháp r t gọn thuộc tính sử dụng ộ o l m tiêu chuẩn ánh giá lư ng thông tin ch a thuộc tính thư ng gồm h i c n: Đ nh nghĩ tập rút gọn d a ộ o v Xây d ng chiến lư c tìm tập rút gọn Đ nh nghĩ tập rút gọn c r v i mục tiêu b o to n ộ phụ thuộc thuộc tính không ch a thuộc tính không cần thiết i v i tác vụ phân l p việc so sánh tập r t gọn kết qu v ộ o sử dụng ánh giá thuộc tính, tác gi guy n ong i ng v cộng s phân lo i phương pháp r t gọn thuộc tính ng nh th nh nh m , : h m phương pháp miền dương 12 , 16 , 28 , [36]; h m phương pháp ntropy h nnon - sử dụng h nnon entropy ([30], [43], [45], [47], [50], [51], [52], [53]), ph p toán i s qu n hệ ([1], [18], [19], [55]), ộ o metric ([2], [3], [6], [9], [13], [14]); h m phương pháp ntropy i ng - sử dụng i ng entropy ([25], [29]), m trận phân iệt ([43], [54], [59]) Theo phân nh m n y, ộ phủ tập luật nh gi m dần từ nh m ến nh m 3, nghĩ l tập rút gọn phương pháp miền dương c ộ phủ tập luật cao Mặc dù vậy, phương pháp miền dương không o to n ộ phụ thuộc thuộc tính i v i b ng nh không quán o c th nói khía c nh t c ộ phủ tập luật l n không h n chế b ng nh quán tập rút gọn nhóm ây l t t Vấn ề ặt là: Khi liệu có s th y ổi theo chu kỳ (thêm, xóa, cập nhật), cần cập nhật tập rút gọn hệ thông tin cho hiệu qu ? Một hệ thông tin biến ộng (Dynamic Information System) thư ng c xét theo g c ộ: iến ộng tập i tư ng iến ộng tập thuộc tính ề l thuyết, thuật toán t m tập r t gọn i v i hệ thông tin g c ều c th c th c l i cho hệ thông tin s u iến ộng Tuy nhiên, v i s iến ộng thư ng xuyên củ hệ thông tin ng y n y th việc th c thi l i thuật toán nhiều lần s t n k m th i gi n cách k Vì vậy, nghiên c u ề xuất phương pháp s o cho gi m t i chi phí phát sinh th y ổi liệu vấn ề cấp thiết Cho ến n y, gi i pháp c ề xuất nhiều cập nhật tập rút gọn cho hệ thông tin ộng tiếp cận gi tăng v i tưởng gi m t i tính toán lặp l i cách sử dụng kết qu c tính v i chiến lư c tìm kiếm heuristic cập nhật tập rút gọn từ gi m th i gian tính toán [9], [15], [17], [21], [23], [26], [37], [38], [48], [49], [60] Trong công trình [15], [17], [37], [60], tác gi xây d ng phương pháp gi tăng t m tập rút gọn d a miền dương v m trận phân biệt bổ sung tập i tư ng m i Trong công trình [26], tác gi xây d ng công th c tính toán gi tăng ộ o entropy (Shannon entropy, Liang entropy, entropy tổ h p) bổ sung, lo i bỏ i tư ng; Tương t , 49 ề xuất cập nhật ộ o entropy ổ sung, lo i ỏ tập thuộc tính v sở xây d ng thuật toán gi tăng t m tập rút gọn.Trong công trình nêu trên, tác gi ều minh ch ng th c nghiệm phương pháp gi tăng c th i gian th c gi m thi u k so v i phương pháp không gi tăng, ặc biệt liệu c kích thư c l n Từ nghiên c u tiếp cận gi tăng ề xuất, có th phát bi u: Tiệm cận gia tăng rút gọn thuộc tính hệ thông tin động phương pháp tìm chế tái sử dụng kết tính để cập nhật tập rút gọn nhằm giảm thời gian tính toán đảm bảo yêu cầu hiệu tập rút gọn Trong luận án n y tác gi sử dụng tiếp cận gi tăng d a µmetric c Nguy n ong i ng ề xuất 14 cập nhật tập thuộc tính rút gọn cho b ng nh ộng trư ng h p có s th y ổi thêm, xóa, cập nhật i tư ng thuộc tính Tập rút gọn sử dụng ộ o n y c ch ng minh thuộc nhóm theo phân nhóm Luận án đ t đ n n t qu n s uđ 1) Xây d ng công th c cập nhật µ-metric thuật toán heuristic gi tăng r t gọn thuộc tính b ng nh ộng thêm/xóa/cập nhật đối tượng 2) Xây d ng công th c cập nhật µ-metric, cập nhật ma trận phân biệt mở rộng thuật toán heuristic gi tăng r t gọn thuộc tính b ng nh ộng thêm/xóa thuộc tính 3 Các công th c cập nhật ộ o µ-metric ma trận phân biệt mở rộng hệ thông tin biến ộng l sở có th sử dụng l i kết qu thuật toán g c cho thuật toán cập nhật tập rút gọn Bố cục luận án gồm phần mở ầu v chương nội dung, phần kết luận danh mục tài liệu tham kh o Chương c tính chất hệ th ng h sở l thuyết c liên qu n kết qu củ luận án o gồm khái niệm n củ l thuyết tập thô v s phương pháp r t gọn thuộc tính Các ng g p luận án c trình bày chương v chương Chương l kết qu nghiên c u gồm: Xây d ng chế cập nhật µ-metric tập i tư ng củ ng nh c ổ sung, lo i ỏ cập nhật th 12 công th c mệnh ề v i ch ng minh ví dụ cụ th Trong chương c ng ề xuất thuật toán gi tăng heuristic d µ-metric: Thuật toán gi tăng d a µ-metric tìm rút gọn b ng nh thêm i tư ng (Thủ tục AdObj); Thuật toán gi tăng d a µ-metric tìm rút gọn b ng nh thêm tập i tư ng (Thuật toán MIR_AdObjs); Thuật toán gia tăng d a µ-metric tìm rút gọn cập nhật i tư ng (Thủ tục UpObj) Thuật toán gi tăng d a µ-metric tìm rút gọn cập nhật tập i tư ng (Thuật toán MIR_UpObjs) Một s thử nghiệm c tiến hành 08 liệu UCI vừa l n so sánh tính ng ắn hiệu qu thuật toán ề xuất v i thuật toán không gi tăng thuật toán MBAR) thuật toán gi tăng d a Liang entropy [26] Đồng v i chương 2, chương tr nh y chế cập nhật µ-metric ng nh c ổ sung lo i ỏ tập thuộc tính v thuật toán gi tăng t m tập r t gọn trư ng h p tương ng hần s u củ chương ề xuất phương pháp gi tăng r t gọn sử dụng ộ o khác l h m phân iệt mở rộng v ch ng minh phương pháp n y cho tập r t gọn kết qu t t theo nghĩ ộ hỗ tr củ tập luật sinh ởi tập r t gọn l n so v i phương pháp nh m entropy Shannon Trong chương n y tác gi ề xuất thuật toán gi tăng t m r t gọn thêm xóa tập thuộc tính iều kiện: Thuật toán MIR_AdAt; Thuật toán MIR_DeAt sử dụng µ-metric; Thuật toán GDF_IR_AdAt Thuật toán GDF_IR_DeAt sử dụng hàm phân biệt mở rộng ột s kết qu th c nghiệm so sánh kết qu nghiên c u v i thuật toán không gi tăng cho thấy thuật toán ề xuất cho kết qu t t th i gi n tính toán v m b o ộ xác phân l p Chương TIẾP CẬ ẾT Đ I T T TẬ C TẬ Đ I T T T T ĐỔI V i mục ích t m r phương pháp r t gọn thuộc tính có th áp ng t t tiêu chí th i gian tìm tập rút gọn ồng th i m b o hiệu b ng nh ng dụng c cho b ng nh quán c ng không quán, chương n y ề xuất phương pháp rút gọn d ộ o µ-metric theo tiếp cận gi tăng Trư c hết, xây d ng ch ng minh công th c gi tăng cập nhật µ-metric trư ng h p: Thêm i tư ng; X i tư ng v Cập nhật i tư ng a công th c cập nhật, tác gi ề xuất thuật toán gia tăng heuristic t m r t gọn trư ng h p thêm cập nhật tập i tư ng Các th c nghiệm c tiến h nh 08 ộ s liệu C vừa l n cho kết qu phù h p v i ch ng minh l thuyết cho thấy thuật toán ề xuất l xác v hiệu qu Các kết qu củ chương n y c tr nh y d công tr nh [3], [4] tác gi 2.1 Cậ nhật µCho t i hi tậ đối tượng thay đổi ng { nh }v , { nghĩ : ∑ } µ-metric 14 ng tư ng vào đư c ác đ nh ởi công th c ếu { } 2) (2.1.1) ếu | { } ếu | (2.1.2) { } ∑ | | ( | nh { } gi a hai tri th c hi th m đ i Mệnh đề 2.1 µ-metric 1) c ∑ ập n ật µ-metric thêm đối t 2.1 i sử | | | | | ) (2.1.3) ập n ật µ-metric xóa đối t 2.1 Mệnh đề 2.2 iả sử phần tử hi đ 1) ếu ng a v i µ-metric đư c cập nhật sau: { } t c { } 2) ếu (2.2.1) { } (2.2.2) | ( rong đ | | | ∑ | |(| ập n ật µ-metric cập nhật đối t 2.1 Mệnh đề 2.3 nhật ) ) ng iả sử ảng qu ết đ nh đ i tư ng | thành | | đư c cập ; Gọi tập đ i tư ng U sau cập nhật U Metric DT đư c cập nhật ởi công th c sau 1) ếu ( | | | ∑ ) | 2) ếu | (2.3.1) | | ( | | | ∑ ) ( | | ) (2.3.2) ̀ 3) ếu ( | | | | ) ∑ | | (2.3.3) 4) ếu ( | | | ∑ ) | ( ) | (2.3.4) Mệnh đề 2.4 đ i tư ng nhật | iả sử ảng qu ết đ nh đư c cập nhật thành , ọi tập đ i tư ng U sau cập , Nếu { } ( ) đư c cập nhật ởi công th c sau ; Metric 1) ếu 2) ếu (2.4.1) ( ∑ ) (2.4.2) 3) ếu ∑ 2.2 Th ật t n gia t ng t tượng thay đổi (2.4.3) t g n sử dụng µ-metric tậ đối Bổ đề ho ảng qu ết đ nh gọn { theo metric th m vào tập r t } hi đ 1) ếu 2) ếu { } ́ { } { } Thủ tục AdObj T m tập r t gọn thêm Input: Output: Begin đ i tư ng đư c ng nh Phân ho ch U/C; Phân ho ch Tập rút gọn { } i tư ng ; Tập rút gọn củ ; Đ i tư ng gi tăng x { } T; If then Begin { } { } While // Kết nạp nh ng thuộc tính có m c ý nghĩa l n vào tập rút gọn Begin For each Begin { } ; Tính 10 If mệnh ề v then Tính nh nghĩ 15 11 If mệnh ề v then Tính nh nghĩ 15 12 13 theo công th c 2.1.3 End; { Chọn { 14 15 16 theo công th c 2.1.2 }; }; End; End; // Loại bỏ thuộc tính dư thừa 17 For each 18 Begin 19 Tính 20 If { } { } { } 21 { } { } { } then End; 22 Return 23 End Bổ đề 2.2 ho ảng qu ết đ nh gọn theo metric thành gọi tập U sau cập nhật 1) ếu tập r t đ i tư ng đư c cập nhật hi đ 2) ếu Thủ tục UpObj T m tập r t gọn cập nhật i tư ng Input: ng nh ; Tập rút gọn ho ch C; Đ i tư ng x cập nhật th nh x’ Output: Tập rút gọn { } củ T; hân { } Begin ; If { } and | | =1 and then Return Rup; Else //Thêm thuộc tính có m c ý nghĩa l n vào tập rút gọn R g c While Begin If { } For each Begin | | and then { } theo thuật toán 1.1; 10 Tính 11 If Then Tính mệnh ề v nh nghĩ 15; theo công th c 12 If Then Tính mệnh ề v nh nghĩ 15; theo công th c 13 End; 14 If { } 15 For each 16 Begin 17 Tính 18 If 19 Tính nghĩ 15; 20 If 21 Tính nghĩ 15; then { } ; and Then theo công th c mệnh ề v and nh Then theo công th c mệnh ề v nh 22 If 23 Tính nghĩ 15; 24 If 25 Tính nghĩ 15; 26 End; 27 Chọn and theo công th c 3 mệnh ề v and { nh Then theo công th c mệnh ề v { 28 29 Then nh }; }; EndWhile; //Loại bỏ thuộc tính dư thừa Rup 30 For each 31 Begin 32 Tính 33 If ; { } then { } { } 34 35 End; 36 Return ; 37 End Th ật t n Thuật toán gi tăng d a µ-metric t m r t gọn thêm tập i tư ng ọi Thuật toán MIR_AdObjs) Input: ng nh Tập i tư ng Output: Tập rút gọn ; Rút gọn R củ DT; Begin Tính U/C; U/D; For Begin = AdObj(DT; U/C; U/D; R; x) 10 End; Return ; End  Độ h t th yết th ật t Độ ph c t p củ thuật toán l Th ật t n MIR_AdObjs ( | || | ) n 2.2 Thuật toán gi tăng d a µ-metric t m r t gọn cập nhật tập i tư ng ọi Thuật toán MIR_UpObjs) ng i tư ng Input: Output: nh Tập rút gọn ; Rút gọn R củ DT; Tập c cập nhật thành Begin Tính U/C; U/D; For Begin pO j T; C; ; ; x; x’ End; Return ; End  Độ h t th yết th ật t Độ ph c t p thuật toán 2.2 2.3 Th nghiệ th ật t n 2.2 n 2.3.1 Thực nghiệm thuật toán gia tăng tìm rút gọn bổ sung tập đối tượng Tiến hành thử nghiệm thuật toán MIR_AdObjs 08 s liệu UCI so sánh v i thuật toán sử dụng µ-metric MBAR [2] thuật toán gi tăng sử dụng i ng entropy 26 ki m tr tính ng ắn hiệu qu thuật toán Các kết qu c trình bày b ng hình sau B ng 2.5 Bộ số liệu thử nghiệm 11 STT Số đối t Tập d liệu Breast-cancer-wisconsin Tic-tac-toe Kr-vs-kp Mushroom Letter-recognition Krkopt (King-rook-vs-king) Shuttle CoverType ng 683 958 3196 5644 20000 28056 58000 581012 Số thuộc tính điều kiện 9 36 22 16 54 Số lớp 2 2 26 18 7 B ng 2.6 Tập rút gọn thuật toán MBAR thuật toán MIR_AdObjs Thuật toán MBAR Số thuộc t n điều kiện |R| 1, 2, 4, Breastcancerwisconsin Tic-tac-toe Kr-vs-kp 36 29 Mushroom 22 Letterrecognition 16 11 Krkopt Shuttle CoverType 54 17 1- 5, 7, 8, 1, 3-7, 9-13, 15 -18, 20, 21, 23, - 28, 30, 31, 33, - 36 1, 3, 5, 7, 8, 9, 12, 20 1, 3, 4, 8, 9, 10, 11, 12, 13, 15, 16 1-6 1, 2, 3, 1, 4, 5, 7, 8, 10, 16, 22, 26, 29, 30, 36, 37, 42, 43, 45, 52 STT Tập d liệu Tập rút gọn Thời gian (s) 1.248 Thuật toán MIR_AdObjs |R| Tập rút gọn Thời gian (s) 0.415 1, 2, 4, 4.825 128.13 28 1- 5, 7, 8, 1, 3, 4, 5, 7, 9-13, 15-18, 20, 21, 2328, 30, 31, 33- 36 0.684 12.36 156.48 1, 2, 3, 5, 7, 9, 20 48.58 598.34 12 1, 2, 3, 4, 5, 8, 9, 10, 11, 13, 15, 16 84.28 96.14 218.84 10286.28 19 1- 1, 2, 3, 1, 4, 5, 7, 10, 12 16, 17, 22, 25, 26, 29, 30, 36, 37, 42, 43, 45, 52 22.38 43.06 946.64 Hình 2.1 Thời gian tìm rút gọn hai thuật toán MBAR MIR_AdObjs 12 Bn độ đo MIR_AdObjs AP, AQ ,  , g  thuật toán MBAR thuật toán Thuật toán MBAR STT Thuật toán MIR_AdObjs Tập d liệu AP g  AQ AP g  AQ Breastcancerwisconsin 1 1 1 1 Tic-tac-toe 1 1 1 1 Kr-vs-kp 1 1 0.9998 0.9999 0.9999 Mushroom 1 1 0.9974 0.9993 0.9986 Letterrecognition 1 1 0.9999 0.9996 Krkopt 1 1 1 1 Shuttle 0.9977 0.9988 0.9976 0.9953 0.9977 0.9988 0.9976 0.9953 CoverType 0.9611 0.9466 0.9248 0.9256 0.9626 0.9488 0.9248 0.9372 B ng 2.8 So sán độ xác phân lớp MBAR MIR_AdObjs STT Bộ số liệu U C Breast-cancer-wisconsin 683 Tic-tac-toe 958 Kr-vs-kp 3196 36 Mushroom 5644 22 Letter-recognition 20000 16 Krkopt (King-rook-vs28056 king) Shuttle 58000 CoverType 581012 54 Độ xác phân lớp trung bình C4.5 Độ xác phân lớp C4.5 b ng quy t định gốc (%) 76.14 69.06 88.75 76.86 72.04 42.26 Thuật toán MBAR Độ xác phân R lớp C4.5 (%) 75.82 71.16 29 90.68 75.12 11 74.82 42.26 Thuật toán MIR_AdObjs Độ xác phân R lớp C4.5 (%) 75.82 71.16 28 91.12 74.6 12 75.57 42.26 17 19 94.76 60.72 72.57 98.12 62.16 73.76 98.12 61.82 73.81 Bảng 2.9 Kết thực Thuật toán MIR_AdObjs thuật toán GIARC-L STT Số thuộc tính điều kiện Tập d liệu Thuật toán GIARC-L |R| Tập rút gọn Thuật toán MIR_AdObjs Thời gian (s) |R| Tập rút gọn Thời gian (s) Breastcancerwisconsin 1, 2, 4, 0.42 1, 2, 4, 0.415 Tic-tac-toe 1, - 5, 7, 8, 0.614 1- 5, 7, 8, 0.684 kr-vs-kp 36 31 1- 7, 9-18, 20, 21, 23, -28, 30, 31, 33-36 11.86 28 1, 3, 4, 5, 7, 9, 10- 13, 1518, 20, 21, 2328, 30, 31, 3336 12.36 Mushroom 22 1, 3, 5, 7, 8, 9, 50.12 1, 2, 3, 5, 7, 9, 48.58 13 12, 14, 20 20 Letterrecognition 16 13 1- 4, 7-13, 15, 16 81.75 12 1- 5, 8-11, 13, 15, 16 84.28 Krkopt 6 1- 23.48 1- 22.38 Shuttle 1, 2, 3, 44.26 1, 2, 3, 43.06 CovType 54 22 1, 4, 6, 7, 8, 10, 12, 13, 16, 19, 20, 22, 26, 29, 30, 36, 37, 40, 42, 43, 45, 48 958.15 19 1, 4, 5, 7, 10, 12 16, 17, 22, 25, 26, 29, 30, 36, 37, 42, 43, 45, 52 946.64 Bảng 2.10 Các độ đo thuật toán MIR_AdObjs thuật toán GIARC-L Thuật toán GIARC-L STT Thuật toán MIR_AdObjs Tập d liệu AP g  AQ AP g  AQ Breastcancerwisconsin 1 1 1 1 Tic-tac-toe 1 1 1 1 Kr-vs-kp 0.9972 0.9968 0.9999 0.9999 0.9998 0.9999 0.9999 0.9999 Mushroom 0.9986 0.9982 0.9992 0.9986 0.9974 0.9993 0.9992 0.9986 Letterrecognition 0.9975 0.9982 0.9992 0.9996 0.9999 0.9992 0.9996 Krkopt 1 1 1 1 Shuttle 0.9918 0.9926 0.9976 0.9953 0.9977 0.9988 0.9976 0.9953 CoverType 0.9428 0.9218 0.9366 0.9372 0.9626 0.9488 0.9366 0.9372 Bảng 2.11 So sánh độ xác phân lớp GIARC-L MIR_AdObjs STT Bộ số liệu U C Breast-cancer-wisconsin 683 Tic-tac-toe 958 Kr-vs-kp 3196 36 Mushroom 5644 22 Letter-recognition 20000 16 Krkopt (King-rook-vs28056 king) Shuttle 58000 CoverType 581012 54 Độ xác phân lớp trung bình C4.5 Độ xác phân lớp C4.5 b ng quy t định gốc (%) 76.14 69.06 88.75 76.86 72.04 42.26 94.76 60.72 72.57 Thuật toán GIARC-L R Độ xác phân lớp C4.5 (%) Thuật toán MIR_AdObjs R Độ xác phân lớp C4.5 (%) 31 13 75.82 71.16 88.56 71.12 76.27 42.26 28 12 75.82 71.16 91.12 74.6 75.57 42.26 22 98.12 58.75 72.75 19 98.12 61.82 73.81 2.3.2 Thực nghiệm thuật toán tìm tập rút gọn cập nhật tập đối tượng K ch b n th c ngiệm thuật toán gi tăng t m r t gọn trư ng h p cập nhật i tư ng (MIR_UpObjs) gi ng i v i thuật toán MIR_AdObjs th c t i mục 2.3.1 14 Hình 2.3 Thời gian thực thuật toán gia tăng hông gia tăng Bảng 2.12 Các độ đo thuật toán MBAR thuật toán MIR_UpObjs Thuật toán MBAR STT Thuật toán MIR_UpObjs Tập d liệu AP AQ  g AP AQ  g Kr-vs-kp 0.8806 0.8926 0.9216 0.9248 0.8814 0.8915 0.9216 0.9248 Mushroom 0.9148 0.9224 0.8912 0.8816 0.9024 0.9211 0.8912 0.8816 Letterrecognition 0.9196 0.9248 0.9548 0.9462 0.9124 0.9212 0.9548 0.9462 Krkopt 0.9848 0.9822 0.9874 0.9842 0.9848 0.9822 0.9874 0.9842 Shuttle 0.9514 0.9512 0.9255 0.9216 0.9468 0.9436 0.9255 0.9216 CovType 0.8874 0.8812 0.8972 0.8910 0.8892 0.8846 0.8972 0.8910 Nhận xét k t qu thực nghiệm Th i gian th c thuật toán gi tăng sử dụng µ-metric trư ng h p thêm cập nhật i tư ng gi m k so v i thuật toán không gi tăng A ộ o hiệu v ộ xác phân l p xấp xỉ ch ng tỏ tính hiệu qu v ng ắn thuật toán ề xuất So v i thuật toán gi tăng sử dụng Liang entropy cho i toán tương t , thuật toán ề xuất c ộ xác phân l p trung bình c o v th i gian tính toán xấp xỉ nh u Chương TIẾP CẬN GIA TĂNG TÌM TẬP RÚT GỌN TRONG NG QU ẾT N C TẬP T U C T N T A ỔI Trong chương n y, tác gi xây d ng phương pháp gi tăng sử dụng h i ộ o l µ-metric hàm phân biệt mở rộng (GDF) 15 3.1 Thuật t n gia t ng t thuộ tính thay đổi tập rút g n ụng µ-metric tập ập n ật µ-metric thêm tập thuộc tín điều kiện 3.1 Gi sử sau thêm tập thuộc tính P, phân ho ch { } tập Xi i = k+1, …, m; t = 1, 2, …, ti) Mệnh đề 3.1 Cho bảng đ nh DT = (U, C  D), P tập thuộc tính điều kiện đư c thêm vào DT hi đ công th c gia tăng tính µmetric là: (∑ rong đ ∑ ∑ | | ∑ ∑ ập n ật µ-metric xóa tập thuộ t n điều kiện 3.1 Khi xóa tập thuộc tính P, khỏi b ng { ), gi sử ; r + ≤ t ≤ m; k ≤ m Mệnh đề 3.2 Metric bảng đ nh tập thuộc tính điều kiện P ( đư c tính bởi: (∑ rong đ 3.1 ) uật toán i t n t tn t đổi Th ật t ∑ r t ọn sử ∑ ∑ nh }, v i ) sau xóa ) n µ-metric tập thuộc n Thuật toán gi tăng t m r t gọn d a µ-metric thêm tập thuộc tính (Gọi Thuật toán MIR_AdAt) Input: tăng ), tập rút gọn RC C tập thuộc tính gia  C = ) Output: Tập rút gọn Begin Tính ; Tính theo công th c mệnh ề 3.1; //Tìm tập thuộc tính lõi tập P 16 ; For each a  P Begin If { }; Then { } End; ; 10 If Then Return R; 11 While 12 Begin 13 For each 14 Tính 15 Chọn ; { cho { 16 17 }; }; End; // Loại bỏ thuộc tính dưa thừa 18 For 19 Begin 20 Tính 21 If { } { } ; then { }; 22 End; 23 Return R; 24 End  Độ ph c t p lý thuyết thuật toán MIR_AdAt Độ ph c t p tính toán thuật toán 3.1 O((|U||C  P|2 + |U|2) Th ật t n Thuật toán gi tăng d a µ-metric tìm rút gọn xóa thuộc tính (Gọi Thuật toán MIR_DeAt) Input: Output: Tập rút gọn ), tập rút gọn RC C, tập xóa 17 Begin ; If then Return R; ; { Tính Tính If While Begin } theo công th c mệnh ề 3.2 then Return R; 10 For each 11 Chọn 12 R = R  {am}; 13 End; 14 For each 15 Begin Tính 17 If End; 19 Return R; ; { cho }; 16 18 tính { } { } = Then { }; 20 End  Độ ph c t p lý thuyết thuật toán MIR_DeAt Độ ph c t p tính toán thuật toán 3.2 3.1 ự n iệ t uật toán v Tiến hành th c nghiệm s liệu UCI so sánh thuật toán gia tăng ề xuất v i thuật toán MBAR thuật toán gi tăng sử dụng Liang entropy (Thuật toán DIA_RED) [49], kết qu th c nghiệm khẳng nh tính ng ắn hiệu qu thuật toán 18 B ng 3.1 Mô t d liệu thử nghiệm ID Số đối t Tập d liệu Hepatitis.data Lung-cancer.data Import-85.data kr-vs-kp.data Dermatology.data Backup-large.data ng 155 32 205 3196 366 307 Số thuộ t n điều kiện 19 56 25 36 34 35 Số lớp t ơn đ ơn 6 19 B ng 3.2 K t qu thực nghiệm thuật toán MIR_AdAt MBAR Thuật toán MBAR Tập d liệu Hepatitis Lung-cancer Import-85 Kr-vs-kp Dermatology Backuplarge Thuộ t n điều kiện i t n (%) |R| 50 Tập rút gọn Time (s) 2, 3, 15 0.310 100 2, 15, 16 50 100 50 100 50 Thuật toán MIR_AdAt |R| Tập rút gọn Time (s) 2, 3, 15 0.012 0.327 2, 15, 16, 18 0.015 3, 4, 9, 25, 32 0.582 3, 4, 9, 25, 32 0.040 6 23 3, 4, 9, 43 1, 2, 7, 11, 14, 16 1, 2, 7, 14, 20, 21 1- 8, 10-13, 1518, 20, 21, 23-27 0.620 2.342 2.839 206.232 6 21 3, 4, 9, 43 1, 3, 7, 11, 14, 16 1, 3, 7, 14, 20, 21 1-8, 10-13, 15-18, 20, 21, 23, 24, 25, 27 0.052 0.386 0.422 19.254 100 29 219.250 27 3.286 1, 2, 4, 5, 6, 7, 10-18, 20, 21, 22, 24-27, 30, 31, 33-36 1, 2, 4, 5, 7, 9, 14, 16 23.256 50 1, 3-7, 10-13, 1518, 20-28, 30, 31, 33-36 1, 2, 3, 4, 9, 14, 15, 22 100 3.853 1.422 100 1.840 1, 2, 4, 5, 14, 16, 18, 19 1, 4, 6, 7, 8, 10, 15, 16 1, 4, 6, 7, 8, 15, 16, 22 0.462 50 1, 2, 3, 4, 5, 16, 19, 28, 32 1, 4, 6, 7, 8, 10, 16 1, 4, 6, 7, 8, 15, 16, 22 0.414 0.124 0.162 Hình 3.1 Thời gian tìm rút gọn hai thuật toán gia tăng hông gia tăng B ng 3.4 K t qu độ đo thuật toán MIR_AdAt MBAR 19 STT Tập d liệu Hepatitis Lung-cancer Import-85 kr-vs-kp Dermatology Backuplarge Tập gia t n (%) Thuật toán MBAR Thuật toán MIR_AdAt AQ AP  g AQ AP  g 50 0.8217 0.8284 0.8758 0.8712 0.8028 0.8116 0.8758 0.8712 100 1 1 1 1 50 0.9284 0.9126 0.8812 0.8796 0.9284 0.9126 0.8812 0.8796 100 1 1 1 1 50 0.8826 0.8812 0.8962 0.8904 0.8992 0.8921 0.8962 0.8904 100 0.9985 0.9897 0.9942 0.9906 0.9985 0.9897 0.9942 0.9906 50 0.9212 0.9197 0.9406 0.9382 0.9206 0.9126 0.9406 0.9382 100 0.9994 0.9987 0.9914 0.9896 0.9994 0.9987 0.9914 0.9896 50 0.9125 0.9006 0.8996 0.8904 0.9015 0.8996 0.8996 0.8904 100 0.9906 0.9818 0.9472 0.9403 0.9804 0.9716 0.9472 0.9403 50 0.8856 0.8014 0.8678 0.8611 0.8827 0.8002 0.8678 0.8611 100 0.9023 0.8174 0.9876 0.9812 0.9048 0.8186 0.9876 0.9812 Bảng 3.5 So sánh độ xác phân lớp DIA_RED MIR_AdAt STT Tập d liệu U C Độ xác phân lớp C4.5 b ng quy t địn b n đầu (%) Hepatitis 155 19 Lung-cancer 32 56 Import-85 205 25 Kr-vs-kp 3196 36 Dermatology 366 34 Backup-large 307 35 Độ xác phân lớp trung bình C4.5 95.84 90.18 93.58 88.75 90.91 81.86 90.18 Thuật toán DIA_RED R Độ xác phân lớp C4.5 (%) 30 10 96.72 91.04 92.46 89.24 89.17 80.16 89.79 Thuật toán MIR_AdAt Độ R xác phân lớp C4.5 (%) 96.72 92.65 94.75 27 90.58 88.57 82.39 90.94 Nhận xét k t qu thực nghiệm - Thuật toán gia tăng cho kết qu t t so v i thuật toán không gia tăng th i gi n tính toán v m b o ộ o hiệu v ộ xác phân l p gần b ng nh g c ch ng tỏ thuật toán ề xuất hiệu qu v ng ắn - Thuật toán gi tăng sử dụng µ-metric tìm rút gọn cho kết qu t t thuật toán gi tăng sử dụng Liang entropy ộ xác phân l p trung bình, th i gian th c xấp xỉ 3.2 Thuật t n gia t ng t tập rút g n ụng h ộng hi tập thuộ tính thay đổi h n iệt Trư c hết, tác gi nghiên c u v ề xuất phương pháp r t gọn thuộc tính sử dụng hàm phân biệt mở rộng Tiếp theo, xây d ng phương pháp gi tăng r t gọn thuộc tính sử dụng hàm phân biệt mở rộng trư ng h p bổ sung, lo i bỏ tập thuộc tính Về lý thuyết, tập rút gọn 20 phương pháp ề xuất c ch ng minh có l c lư ng nhỏ tập rút gọn sử dụng µ-metric Các th c nghiệm cho thấy tính hiệu qu v ng ắn thuật toán 3.2.1 Tập rút gọn dựa hàm quy t định mở rộng tính chất Định nghĩa ([36], [11]) Cho b ng nh u  U ,  ( u )   D  v  v   u   c gọi hàm B B V i nh mở rộng (generalized decision function) DT Nếu |  ( u ) | v i không quán C Định nghĩa Nếu: u U DT quán, ngư c l i DT ([36]) Cho b ng 1)  u  U ,  ( u )   ( u ) 2)  r  R ,  u  U    ( u )   ( u ) R rút gọn C d a hàm R nh C R r C nh mở rộng Mệnh đề 3.1 Cho bảng đ nh  u  U ,   u     u  P O S  D   P O S  D  B C B B  C Nếu C Nếu b ng nh DT không quán chiều ngư c l i mệnh ề 3.1 không thỏa mãn Mệnh đề 3.2 Cho bảng đ nh H  D B   H  D C   u  U ,   u     u  B B  C Nếu C Nếu b ng nh DT không quán chiều ngư c l i mệnh ề 3.2 không thỏa mãn Từ mệnh ề 3.1 mệnh ề 3.2 ta có kết qu sau: Định lý 3.1 Cho bảng đ nh , R tập rút gọn dựa Shannon entropy tồn tập rút gọn dựa hàm đ nh mở rộng R tập rút gọn dựa miền dương R cho R  R  R H  P  P H Từ nh lý 3.1 có th rút ra: s thuộc tính tập rút gọn d a hàm nh mở rộng nhỏ s thuộc tính tập rút gọn d a Shannon entropy (và µ-metric) 21 3.2.2 Ma trận phân biệt mở rộng hàm phân biệt mở rộng D a hàm nh mở rộng, hàm phân biệt mở rộng c xây d ng s u Định nghĩa Cho b ng nh , v i B  C tập thuộc tính B , ký U  n Ma trận phân biệt mở rộng hiệu M   m  , ma trận vuông cấp n, phần tử có giá tr B i j nn 1, c nh nghĩ s u: m  d  u     u  (1) ij j m ij  (2) Chú ý: Nếu A   B i d  u j    B ui  th quy c mi  j M A ma trận i x ng B  C Định nghĩa Cho b ng nh M  m  ma trận phân biệt mở rộng tập thuộc tính B Khi , h m phân iệt mở rộng B , ký hiệu G D F  B  c B i j nn nh nghĩ s u: n  A GDF  n  i 1 m ij j 1 Mệnh đề 3.4 Cho bảng đ nh Nếu P  Q G D F  P   G D F  Q  , v i P,Q  C ệnh đề Cho bảng đ nh M , G D F  C  tương ng ma trận phân biệt mở rộng hàm phân biệt mở rộng tr n tập thuộc tính C , B  C hi đ G D F  B   G D F  C  hi  ( u )   ( u ) v i  u  U C B C 3.2.3 Thuật toán tìm tập rút gọn sử d ng hàm phân biệt mở rộng Định nghĩa Cho b ng nh thỏa mãn: (1) G D F  R   G D F  C  (2)  R  R , G D F  R   G D F  C  ' Nếu R  C ' th c gọi tập rút gọn d a hàm phân biệt mở rộng Mệnh ề 3.5 cho thấy tập rút gọn d a hàm phân biệt mở rộng tương ương v i tập rút gọn d a hàm nh suy rộng Định nghĩa Cho b ng nh , B  C bC  B Độ quan trọng thuộc tính b i v i tập thuộc tính B c nh nghĩ ởi: S I G  b   G D F  B   b    G D F  B  out B 22 Định nghĩa Cho b ng nh Độ quan trọng thuộc tính b tập thuộc tính bởi: S I G  b   G D F  B   G D F  B   b   , B  C c B b  B nh nghĩ in B D nh nghĩ , luận án r Thuật toán heuristic 3.3 tìm tập rút gọn sử dụng hàm phân biệt mở rộng 3.2.4 Thuật toán i t n t r t ọn sử d ng hàm phân biệt mở rộng bổ sung tập thuộc tính Đ xây d ng thuật toán tìm tập rút gọn, trư c hết xây d ng thuật toán gi tăng tính ma trận phân biệt mở rộng bổ sung tập thuộc tính Sử dụng thuật toán xây d ng thuật toán tìm rút gọn s u ây Thuật toán 3.5 Thuật toán gi tăng d a hàm phân biệt mở rộng tìm rút gọn bổ sung tập thuộc tính (Gọi Thuật toán GDF_IR_AdAt) Input: B ng nh , tập rút gọn R C tập thuộc tính gi tăng P v i P  C   Output: Một tập rút gọn t i ưu R C  P R  R ; C C Tính M While CP GDF theo Thuật toán 3.4; Tính R  G D F C  P  Begin For a  P  R tính Chọn am  P  R R  R  am  out S IG R a  cho G D F C  P  ;  GDF out S IG R  R  a    G D F  R  ; am   M a x S IG R out a P  R  a  ; ; End; For a  R 10 If G D F  R   a    G D F  A T  P then 11 Return R Độ ph c t p tính toán thuật toán 3.5 R  R  a ; 3.2.5 Thuật toán i t n t r t ọn sử d ng hàm phân biệt mở rộng lo i bỏ tập thuộc tính Trư c hết, xây d ng thuật toán gi tăng tìm ma trận phân biệt mở rộng lo i bỏ tập thuộc tính, sử dụng thuật toán n y xây d ng thuật toán tìm rút gọn d a hàm phân biệt mở rộng s u ây 23 Thuật toán 3.7 Thuật toán gi tăng d a hàm hàm phân biệt mở rộng tìm rút gọn lo i bỏ tập thuộc tính (Gọi Thuật toán GDF_IR_DeAt) Input: B ng nh , tập rút gọn R tập thuộc tính C tập thuộc tính P v i P  C C Output: Một tập rút gọn t i ưu R tập thuộc tính R  R  P ; C  P C Tính M While CP theo Thuật toán 3.6; Tính GDF R Begin For each Chọn am  R R  R  a m   G D F C  P  aR tính cho in S IG R in S IG R ; a  am   GDF R   GDF R  M in  S I G R  a   ;  a  ; in a R ; End; For each a  R If G D F  R   a    G D F  C  P  then 10 Return G D F C  P  R  R  a ; Độ ph c t p tính toán thuật toán 3.7 3.2.6 ự n iệ t uật toán Mục tiêu thử nghiệm so sánh kết qu Thuật toán GDF_IR_AdAt (thuật toán gi tăng t m r t gọn bổ sung tập thuộc tính d a hàm phân biệt mở rộng) v i thuật toán MIR_AdAt (thuật toán gi tăng t m r t gọn bổ sung tập thuộc tính d a µ-metric) th i gian th c kết qu tập rút gọn Các kết qu th c nghiệm cho thấy, thuật toán GDF_IR_AdAt hiệu qu v ng ắn v i ộ xác phân l p v ộ quán gần v i thuật toán gi tăng _AdAt; nhiên thuật toán GDF_IR_AdAt cho tập rút gọn nhỏ so v i MIR_AdAt R Bảng 3.10 So sánh độ xác phân lớp GDF_IR_AdAt MIR_AdAt STT Tập d liệu Hepatitis Lung-cancer Import-85 C U 155 32 205 19 56 25 Độ xác phân lớp C4.5 b ng quy t định b n đầu (%) 95.84 90.18 93.58 Thuật toán GDT_IR_AdAt Độ xác phân lớp C4.5 (%) R 94.18 92.65 91.98 Thuật toán MIR_AdAt Độ xác phân lớp C4.5 (%) R 4 96.72 92.65 94.75 24 Kr-vs-kp 3196 36 Dermatology 366 34 Backup-large 307 35 Độ xác phân lớp trung bình C4.5 ẾT 88.75 90.91 81.86 90.18 24 7 89.16 87.98 80.27 89.37 27 8 90.58 88.57 82.39 90.94 Ậ Luận n đề cậ đến vấn đề a đ y:  Tìm hi u tổng quan tình hình nghiên c u rút gọn thuộc tính b ng nh ộng v tĩnh theo hư ng tiếp cận lý thuyết tập thô  Nghiên c u phương pháp r t gọn thuộc tính d ộ o metric theo hư ng tiếp cận lý thuyết tập thô  Nghiên c u ề xuất phương pháp c i tiến rút gọn thuộc tính b ng nh ộng trư ng h p thêm, x i tư ng thuộc tính Những kết hính đ t luận án gồm:  T m chế tái sử dụng kết qu thuật toán g c th qua việc xây d ng ch ng minh công th c cập nhật ộ o µ-metric trư ng h p b ng nh có s biến ộng i tư ng (thêm, xóa cập nhật l m sở cho rút gọn thuộc tính theo tiếp cận gi tăng  D a kết qu xây d ng c trên, ề xuất thuật toán heuristic cập nhật tập rút gọn trư ng h p thêm cập nhật tập i tư ng; tiến hành th c nghiệm minh họa liệu UCI so sánh v i thuật toán g c không gi tăng v thuật toán gia tăng sử dụng entropy (Liang) Kết qu th c nghiệm c ng ch ng minh lý thuyết ều cho thấy thuật toán luận án ề xuất có c i tiến nh th i gian th c v m b o c ộ xác phân l p b ng nh rút gọn ng nh g c  Xây d ng ch ng minh công th c cập nhật ộ o µ-metric chế cập nhật ma trận phân biệt mở rộng trư ng h p b ng nh có s biến ộng tập thuộc tính (thêm, xóa)  D a kết qu c trên, ề xuất thuật toán heuristic tìm rút gọn thêm xóa tập thuộc tính theo h i ộ o khác nh u: ộ o µ-metric Hàm phân biệt mở rộng Th c nghiệm s liệu UCI ch ng minh s c i tiến củ phương pháp ề xuất so v i phương pháp không gi tăng v s phương pháp gi tăng nh m tập thô khác [...]... hình nghiên c u rút gọn thuộc tính trên b ng quyết nh ộng v tĩnh theo hư ng tiếp cận lý thuyết tập thô  Nghiên c u phương pháp r t gọn thuộc tính d trên ộ o metric theo hư ng tiếp cận lý thuyết tập thô  Nghiên c u ề xuất các phương pháp c i tiến rút gọn thuộc tính của b ng quyết nh ộng trong các trư ng h p thêm, x các i tư ng hoặc thuộc tính Những kết quả hính đ t được trong luận án gồm:  T m cơ... phân biệt mở rộng tìm rút gọn khi lo i bỏ tập thuộc tính (Gọi là Thuật toán GDF_IR_DeAt) Input: B ng quyết nh , tập rút gọn R của tập thuộc tính C và tập thuộc tính P v i P  C C Output: Một tập rút gọn t i ưu R của tập thuộc tính 1 R  R  P ; C  P C 2 Tính M 3 While CP theo Thuật toán 3.6; Tính GDF R 4 Begin For each 5 Chọn 6 am  R R  R  a m   G D F C  P  aR tính sao cho in S IG R... luận án ư r Thuật toán heuristic 3.3 tìm tập rút gọn sử dụng hàm phân biệt mở rộng 3.2.4 Thuật toán i t n t r t ọn sử d ng hàm phân biệt mở rộng khi bổ sung tập thuộc tính Đ xây d ng thuật toán tìm tập rút gọn, trư c hết xây d ng thuật toán gi tăng 3 4 tính ma trận phân biệt mở rộng khi bổ sung một tập thuộc tính Sử dụng thuật toán này xây d ng thuật toán tìm rút gọn s u ây Thuật toán 3.5 Thuật toán... ∑ r t ọn sử ∑ ∑ nh }, v i ) sau khi xóa ) n µ-metric khi tập thuộc n Thuật toán gi tăng t m r t gọn d a trên µ-metric khi thêm tập thuộc tính (Gọi là Thuật toán MIR_AdAt) Input: tăng ), tập rút gọn RC của C và tập thuộc tính gia  C = ) Output: Tập rút gọn của 1 Begin 2 Tính ; 3 Tính theo công th c ở mệnh ề 3.1; //Tìm tập thuộc tính lõi của tập P 16 ; 5 For each a  P do 6 Begin 7 If { }; Then {... toán gi tăng d a trên hàm phân biệt mở rộng tìm rút gọn khi bổ sung tập thuộc tính (Gọi là Thuật toán GDF_IR_AdAt) Input: B ng quyết nh , tập rút gọn R của C và tập thuộc tính gi tăng P v i P  C   Output: Một tập rút gọn t i ưu R của C  P 1 R  R ; C C 2 Tính M 3 While CP GDF theo Thuật toán 3.4; Tính R  G D F C  P  4 Begin 5 For a  P  R tính 6 Chọn 7 am  P  R R  R  am  out S IG...  a ; Độ ph c t p tính toán của thuật toán 3.7 là 3.2.6 ự n iệ t uật toán Mục tiêu của thử nghiệm là so sánh kết qu của Thuật toán GDF_IR_AdAt (thuật toán gi tăng t m r t gọn khi bổ sung tập thuộc tính d a trên hàm phân biệt mở rộng) v i thuật toán MIR_AdAt (thuật toán gi tăng t m r t gọn khi bổ sung tập thuộc tính d a trên µ-metric) về th i gian th c hiện và kết qu tập rút gọn Các kết qu th c nghiệm... rút gọn d a trên hàm phân biệt mở rộng tương ương v i tập rút gọn d a trên hàm quyết nh suy rộng Định nghĩa 7 Cho b ng quyết nh , B  C và bC  B Độ quan trọng của thuộc tính b i v i tập thuộc tính B ư c nh nghĩ ởi: S I G  b   G D F  B   b    G D F  B  out B 22 Định nghĩa 8 Cho b ng quyết nh Độ quan trọng của thuộc tính b trong tập thuộc tính bởi: S I G  b   G D F  B   G D F  B  ... Chương 3 TIẾP CẬN GIA TĂNG TÌM TẬP RÚT GỌN TRONG NG QU ẾT N C TẬP T U C T N T A ỔI Trong chương n y, tác gi xây d ng phương pháp gi tăng sử dụng h i ộ o l µ-metric và hàm phân biệt mở rộng (GDF) 15 3.1 Thuật t n gia t ng t thuộ tính thay đổi tập rút g n ử ụng µ-metric khi tập ập n ật µ-metric khi thêm tập thuộc tín điều kiện 3.1 Gi sử sau khi thêm tập thuộc tính P, phân ho ch { } trong một tập con... h p bổ sung, lo i bỏ tập thuộc tính Về lý thuyết, tập rút gọn của 20 phương pháp ề xuất ư c ch ng minh có l c lư ng nhỏ hơn tập rút gọn sử dụng µ-metric Các th c nghiệm cho thấy tính hiệu qu v ng ắn của thuật toán 3.2.1 Tập rút gọn dựa trên hàm quy t định mở rộng và các tính chất Định nghĩa ([36], [11]) Cho b ng quyết nh và u  U ,  ( u )   D  v  v   u   ư c gọi là hàm quyết B B V i nh mở... đề 3.1 Cho bảng quyết đ nh DT = (U, C  D), P là tập thuộc tính điều kiện đư c thêm vào DT hi đ công th c gia tăng tính µmetric là: (∑ rong đ ∑ ∑ | | ∑ ∑ ập n ật µ-metric khi xóa tập thuộ t n điều kiện 3.1 Khi xóa tập thuộc tính P, khỏi b ng quyết { ), gi sử ; r + 1 ≤ t ≤ m; k ≤ m Mệnh đề 3.2 Metric trên bảng quyết đ nh một tập thuộc tính điều kiện P ( đư c tính bởi: (∑ rong đ 3.1 ) uật toán i t n t ... rút gọn lo i bỏ tập thuộc tính (Gọi Thuật toán GDF_IR_DeAt) Input: B ng nh , tập rút gọn R tập thuộc tính C tập thuộc tính P v i P  C C Output: Một tập rút gọn t i ưu R tập thuộc tính R  R ... gi tăng t m r t gọn d a µ-metric thêm tập thuộc tính (Gọi Thuật toán MIR_AdAt) Input: tăng ), tập rút gọn RC C tập thuộc tính gia  C = ) Output: Tập rút gọn Begin Tính ; Tính theo công th c... µ-metric tìm rút gọn xóa thuộc tính (Gọi Thuật toán MIR_DeAt) Input: Output: Tập rút gọn ), tập rút gọn RC C, tập xóa 17 Begin ; If then Return R; ; { Tính Tính If While Begin } theo công th