Đại học Công Nghệ Thông Tin Đại học Quốc gia Thành phố Hồ Chí Minh  BÁO CÁO: CÂY QUYẾT ĐỊNH Môn học: Hệ hỗ trợ ra quyết định GVHD : PGS.TS. Đỗ Phúc Học viên: Trần Ngọc Huy – CH1301027 TP.HCM, tháng 6 năm 2014 Mục lục 1. Giới thiệu 1.1 Mô hình cây quyết định Cây quyết định (decision tree) là một trong những hình thức mô tả dữ liệu trực quan nhất, dễ hiểu nhất đối với người dùng. Cấu trúc của một cây quyết định bao gồm các nút và các nhánh. Nút dưới cùng được gọi là nút lá, trong mô hình phân lớp dữ liệu chính là các giá trị của các nhãn lớp (gọi tắt là nhãn). Các nút khác nút lá được gọi là các nút con, đây còn là các thuộc tính của tập dữ liệu, hiển nhiên các thuộc tính này phải khác thuộc tính phân lớp. Mỗi một nhánh của cây xuất phát từ một nút p nào đó ứng với một phép so sánh dựa trên miền giá trị của nút đó. Nút đầu tiên được gọi là nút gốc của cây. Xem xét một ví dụ về một cây quyết định như sau[1]: 2 Từ bảng dữ liệu trên, ta xây dựng được cây quyết định như sau: Cây quyết định của ví dụ trên có thể được giải thích như sau: các nút lá chứa các giá trị của thuộc tính phân lớp (thuộc tính “Play”). Các nút con tương ứng với các thuộc tính khác thuộc tính phân lớp; nút gốc cũng được xem như một nút con đặc biệt, ở đây chính là thuộc tính “Outlook”. Các nhánh của cây từ một nút bất kỳ tương đương 3 một phép so sánh có thể là so sánh bằng, so sánh khác, lớn hơn nhỏ hơn… nhưng kết quả các phép so sánh này bắt buộc phải thể hiện một giá trị logic (Đúng hoặc Sai) dựa trên một giá trị nào đó của thuộc tính của nút. Lưu ý cây quyết định trên không có sự tham gia của thuộc tính “thu nhập” trong thành phần cây, các thuộc tính như vậy được gọi chung là các thuộc tính dư thừa bởi vì các thuộc tính này không ảnh hưởng đến quá trình xây dựng mô hình của cây. Các thuộc tính tham gia vào quá trình phân lớp thông thường có các giá trị liên tục hay còn gọi là kiểu số (ordered or numeric values) hoặc kiểu rời rạc hay còn gọi là kiểu dữ liệu phân loại (unordered or category values). Ví dụ kiểu dữ liệu lương biểu diễn bằng số thực là kiểu dữ liệu liên tục, kiểu dữ liệu giới tính là kiểu dữ liệu rời rạc (có thể rời rạc hóa thuộc tính giới tính một cách dễ dàng). 1.2 Chiến lược cơ bản để xây dựng cây quyết định • Bắt đầu từ nút đơn biểu diễn tất cả các mẫu • Nếu các mẫu thuộc về cùng một lớp, nút trở thành nút lá và được gán nhãn bằng lớp đó • Ngược lại, dùng độ đo thuộc tính để chọn thuộc tính sẽ phân tách tốt nhất các mẫu vào các lớp • Một nhánh đƣợc tạo cho từng giá trị của thuộc tính được chọn và các mẫu đƣợc phân hoạch theo • Dùng đệ quy cùng một quá trình để tạo cây quyết định • Tiến trình kết thúc chỉ khi bất kỳ điều kiện nào sau đây là đúng - Tất cả các mẫu cho một nút cho trƣớc đều thuộc về cùng một lớp. - Không còn thuộc tính nào mà mẫu có thể dựa vào để phân hoạch xa hơn. - Không còn mẫu nào cho nhánh test_attribute = a i Tuy nhiên, nếu không chọn được thuộc tính phân lớp hợp lý tại mỗi nút, ta sẽ tạo ca cây rất phức tạp, ví dụ như cây dưới đây: 4 Như vậy, vấn đề đặt ra là phải chọn được thuộc tính phân lớp tốt nhất. Phần tiếp theo sẽ giới thiệu các tiêu chuẩn, dựa vào các tiêu chuẩn này, ta sẽ chọn ra thuộc tính phân lớp tốt nhất tại mỗi nút. 1.3 Thuận lợi và hạn chế của mô hình cây quyết định  Một số thuận lợi sau đây của cây quyết định được xem như là một công cụ phân loại mà đã chỉ ra trong tài liệu này: 1. Cây quyết định tự giải thích và khi được gắn kết lại, chúng có thể dễ dàng tự sinh ra. Nói cách khác, nếu cây quyết định mà có số lượng nút lá vừa phải thì người không chuyên cũng dễ dàng hiểu được nó. Hơn nữa, cây quyết định cũng có thể chuyển sang tập luật. Vì vậy, cây quyết định được xem như là dễ hiểu. 2. Cây quyết định có thể xử lý cả thuộc tính tên và số đầu vào. 3. Thể hiện của cây quyết định là đủ đa dạng để biểu diễn cho bất kỳ giá trị rời rạc nào. 4. Cây quyết định có khả năng xử lý các bộ dữ liệu mà có thể gây ra lỗi. 5. Cây quyết định có khả năng xử lý các bộ dữ liệu mà có giá trị rỗng. 6. Cây quyết định được xem như là một phương pháp phi tham số. Điều này có nghĩa là cây quyết định không có giả định về sự phân chia bộ nhớ và cấu trúc phân lớp.  Bên cạnh đó, cây quyết định cũng có những bất lợi sau đây: 1. Hầu hết các thuật toán (như ID3 hoặc C4.5) bắt buộc các thuộc tính mục tiêu phải là các giá trị rời rạc. 5 2. Khi cây quyết định sử dụng phương pháp “chia để trị”, chúng có thể thực hiện tốt nếu tồn tại một số thuộc tính liên quan chặt chẽ với nhau, nhưng sẽ khó khăn nếu một số tương tác phức tạp xuất hiện. Một trong những nguyên nhân gây ra điều này là những sự phân lớp mà có mô tả rất mạch lạc về việc phân lớp cũng có thể gặp khó khăn trong việc biểu diễn bằng cây quyết định. Một minh họa đơn giản của hiện tượng này là vấn đề tái tạo cây quyết định (Pagallo và Huassler, 1990). Khi mà hầu hết các cây quyết định phân chia không gian thể hiện thành những khu vực loại trừ lẫn nhau để biểu diễn một khái niệm, trong một số trường hợp, cây nên chứa một vài cây con giống nhau trong thứ tự thể hiện của việc phân lớp. Ví dụ, nếu khái niệm sau mà thể hiện theo hàm nhị phân: y = (A 1 A 2 ) (A 3 A 4 ) thì cây quyết định đơn biến tối tiểu mà biểu diễn hàm này đã được biểu diễn trong phần 9.3. Lưu ý là cây có chứa 2 bản sao của cùng một cây con. 3. Các đặc tính liên quan của cây quyết định dẫn đến những khó khăn khác như là độ nhạy với tập huấn luyện, các thuộc tính không phù hợp, nhiễu. (Quinlan, 1993). 6 2. Các tiêu chuẩn tạo cây quyết định Việc tìm các tiêu chí để đánh giá tìm điểm chia là rất quan trọng, chúng được xem là một tiêu chuẩn “heuristic” để phân chia dữ liệu. Ý tưởng chính trong việc đưa ra các tiêu chí trên là làm sao cho các tập con được phân chia càng trở nên “trong suốt” (tất cả các bộ thuộc về cùng một nhãn) càng tốt. Cho một tập dữ liệu D, một tập các nhãn Ci (i>=1 và i<=m với m là số nhãn), định nghĩa các khái niệm sau: C i ,D : là tất cả các bộ dữ liệu có nhãn lớp C i trong D. |D| : là tổng số bộ dữ liệu của tập dữ liệu D. | Ci,D | : là tổng số bộ dữ liệu của tập dữ liệu D có nhãn lớp Ci.[1] 2.1 Tiêu chuẩn tách 1 chiều (Univariate Splitting Criteria): Nghĩa là tách chỉ dựa trên 1 thuộc tính. Xét theo cấu trúc của mẫu dữ liệu thì có 3 tiêu chuẩn 2.1.1 Impurity-based Criteria: Khi tất cả các mẫu dữ liệu thuộc về 1 phân lớp, ta gọi đó là Purity. Ngược lại, khi các mẫu dữ liệu tạo ra nhiều phân lớp thì đó gọi là Impurity. Xét theo tiêu chuẩn Impurity- based thì có các độ đo sau: 2.1.1.1 Information Gain Các thuật toán cũ trước đây thường dùng độ đo Gain để xác định điểm chia. Độ đo này dựa trên cơ sở lý thuyết thông tin của nhà toán học Claude Shannon, độ đo này xác định giá trị của nội dung mà các thông tin sở hữu trong một loạt các thông điệp. Giả sử tại nút hiện hành N, tập D là tập dữ liệu cần được xác định điểm chia, lặp qua tất cả các thuộc tính và chọn lựa thuộc tính nào có độ đo Gain lớn nhất làm ứng cử viên để phân chia. Công thức tính độ đo Gain như sau [1]: Với p i là xác suất của một bộ bất kỳ trên D thuộc về nhãn Ci. Có thể xem công thức Info(D) như một hàm tính giá trị trung bình trên lượng thông tin sử dụng nhằm xác định nhãn của một bộ bất kỳ trong tập D, Info(D) còn được gọi là độ đo sự hỗn loạn (entropy) của D. Giả sử phân chia các bộ trong D trên một thuộc tính A bất kỳ, để không mất tính tổng quát có thể xem như A có các giá trị phân biệt {a 1 , a 2 , a 3 , ….a v }. Nếu thuộc tính A được sử dụng để chia thành v tập con, 7 những tập con này sẽ tương ứng với các nhánh con của nút hiện tại, độ đo thông tin có được sau khi phân lớp theo v tập con trên sẽ được tính như sau [1]: Với |Dj| là tống số bộ dữ liệu được phân chia vào tập con thứ j. Độ đo Gain được xác định là sự khác biệt giữa thông tin gốc (thông tin khi chưa phân lớp) và thông tin mới (thông tin sau khi đã phân lớp) và được tính theo công thức bên dưới như sau [1] : Nói một cách khác, độ đo Gain cho biết được lượng thông tin thu được khi phân lớp, thuộc tính nào có độ đo Gain lớn nhất sẽ được chọn làm ứng cử viên để phân chia. Việc chọn thuộc tính theo tiêu chí độ đo Gain lớn nhất tương đương với việc muốn tìm được một phân hoạch sao cho việc phân lớp là tốt nhất hay nói cách khác lượng thông tin cần thiết để hoàn thành việc phân lớp (thể hiện qua giá trị Info A (D)) là nhỏ nhất [1]. Giải thích cơ sở dữ liệu ở bảng dữ liệu trên: để tiện lợi ta xem tất cả các thuộc tính đều có kiểu dữ liệu rời rạc. Thuôc tính nhãn lớp tức thuộc tính “buys_computer” chỉ có hai giá trị là C1=“yes” và C2=“no”, như vậy có chín bộ dữ liệu có nhãn lớp là giá trị 8 C1 và năm bộ giá trị C2. Để tìm điểm chia tốt nhất, phải tính toán chỉ số Gain của tất cả các thuộc tính trên. Đầu tiên sẽ tính cho toàn bộ tập huấn luyện D [1]: Kế tiếp tính cho từng thuộc tính, bắt đầu với thuộc tính “Age”. Thuộc tính này có ba giá trị là “youth”, “middle_aged” và “senior”. Nhìn vào bảng dữ liệu, với giá trị “youth” có hai bộ có giá trị thuộc tính nhãn là “yes” và ba bộ giá trị thuộc tính nhãn là “no”. Tương tự giá trị “middle_aged” có bốn bộ có nhãn lớp là “yes” và không có bộ nào có nhãn lớp là “no”; với giá trị “senior” có ba bộ nhãn lớp “yes” và hai bộ có nhãn lớp “no”. Theo công thức trên, độ đo của thuộc tính A xét trên tập huấn luyện D là [1]: Vậy theo công thức tính chỉ số Gain: Theo cách tính tương tự như trên, tính chỉ số Gain cho lần lượt các thuộc tính “income”, “student” và “credit_rating”. Kết quả sẽ là Gain(“income”) = 0.029; Gain(“student”) = 0.151 và Gain(“credit_rating”) = 0.048. Như vậy, thuộc tính “Age” là thuộc tính có chỉ số Gain lớn nhất nên sẽ được chọn là thuộc tính phân chia. Kết quả phân chia sẽ là cây quyết định như sau [1]: 9 2.1.1.2 Gini index Chỉ số Gini (Gini index): Chỉ số Gini được sử dụng trong thuật toán CART. Trái ngược với độ đo Gain, chỉ số Gini là độ đo về tính “không trong suốt” của tập dữ liệu. Chỉ số Gini của một tập dữ liệu D được định nghĩa như sau [1]: Với m là tổng số nhãn lớp, pi là xác suất để một bộ bất kỳ trong D thuộc về một nhãn C i , được tính như sau: Chỉ số Gini thường sẽ được tính toán dựa trên giả định một tập dữ liệu D được phân chia nhị phân thành hai tập con. Đầu tiên xét trường hợp thuộc tính A bất kỳ trong D có kiểu dữ liệu rời rạc, khi dùng phép chiếu sẽ thu được v = {a 1 ,a 2 … a v } giá trị khác nhau. Để xác định điểm chia tốt nhất của A, kiểm tra tất cả tập con có thể tạo được từ v giá trị phân biệt trên, mỗi tập con tạm gọi là S A là một điều kiện kiểm tra nhị phân dạng A ∈ S A . Như vậy với v giá trị khác nhau ta sẽ có 2 v - 2 tập con, trong đó tập rỗng và tập toàn phần v = {a 1 ,a 2 … a v } sẽ không được xét đến. Như vậy tiến hành lặp qua tất cả các tập con này, mỗi lần lặp sẽ phân chia tập giá trị v thành hai tập con v 1 và v 2 riêng biệt thoả điều kiện rời rạc toàn phần (hội v 1 và v 2 chính là tập v và phần giao là tập rỗng). Với hai tập con v 1 và v 2 này tương ứng tập con D cũng được phân chia thành hai tập con D 1 (các bộ có giá trị thuộc tính A ∈ v 1 ) và D 2 (các bộ có giá trị thuộc tính A ∈ v 2 ) theo , Gini(D) sẽ được tính như sau [1]: Khác với độ đo Gain, người ta chọn chỉ số Gini nhỏ nhất với mong muốn sau khi phân chia dữ liệu sẽ làm giảm tính không trong suốt của tập D nhiều nhất. Đối với các giá trị liên tục có một lưu ý là đầu tiên phải sắp xếp các giá trị này, sau đó tất cả các giá trị cũng sẽ được tính toán chỉ số Gini và cũng chọn ra giá trị nào có thuộc tính Gini nhỏ nhất. Cũng giống như độ đo Gain, chỉ số Gini thông thường cũng được tính cho điểm giữa của hai giá trị liên tục nằm liền kề nhau. Lúc này tập D sẽ được chia làm hai tập D 1 là các bộ dữ liệu thoả điều kiện giá trị thuộc tính A nhỏ hơn hoặc bằng giá trị điểm giữa và D 2 thoả điều kiện giá trị thuộc tính A lớn hơn giá trị điểm giữa. Mục tiêu của chí số Gini là càng làm giảm tính không trong suốt của dữ liệu càng nhiều càng tốt, giá trị giảm trừ này thể hiện qua công thức [1]: Lưu ý Gini(D) là một con số cố định, chính vì mục đích chọn điểm chia sao cho Δgini(A) là lớn nhất nên bắt buộc chọn thuộc tính A sao cho GiniA(D) là nhỏ nhất. Ví 10 [...]... lại 4 Tại sao phải chuyển cây quyết định sang luật? • Phân biệt giữa những ngữ cảnh khác nhau ở những node của cây quyết định được dùng • Loại bỏ đi điểm khác biệt giữa những thuộc tính kiểm tra xảy ra gần node gốc của cây và xảy ra gần node lá của cây • Cải thiện tính dễ đọc 24 4 Cây quyết định mở rộng 4.1 Oblivious Decision Trees Cây quyết định oblivious là cây quyết định mà tất cả các nút tại cùng... xây dựng cây mờ gồm một số hàm suy luận dựa trên việc giải quyết xung đột trong các hệ thống dựa theo luật và các phương pháp suy luận gần đúng hiệu quả Olaru và Wehenkel (2003) đã hiện thực một cây quyết định mờ mới được gọi là cây quyết định mềm Cách tiếp cận này vừa kết hợp việc phát triển cây và tỉa cây, để xác định cấu trúc của cây quyết định mềm, với việc trang bị lại và thích hợp hơn, để cải... cây quyết định Đây là một mô hình diễn tả quá trình quá khớp dữ liệu trong một ứng dụng điển hình của cây quyết định Trong trường hợp này, cây quyết định này được xây dựng trên thuật toán ID3 về việc học chữa bệnh tiểu đường Với đường chân trời thể hiện tổng số node ứng viên trên cây quyết định và đường thẳng đứng thể hiện độ chính xác của trên trên tập dữ liệu huấn luyện và trên tập dữ liệu kiểm tra... ID3_algorithm(Training_Set, Class_Labels, Attributes) Tạo nút Root của cây quyết định If tất cả các ví dụ của Training_Set thuộc cùng lớp c Return Cây quyết định có nút Root được gắn với (có nhãn) lớp c If Tập thuộc tính Attributes là rỗng Return Cây quyết định có Majority_Class_Label(Training Set) nút Root được gắn với nhãn lớp ≡ A ← Thuộc tính trong tập Attributes có khả năng phân loại “tốt nhất” đối với Training_Set... chế, song cây quyết định oblivious rất hiệu quả trong việc lựa chọn tính năng [Almuallim và Deitterich (1994)] cũng như [Schlimmer (1993)] đã đề xuất một thủ tục lựa chọn tính năng trước đây bằng cách xây dựng cây quyết định oblivious, trong khi đó [Langley và Sage (1994)] đã đề nghị lựa chọn ngược cũng sử dụng cây quyết định oblivious [Kohavi và Sommerfield (1998)] đã chỉ ra rằng cây quyết định oblivious... Attribute,BestAttribute.Value[i])); } } } return Root; 34 Tài liệu tham khảo [1] Lê Văn Dực, Hệ hỡ trợ ra quyết định , Đại học Quốc Gia TPHCM, 2006 [2] Nguyễn Thị Hạnh, T.S Hồ Cẩm Hà, “Khai phá dữ liệu bằng cây quyết định , 2008 [3] Nguyễn Thị Thùy Linh, “Nghiên cứu các thuật toán phân lớp dữ liệu dựa trên cây quyết định , 2005 [4] slide của Prof Pier Luca Lanzi trong file DM2012-07-ClassificationTrees.pdf... dựng các cây quyết định tương đối nhanh và khắc phục các hạn chế về bộ nhớ của cây quyết định quy nạp SPRINT đánh dấu bất kỳ nhiễu nào được chia nhỏ dựa trên các bộ dữ liệu lớn (Gehrke, 2000) đã giới thiệu RainForest; một khung đồng nhất cho các phân lớp cây quyết định mà có khả năng nhân rộng bất kỳ thuật toán cụ thể nào từ tài liệu này (gồm: C4.5, CART và CHAID) Hơn nữa để tổng quát, RainForest cải... nhiên, RainForest yêu cầu một số lượng nhỏ bộ nhớ chính, tương ứng với tập của các giá trị khác nhau trong một cột của mối quan hệ đầu vào Tuy nhiên, yêu cầu này được coi là vừa phải và hợp lý.Cây quyết định kết luận cho các tập dữ liệu lớn có thể tìm thấy trong các tài liệu (Alsabti, 1998; Freitas và Lavington, 1998; Gehrke, 1999) [5] 4.4 Incremental Induction: Hầu hết các cây quyết định kết luận đều... cứu đã giải quyết được các vấn đề về cập nhật các cây quyết định tăng trưởng (Utgoff, 1989b,1997) trình bày một số phương pháp để cập nhật cây quyết định tăng trưởng Mở rộng của thuật toán CART là khả năng gây tăng trưởng được mô tả trong (Crawford, 2002) [5] 29 5 Chương trình mô phỏng thuật toán ID3 Giao diện chính của chương trình Demo gồm 3 phần: o Phần 1: Bảng lưu dữ liệu training (Data Training)... chính của IFN là tính chặt chẽ Trong cây quyết định thông thường, như CART, chiều cao của một cây quyết định có thể vượt quá số lượng các thuộc tính đầu vào Nhưng trong IFN, chiều cao của một cây quyết định sẽ không bao giờ vượt quá số lượng thuộc tính đầu vào [Pruning Irrelevant Features from Oblivious Decision Trees] Trong hình 6.2 minh họa cho một loại cây quyết định oblivious với 4 tính năng đầu vào: . Đại học Công Nghệ Thông Tin Đại học Quốc gia Thành phố Hồ Chí Minh  BÁO CÁO: CÂY QUYẾT ĐỊNH Môn học: Hệ hỗ trợ ra quyết định GVHD : PGS.TS. Đỗ Phúc Học viên: Trần. và hạn chế của mô hình cây quyết định  Một số thuận lợi sau đây của cây quyết định được xem như là một công cụ phân loại mà đã chỉ ra trong tài liệu này: 1. Cây quyết định tự giải thích và khi. rời rạc nào. 4. Cây quyết định có khả năng xử lý các bộ dữ liệu mà có thể gây ra lỗi. 5. Cây quyết định có khả năng xử lý các bộ dữ liệu mà có giá trị rỗng. 6. Cây quyết định được xem như là