1 XÂY DỰNG, BIỂU DIỄN CÂY QUYẾT ĐỊNH CÁC VẤN ĐỀ THƯỜNG DÙNG CÂY QUYẾT ĐỊNH GIẢI QUYẾT Giáo viên hướng dẫn: PGS. TS Đỗ Phúc Sinh viên thực hiện: Lê Văn Đào MSSV: CH1101071 2 Nội dung trình bày  Định nghĩa  Xây dựng cây quyết định  Giới thiệu cây quyết định  Biểu diễn cây quyết định  Các vấn đề thường dùng cây quyết định để giải quyết  Các vấn đề trong cây quyết định 3 Định Nghĩa  Cây Quyết định là một cây phân lớp  Nút nội : là nút thử nghiệm  Nút lá : nút phân loại ( phân lớp )  Cây phân lớp bằng cách lọc mẫu nhập từ trên xuống  Kết quả là phân biệt và đầy đủ 4 Định Nghĩa  Ví dụ 5 Định Nghĩa  Cây quyết định có thể khác nhau trên một số khía cạnh : • Nút thử nghiệm có thể là đơn biến hay đa biến • Có thể có 2 hoặc hơn 2 kết quả đầu ra • Các đặc trưng hoặc thuộc tính có thể là phân loại hoặc là số • Đầu ra (cuối cùng) có thể có hai hoặc nhiều lớp 6 Định Nghĩa  Ví dụ 7 Học có giám sát với cây quyết định đơn biến  Chọn lựa kiểu cho thử nghiệm  Giảm độ hỗn loạn để chọn thử nghiệm  Thuộc tính không phải nhị phân (non-binary) 8  Chọn lựa kiểu cho thử nghiệm • Thông thường có n thuộc tính • Thuộc tính nhị phân  Giá trị thuộc tính ở nút thử nghiệm là 0 hoặc 1 • Thuộc tính phân loại ( không phải nhị phân )  Chia giá trị thuộc tính vào các tập con phân biệt và đầy đủ Học có giám sát với cây quyết định đơn biến 9 Chọn lựa kiểu cho thử nghiệm  Ví dụ 10  Giảm độ hỗn loạn để xây dựng cây quyết định • Vấn đề : chọn thứ tự các thử nghiệm • Với các thuộc tính phân loại và số => chọn giá trị thích hợp cho thử nghiệm • Giải pháp : giảm tối đa độ hỗn loạn (entropy) Học có giám sát với cây quyết định đơn biến [...]... năng (target-functions) có các giá trị đầu ra là rời rạc • Trong ví dụ trên có 2 phân lớp là yes và no 28 Các vấn đề thường dùng cây quyết định để giải quyết   Có thể yêu cầu biểu diễn dưới dạng biểu thức luận lý Dữ liệu huấn luyện có thể có lỗi • Cây quyết định là một phương pháp xử lý tốt với các trường hợp lỗi (lỗi trong phân lớp và lỗi trong giá trị thuộc tính)  Dữ liệu huấn luyện có thể bị khuyết... loạn để xây dựng cây quyết định  Ước lượng trung bình trên toàn bộ  : độ hỗn loạn trung bình sau khi áp dụng T trên tập l : xác xuất của thử nghiệm T có kết quả thứ j  14 Giảm độ hỗn loạn để xây dựng cây quyết định  Trung bình giảm độ hỗn loạn đạt được sau khi áp dụng T 15 Giảm độ hỗn loạn để xây dựng cây quyết định  Ví dụ  Ước lượng trung bình 16 Giảm độ hỗn loạn để xây dựng cây quyết định ... định hoặc • Tập các luật if-then mà người có thể đọc được 19 Giới thiệu (tt)  Các phương pháp học được sử dụng rộng rãi: • ID3 • ASSISTANT • C4.5  Nhiệm vụ của các phương pháp học: • TÌm kiếm không gian giả thuyết hoàn chỉnh • Loại bỏ khó khăn của không gian giả thuyết có giới hạn 20 Cách biểu diễn cây quyết định  Cây quyết định phân loại các thể hiện bằng cách sắp xếp chúng vào một cây từ gốc đến...Giảm độ hỗn loạn để xây dựng cây quyết định Độ hỗn loạn của các lớp trên tập tính bởi  tập được là sác xuất của các mẫu trong thuộc về lớp i 11 Giảm độ hỗn loạn để xây dựng cây quyết định  Ước lượng bằng thông kê  xác suất thực tế dựa vào thống kê trong tập thuộc về lớp i 12 Giảm độ hỗn loạn để xây dựng cây quyết định     Thử nghiệm T có k kết quả, chia tập thành... Duyệt cây quyết định Day Outlook 1 Temp Sunny Hot Humidity Wind High Play? Weak No Outlook Sunny Humidity High No Overcast Rain Yes Normal Yes Wind Strong No Weak Yes 26 Biểu thức luận lý (Outlook=Sunny ∧ Humidity=Normal) ∨ Outlook=Overcast ∨ (Outlook=Rain ∧ Wind=Weak) Outlook Sunny Humidity High No Overcast Rain Yes Normal Yes Wind Strong No Weak Yes 27 Các vấn đề thường dùng cây quyết định để giải quyết. .. dùng cây quyết định để giải quyết  Các thể hiện được biểu diễn dưới dạng cặp thuộc tính – giá trị • Các thuộc tính này thường là cố định (vd: nhiệt độ) và các giá trị của nó cũng cố định (vd: nóng) • Thuộc tính thường là các giá trị rời rạc nhưng cũng cho phép xử lý trên các giá trị thực (phải mở rộng các thuật toán cơ bản)  Các hàm chức năng (target-functions) có các giá trị đầu ra là rời rạc • Trong... với cây Quyết định đơn biến  Thuộc tính không phải nhị phân (nonbinary) • Vẫn sử dụng kỹ thuật trên • Đặt ngưỡng với miền giá trị thực • Chọn gom nhóm phân loại với những giá trị phân loại 18 Giới thiệu    Cây quyết định là phương pháp suy luận qui nạp được sử dụng và thực hành rãi nhất Là một phương pháp xấp xỉ hàm mục tiêu của tập các giá trị rời rạc Cách biểu diễn các hàm học được • Cây quyết định. .. từ gốc đến lá • Mỗi node trong cây là một thuộc tính của các thể hiện • Mỗi nhánh là một giá trị có thể có của các thuộc tính này  Cây quyết định được sử dụng trong phân lớp bằng cách duyệt từ nút gốc của cây cho đến khi đụng đến nút lá, từ đó rút ra lớp của đối tượng cần xét 21 Ví dụ David là quản lý của một câu lạc bộ đánh golf nổi tiếng Anh ta đang có rắc rối chuyện các thành viên đến hay không đến... chơi, và câu lạc bộ lại thừa nhân viên Mục tiêu của David là tối ưu hóa số nhân viên phục vụ mỗi ngày bằng cách dựa theo thông tin dự báo thời tiết để đoán xem khi nào người ta sẽ đến chơi golf Để thực hiện điều đó, anh cần hiểu được tại sao khách hàng quyết định chơi và tìm hiểu xem có cách giải thích nào cho việc đó hay không Vậy là trong hai tuần, anh ta thu thập thông tin về: Trời (outlook) (nắng . bày  Định nghĩa  Xây dựng cây quyết định  Giới thiệu cây quyết định  Biểu diễn cây quyết định  Các vấn đề thường dùng cây quyết định để giải quyết  Các vấn đề trong cây quyết định 3 Định. 1 XÂY DỰNG, BIỂU DIỄN CÂY QUYẾT ĐỊNH CÁC VẤN ĐỀ THƯỜNG DÙNG CÂY QUYẾT ĐỊNH GIẢI QUYẾT Giáo viên hướng dẫn: PGS. TS Đỗ Phúc Sinh viên thực. đủ Học có giám sát với cây quyết định đơn biến 9 Chọn lựa kiểu cho thử nghiệm  Ví dụ 10  Giảm độ hỗn loạn để xây dựng cây quyết định • Vấn đề : chọn thứ tự các thử nghiệm • Với các thuộc tính phân