... giá câyquyếtđịnh trong lĩnh vực khai phá dữ liệu
1.2.3.1. Sức mạnh của câyquyếtđịnh
Cây quyếtđịnh có 5 sức mạnh chính sau [5]:
Khả năng sinh ra các quy tắ
c hiểu được
Cây quyếtđịnh ... trước khi quyếtđịnh xem kết quả nào đáng giữ lại. C4.5 sử dụng kỹ thuật
thứ hai để tránh “quá vừa” dữ liệu.
2.2.4. Chuyển đổi từ câyquyếtđịnh sang luật
Việc chuyển đổi từ câyquyếtđịnh sang ... trên câyquyếtđịnh
Khóa luận tốt nghiệp – Nguyễn Thị Thùy Linh – K46CA
-
22
-
mỗi node trong quá trình phát triển câyquyết định. C4.5 còn chứa một kỹ thuật cho
phép biểu diễn lại cây quyết...
... bằng câyquyếtđịnh
2.1. Câyquyếtđịnh
2.1.1. Định nghĩa câyquyếtđịnh
2.1.2. Ưu điểm của câyquyếtđịnh
2.1.3. Vấn đề xây dựng câyquyếtđịnh
2.1.4. Rút ra các luật từ câyquyết định. ... dùng trong câyquyếtđịnh
được gọi là học bằng câyquyết định, hay chỉ gọi với cái tên ngắn gọn là cây
quyết định. [3]
Ví dụ: Câyquyếtđịnh phân lớp mức lương
Hình 2.1 Câyquyếtđịnh phân lớp ... phá dữ liệu.
Chương 2: Khai phá dữ liệu bằng câyquyết định
2.1. Câyquyết định
2.1.1. Định nghĩa câyquyết định
Trong lĩnh vực học máy, câyquyếtđịnh là một kiểu mô hình dự báo
(predictive...
... 5 1014 6
Trí Tuệ Nhân Tạo – Học Máy
quyết định được gọi là học bằng câyquyết định, hay chỉ gọi với cái tên ngắn gọn là cây
quyết định.
Học bằng câyquyếtđịnh cũng là một phương pháp thông dụng ... giải
quyết bài toán trong trường hợp tổng quát.
Phần I: Câyquyếtđịnh
Trong lý thuyết quyếtđịnh (chẳng hạn quản lí rủi ro), một câyquyếtđịnh (decision tree)
là một đồ thị của các quyếtđịnh ... phí
tài nguyên). Câyquyếtđịnh được sử dụng để xây dựng một kế hoạch nhằm đạt được mục
tiêu mong muốn. Các câyquyếtđịnh được dùng để hỗ trợ quá trình ra quyết định. Cây
quyếtđịnh là một dạng...
... nó.
–
Đầu ra: Câyquyếtđịnh có khả năng phân loại đúng đắn các ví dụ
trong tập dữ liệu rèn luyện
•
xây dựng câyquyếtđịnh theo cách từ trên xuống
Overfitting
•
Cây quyếtđịnh bị ảnh hưởng ... xây dựng câyquyết định
•
Gồm 2 bước:
–
Phát triển câyquyết định: đi từ gốc, đến các nhánh, phát triển quy
nạp theo hình thức chia để trị.
•
Chọn thuộc tính “tốt” nhất bằng một độ đo đã định trước
•
Phát ... of N;
return N
Tạo một câyquyết định
•
Cây quyếtđịnh được xây dựng và huấn luyện dựa trên tập dữ
liệu
•
Quá trình tạo gồm hai giai đoạn:
–
xây dựng
–
cắt tỉa: Xác định và loại bỏ những nhánh...
...
1.1 Mô hình câyquyếtđịnh
Cây quyếtđịnh (decision tree) là một trong những hình thức mô tả dữ liệu trực quan
nhất, dễ hiểu nhất đối với người dùng. Cấu trúc của một câyquyếtđịnh bao gồm ... và hạn chế của mô hình câyquyếtđịnh
Một số thuận lợi sau đây của câyquyếtđịnh được xem như là một công cụ phân
loại mà đã chỉ ra trong tài liệu này:
1. Câyquyếtđịnh tự giải thích và ... trên câyquyết định. Biểu đồ trên có đường cong trên và
dưới giống như H3 thể hiện độ chính xác của tập huấn luyện và tập test. Thêm vào đó
còn thể hiện hiệu quả độ chính xác của câyquyết định...
... thuật ID3 có xu
hướng chọn câyquyếtđịnh ngắn hơn là những câyquyết
định dài.
2.2.6. Đánh giá hiệu suất của câyquyết định.
Để đánh giá hiệu suất của một câyquyếtđịnh người ta
thường sử ... điểm của câyquyết định.
So với các phương pháp khai phá dữ liệu khác, cây
quyết định là phương pháp có một số ưu điểm:
Cây quyếtđịnh dễ hiểu. Người ta có thể hiểu
mô hình câyquyếtđịnh sau ... bày các phương pháp khai phá dữ liệu
bằng câyquyết định, khái niệm cơ bản về câyquyết định, các
thuật toán ID3, C4.5, và rút gọn các luật quyết định.
Chương ba là xây dựng chương trình thử...
... luật với mô hình cây
quyết định như sau:
Hình 7: Câyquyếtđịnh ứng với thuật toán ID3
• Các luật quyếtđịnh ứng với câyquyếtđịnh ID3
Hình 8: Một số luật của câyquyếtđịnh ID3
17
... hợp đồng tín dụng
2.2 Sử dụng câyquyếtđịnh (DT) để phân loại khách hàng
2.2.1 Tổng quan về thuật toán câyquyếtđịnh
Chúng ta có thể định nghĩa câyquyếtđịnh có các tính chất sau:
• Mỗi ...
Dulieu_nganhang.xls. Dựa vào tập Dulieunganhang.xls sẽ xây dựng mô hình câyquyết
định, từ câyquyếtđịnh rút ra các luật quyết định. Dựa vào các luật quyếtđịnh đó ta sẽ phân
lớp được tập dữ liệu mới (dữ liệu...
... các luật quyết định.
Cây quyếtđịnh được sử dụng để xây dựng một kế hoạch nhằm đạt được mục
đích mong muốn. Các câyquyếtđịnh được dùng để hỗ trợ quá trình ra quyết định.
Cây quyếtđịnh là ... KHAI PHÁ DỮ LIỆU BẰNG CÂYQUYẾTĐỊNH 19
3.1. Câyquyếtđịnh 19
3.1.1. Định nghĩa 19
3.1.2.Học câyquyếtđịnh (Dicision tree learning): 20
3.1.3.Tại sao học câyquyếtđịnh là một phương pháp ... dữ liệu bằng câyquyết định, các thuật toán xây dựng
cây quyết định.
Ứng dụng: Xây dựng chương trình demo cho ứng dụng khai phá dữ liệu
bằng câyquyết định, sử dụng câyquyếtđịnh để dự đoán...
... đó. Kỹ thuật học máy dùng trong câyquyết
định được gọi là học bằng câyquyết định, hay chỉ gọi với cái tên ngắn gọn là
cây quyết định.
Học bằng câyquyếtđịnh cũng là một phương pháp thông ...
3.1.2Các kiểu câyquyếtđịnh
Cây quyếtđịnh còn có hai tên khác:
Trong quá trình tìm kiếm, giải thuật ID3 có xu hướng chọn cây
quyết định ngắn hơn là những câyquyếtđịnh dài. Đây là tính ... khác, câyquyếtđịnh là phương
pháp có một số ưu điểm:
Câyquyếtđịnh dễ hiểu. Người ta có thể hiểu mô hình câyquyết
định sau khi được giải thích ngắn.
Việc chuẩn bị dữ liệu cho một cây quyết...
... biến đó là câyquyết định. Nghiên cứu
chỉ ra rằng SVM với cách lựa chọn đặc trưng bằng phương pháp tách giá trị đơn (SVD)
cho kết quả tốt h
ơn so với câyquyết định.
Từ khóa: Câyquyết định, máy ... chỉ số này sẽ được dùng để đánh giá hiệu quả câyquyếtđịnh và máy học
SVM về sau, trong phần thực nghiệm.
3.3 Xén tỉa câyquyếtđịnh
Cây quyếtđịnh vừa được xây dựng thường là lớn, không mang ... thì ta sẽ duyệt tiếp cây con trái của câyquyết
định.
- Nếu từ thuộc văn bản và giá trị của từ lớn hơn giá trị phân tách tại nút thì ta sẽ
duyệt cây con phải của câyquyết định.
- Quá trình...
... trong câyquyếtđịnh đƣợc gọi là học bằng
cây quyết định, hay chỉ gọi với cái tên ngắn gọn là câyquyết định.
Ví dụ: Câyquyếtđịnh phân lớp mức lƣơng
2.1.2 Các kiểu câyquyếtđịnh
Cây quyết ... LIỆU BẰNG CÂY
QUYẾT ĐỊNH 18
2.1 Câyquyếtđịnh 18
2.1.1 Giới thiệu 18
2.1.2 Các kiểu câyquyếtđịnh 18
2.1.3 Ưu điểm của câyquyếtđịnh 19
2.1.4 Phân lớp dữ liệu bằng câyquyếtđịnh 19
2.1.5 ... bằng câyquyết định, khái
niệm cơ bản về câyquyết định, các thuật toán xây dựng câyquyết định: CLS, ID3,
C4.5, rút gọn các luật quyếtđịnh và đánh giá các thuật toán xây dựng câyquyết định. ...
... lỗi từ các mô hình xây dựng từ các
bước lặp trước đó.
3.1 Câyquyếtđịnh ngẫu nhiên xiên phân đơn giản
Quá trình xây dựng câyquyếtđịnh của các giải thuật học tự
động CART (Breiman
et al., ... thể thực hiện một cách hoàn hảo với duy nhất một lần. Tức là,
cây quyếtđịnh đơn giản (decision stump) không hiệu quả bằng câyquyếtđịnh xiên
phân đơn gi
ản (decision oblique stump).
Tạp chí ... nhược điểm trên, nhiều giải thuật xây dựng câyquyếtđịnh sử dụng
phân hoạch đa thuộc tính (xiên phân) tại các nút được đề nghị. Vấn đề xây dựng
cây quyếtđịnh xiên tối ưu đã được biết như là một...