Đang tải... (xem toàn văn)
Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes Giới thiệu Học máy mô hình Naive Bayes
Giới thiệu Học máy – Mô hình Naïve Bayes Tô Hoài Việt Khoa Công nghệ Thông tin Đại học Khoa học Tự nhiên TPHCM thviet@fit.hcmuns.edu.vn Trang Nội dung • • • • Giới thiệu Học máy Học gì? Các vấn đề ví dụ học Mô hình Naïve Bayes Trang Tại Học Máy? • • • • Những tiến gần thuật toán lý thuyết “Dòng lũ” lên liệu trực tuyến Sức mạnh tính toán sẵn sàng Ngành công nghiệp nở rộ Ba lĩnh vực thích hợp cho học máy • Khai thác liệu: sử dụng liệu cũ để cải thiện định • Các ứng dụng phần mềm làm tay • Các chương trình tự tối ưu hoá Trang Học gì? • ghi nhớ điều • học kiện qua quan sát thăm dò • cải thiện kỹ vận động và/hay nhận thức qua việc luyện tập • tổ chức tri thức thành biểu diễn tổng quát, hiệu Trang Các loại học • Học có giám sát: cho trước tập mẫucác cặp input/output, tìm luật thực việc dự đoán kết xuất gắn với input • Gom cụm: cho trước tập mẫu, chưa gán nhãn, gom nhóm mẫu thành cụm “tự nhiên” • Học tăng cường: agent tương tác với giới thực quan sát, hành động, thưởng hay phạt; học để chọn hành động theo cách để nhận nhiều phần thưởng Trang Học Hàm Cho trước tập mẫu cặp input/output, tìm hàm làm tốt công việc biểu diễn mối quan hệ • Phát âm: hàm ánh xạ từ ký tự sang âm • Ném bóng: hàm ánh xạ từ vị trí đích thành quỹ đạo cánh tay • Đọc chữ viết tay: hàm ánh xạ từ tập điểm ảnh thành ký tự • Chẩn đoán bệnh: hàm ánh xạ từ kết xét nghiệm thành loại bệnh tật Trang Các vấn đề để học hàm • ghi nhớ • lấy trung bình • tổng quát hoá Trang Bài toán ví dụ Khi lái xe (drive or walk) ? Phụ thuộc vào: • • • • nhiệt độ (temperature) mưa tuyết dự kiến (expected precipitation) ngày tuần (day of the week) cô có cần mua sắm đường hay không (whether she needs to shop on the way home) • cô mặc (what’s she wearing) Trang Ghi nhớ temp precip day shop clothes 80 none sat no casual walk 19 snow mon yes casual drive 65 none tues no casual walk 19 snow mon yes casual Trang Ghi nhớ temp precip day shop clothes 80 none sat no casual walk 19 snow mon yes casual drive 65 none tues no casual walk 19 snow mon yes casual drive Trang 10 Tổng quát hoá Xử lý liệu chưa gặp trước temp precip day shop clothes 71 none fri yes formal drive 38 none sun yes casual walk 62 rain weds no casual walk 93 none mon no casual drive 55 none sat no formal drive 80 none sat no casual walk 19 snow mon yes casual drive 65 none tues no casual walk 58 rain mon no casual Trang 16 Một ví dụ khác f1 f2 f3 f4 y f1 f2 f3 f4 y 1 1 1 1 0 1 1 1 1 1 1 0 1 1 1 1 1 0 0 1 1 0 0 1 1 0 0 0 1 0 1 1 0 1 = = = = Trang 17 Một ví dụ khác (tt) f1 F f3 f4 y 1 0 1 1 1 0 1 1 1 0 1 0 1 0 0 1 1 = ? = ? Trang 18 Naïve Bayes • Dựa luật suy diễn xác suất Bayes • Cập nhật xác suất giả thiết (hàm phân lớp) dựa chứng • Chọn giả thiết có xác suất lớn sau tích hợp chứng • Thuật toán đặc biệt hữu ích cho lĩnh vực có nhiều đặc trưng Trang 19 Ví dụ f1 f2 f3 f4 y 1 0 1 1 1 0 1 0 0 1 0 1 1 0 0 1 1 1 • R1(1,1) = 1/5: tỷ lệ tất mẫu dương (y=1) có đặc trưng = • R1(0,1) = 4/5: tỷ lệ tất mẫu dương có đặc trưng = Trang 20 Ví dụ f1 f2 f3 f4 y 1 0 1 1 1 0 1 0 0 1 0 1 1 0 0 1 1 1 • R1(1,1) = 1/5: tỷ lệ tất mẫu dương (y=1) có đặc trưng = • R1(0,1) = 4/5: tỷ lệ tất mẫu dương có đặc trưng = • R1(1,0) = 5/5: tỷ lệ tất mẫu âm (y=0) có đặc trưng = • R1(0,0) = 0/5: tỷ lệ tất mẫu âm có đặc trưng = Trang 21 Ví dụ f1 f2 f3 f4 y R1(1,1) = 1/5 R1(0,1) = 4/5 1 R1(1,0) = 5/5 R1(0,0) = 0/5 0 1 1 1 R2(1,1) = 1/5 R2(0,1) = 4/5 0 1 R2(1,0) = 2/5 R2(0,0) = 3/5 0 0 1 0 R3(1,1) = 4/5 R3(0,1) = 1/5 1 R3(1,0) = 1/5 R3(0,0) = 4/5 0 0 1 R4(1,1) = 2/5 R4(0,1) = 3/5 1 R4(1,0) = 4/5 R4(0,0) = 1/5 Trang 22 Dự đoán R1(1,1) = 1/5 R1(1,0) = 5/5 R2(1,1) = 1/5 R2(1,0) = 2/5 R3(1,1) = 4/5 R3(1,0) = 1/5 R4(1,1) = 2/5 R4(1,0) = 4/5 • • • • R1(0,1) = 4/5 R1(0,0) = 0/5 R2(0,1) = 4/5 R2(0,0) = 3/5 R3(0,1) = 1/5 R3(0,0) = 4/5 R4(0,1) = 3/5 R4(0,0) = 1/5 Mẫu x = S(1) = R1(0,1) * R2(0,1) * R3(1,1) * R4(1,1) = 205 S(0) = R1(0,0) * R2(0,0) * R3(1,0) * R4(1,0) = Ta có S(1) > S(0), dự đoán lớp Trang 23 Thuật toán Học • Ước lượng từ liệu, với thuộc tính j, có miền giá trị Dj = {v1j, v2j,…vnj}, tính R j (vij ,1) = R j (vij , 0) = #( xij = ∧ y i = 1) #( y i = 1) #( xij = ∧ y i = 0) #( y i = 0) Trang 24 Thuật toán Dự đoán • Cho mẫu x mới, x = (x1, x2,… xn), tính S (1) = ∏ R j ( xi ,1) j S (0) = ∏ R j ( xi , 0) j • Xuất S(1) > S(0) Trang 25 Thuật toán Dự đoán • Cho mẫu x mới, x = (x1, x2,… xn), tính log S (1) = ∑ log R j ( xi ,1) j =1 log S (0) = ∑ log R j ( xi , 0) j =1 • Xuất logS(1) > logS(0) Cộng log dễ dàng nhiều so với nhân số nhỏ Trang 26 Phép sửa lỗi Laplace • Tránh xuất xác suất R j (vij ,1) = R j (vij , 0) = #( x ij = ∧ y i = 1) + #( y i = 1) + #( xij = ∧ y i = 0) + #( y i = 0) + Trang 27 Ví dụ với Sửa lỗi f1 f2 f3 f4 y R1(1,1) = 2/7 R1(0,1) = 5/7 1 R1(1,0) = 6/7 R1(0,0) = 1/7 0 1 1 1 R2(1,1) = 2/7 R2(0,1) = 5/7 0 1 R2(1,0) = 3/7 R2(0,0) = 4/7 0 0 1 0 R3(1,1) = 5/7 R3(0,1) = 2/7 1 R3(1,0) = 2/7 R3(0,0) = 5/7 0 0 1 R4(1,1) = 3/7 R4(0,1) = 4/7 1 R4(1,0) = 5/7 R4(0,0) = 2/7 Trang 28 Dự đoán R1(1,1) = 2/7 R1(1,0) = 6/7 R2(1,1) = 2/7 R2(1,0) = 3/7 R3(1,1) = 5/7 R3(1,0) = 2/7 R4(1,1) = 3/7 R4(1,0) = 5/7 • • • • R1(0,1) = 5/7 R1(0,0) = 1/7 R2(0,1) = 5/7 R2(0,0) = 4/7 R3(0,1) = 2/7 R3(0,0) = 5/7 R4(0,1) = 4/7 R4(0,0) = 2/7 Mẫu x = S(1) = R1(0,1) * R2(0,1) * R3(1,1) * R4(1,1) = 156 S(0) = R1(0,0) * R2(0,0) * R3(1,0) * R4(1,0) = 017 Ta có S(1) > S(0), dự đoán lớp Trang 29 Điều cần nắm • Các vấn đề học máy • Hiểu sử dụng mô hình Naïve Bayes • Nắm vấn đề Naïve Bayes Trang 30 [...]... R2(0,1) * R3(1,1) * R4(1,1) = 156 S(0) = R1(0,0) * R2(0,0) * R3(1,0) * R4(1,0) = 017 Ta có S(1) > S(0), do đó dự đoán lớp 1 Trang 29 Điều cần nắm • Các vấn đề của học máy • Hiểu và sử dụng được mô hình Naïve Bayes • Nắm được các vấn đề của Naïve Bayes Trang 30 ... ví dụ khác (tt) f1 F 2 f3 f4 y 0 1 0 1 1 0 0 0 1 1 1 1 0 1 1 0 0 0 1 1 0 1 0 1 1 1 0 0 1 0 1 0 0 1 0 1 0 0 1 0 0 1 0 1 0 1 1 0 1 0 = ? = ? Trang 18 Naïve Bayes • Dựa trên luật suy diễn xác suất của Bayes • Cập nhật xác suất của giả thiết (hàm phân lớp) dựa trên chứng cứ • Chọn giả thiết có xác suất lớn nhất sau khi tích hợp các chứng cứ • Thuật toán đặc biệt hữu ích cho các... = 3/5 R4(0,0) = 1/5 Mẫu mới x = S(1) = R1(0,1) * R2(0,1) * R3(1,1) * R4(1,1) = 205 S(0) = R1(0,0) * R2(0,0) * R3(1,0) * R4(1,0) = 0 Ta có S(1) > S(0), do đó dự đoán lớp 1 Trang 23 Thuật toán Học • Ước lượng từ dữ liệu, với mọi thuộc tính j, có miền giá trị Dj = {v1j, v2j,…vnj}, tính R j (vij ,1) = R j (vij , 0) = #( xij = 1 ∧ y i = 1) #( y i = 1) #( xij = 1 ∧ y i = 0) #( y i = 0) Trang 24 ...Nội dung • • • • Giới thiệu Học máy Học gì? Các vấn đề ví dụ học Mô hình Naïve Bayes Trang Tại Học Máy? • • • • Những tiến gần thuật toán lý thuyết “Dòng... Ta có S(1) > S(0), dự đoán lớp Trang 29 Điều cần nắm • Các vấn đề học máy • Hiểu sử dụng mô hình Naïve Bayes • Nắm vấn đề Naïve Bayes Trang 30 ... thành cụm “tự nhiên” • Học tăng cường: agent tương tác với giới thực quan sát, hành động, thưởng hay phạt; học để chọn hành động theo cách để nhận nhiều phần thưởng Trang Học Hàm Cho trước tập