Header Page of 126 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ——————————— Đỗ Thị Len PHƯƠNG PHÁP VB VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - 2016 Footer Page of 126 Header Page of 126 ĐẠI HỌC QUỐC GIA HÀ NÔI ĐẠI HỌC KHOA HỌC TỰ NHIÊN ——————————— Đỗ Thị Len PHƯƠNG PHÁP VB VÀ ỨNG DỤNG Chuyên ngành: LÍ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS Trần Mạnh Cường HÀ NỘI - 2016 Footer Page of 126 Header Page of 126 Lời cảm ơn Luận văn hoàn thành với hướng dẫn tận tình nghiêm khắc TS Trần Mạnh Cường Trước trình bày nội dung luận văn, tác giả muốn bày tỏ lòng biết ơn chân thành sâu sắc tới người thầy đáng kính Thầy tận tình hướng dẫn giải đáp thắc mắc tác giả suốt trình làm luận văn Tác giả muốn gửi tới toàn thể thầy cô Khoa Toán - Cơ - Tin học trường Đại học Khoa học Tự nhiên - Đại học Quốc gia Hà Nội, thầy cô đảm nhận giảng dạy khóa Cao học 2014 - 2016, đặc biệt thầy cô tham gia giảng dạy nhóm Xác suất thống kê 2014 - 2016 lời cảm ơn chân thành công lao dạy dỗ suốt thời gian khóa học Tác giả xin cảm ơn gia đình, bạn bè, đồng nghiệp anh chị em nhóm Xác suất thống kê 2014 - 2016, thành viên nhóm Seminar thầy Trần Mạnh Cường phụ trách chủ đề liên quan đến Thống kê Bayes quan tâm, giúp đỡ, tạo điều kiện động viên tinh thần để tác giả hoàn thành khóa học Tác giả xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2016 Học viên Đỗ Thị Len Footer Page of 126 Header Page of 126 Mục lục Lời cảm ơn Lời mở đầu Thống kê Bayes Thống kê Bayes 1.1 Giới thiệu 1.2 Một số phân phối thường dùng 1.3 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức 14 1.3.1 Tiên nghiệm 14 1.3.2 Hậu nghiệm 15 1.3.3 Ước lượng 15 1.3.4 Kiểm định giả thiết 16 1.4 Suy luận Bayes cho kỳ vọng phân phối Gaussian 17 1.4.1 Tiên nghiệm 17 1.4.2 Hậu nghiệm 17 1.4.3 Ước lượng 18 1.4.4 Kiểm định giả thiết 19 1.5 Hồi quy Bayes 20 1.5.1 Suy luận Bayes cho mô hình hồi quy tuyến tính Bayes đơn 21 1.5.2 Mô hình hồi quy tuyến tính Bayes bội 25 1.5.3 Mô hình hồi quy Logistic Bayes 27 Footer Page of 126 HeaderMỤC Page 5LỤC of 126 MỤC LỤC Phương pháp VB 30 2.1 Nguồn gốc toán học 30 2.2 Xấp xỉ phân phối hậu nghiệm 32 2.2.1 Xấp xỉ phân phối hậu nghiệm biến Z độc lập khối 32 2.2.2 Xấp xỉ địa phương - Tham số biến phân 34 2.3 Áp dụng phương pháp VB cho phân phối Gaussian 36 2.3.1 Phân phối Gaussian chiều 36 2.3.2 Phân phối đa thức Gaussian 40 2.4 Áp dụng phương pháp VB cho mô hình hồi quy Bayes 47 2.4.1 Mô hình hồi quy tuyến tính Bayes 47 2.4.2 Mô hình hồi quy Logistic Bayes 52 Ứng dụng 59 3.1 Phân phối hậu nghiệm không thuộc họ phân phối biết 59 3.1.1 Bài toán 60 3.1.2 Thuật toán 63 3.1.3 Code chạy phần mềm mathlab 63 3.1.4 Kết 66 3.2 Phân phối hậu nghiệm thuộc họ phân phối biết 67 3.2.1 Bài toán 67 3.2.2 Thuật toán 71 3.2.3 Code chạy phần mềm mathlab 71 3.2.4 Kết 73 Kết luận Footer Page of 126 75 Header Page of 126 Lời mở đầu Hiện nay, thống kê có hai trường phái: Thống kê tần suất thống kê Bayes Thống kê tần suất đời trước phương pháp phổ biến Nó dựa kết quan sát mẫu mà không cần đến thông tin, liệu biết trước Thống kê Bayes dựa thông tin liệu biết trước kết quan sát mẫu để suy luận cho thống kê Thống kê Bayes hay gọi suy luận Bayes đời sở định lý Bayes Đó kiểu suy luận thống kê mà đó, nhà thống kê sử dụng phân phối tiên nghiệm (thông tin biết trước) vấn đề xét thông tin mẫu (các quan sát hay chứng), áp dụng công thức định lý Bayes để tìm phân phối hậu nghiệm (xác suất xảy tại), từ dùng phân phối hậu nghiệm để suy luận cho thống kê Ví dụ: Xét toán ước lượng cho tham số θ biến ngẫu nhiên X với mẫu X , X , , X n • Theo thống kê tần suất, tham số θ biến ngẫu nhiên nhận giá trị Ta tìm tham số mẫu θ ∗ theo công thức tính dựa theo giá trị quan sát mẫu Ta có E [θ ∗ ] = θ Do đó, ta dùng θ ∗ để ước lượng cho tham số θ Chẳng hạn, ước lượng cho giá n X i , sau dùng trị trung bình µ biến ngẫu nhiên: ta tính trung bình mẫu X = n i =1 giá trị trung bình mẫu để ước lượng cho µ • Theo thống kê Bayes, tham số θ biến ngẫu nhiên liên tục Trước hết, ta biết phân phối tiên nghiệm θ p (θ) Sau đó, áp dụng định lý Bayes ta tính mật độ hậu nghiệm p (θ|X , X , , X n ) Khi tham số mẫu dùng để ước lượng xác Footer Page of 126 Lời mở đầu Header Page of 126 định sau: θ ∗ = E [θ] = θp (θ|X , X , , X n ) d θ Để ước lượng cho tham số thống kê tại, nhà thống kê Bayes cần dùng phân phối hậu nghiệm để ước lượng Như vây ta nói phân phối hậu nghiệm yếu tố đặc biệt quan trọng trình suy luận Bayes Tuy nhiên, việc tính toán để tìm phân phối hậu nghiệm phức tạp không tính Để giải vấn đề này, người ta tìm cách xấp xỉ phân phối hậu nghiệm Do đó, phương pháp VB (Variational Bayesian) đời để tìm giá trị gần phân phối hậu nghiệm Trong luận văn này, tác giả trình bày phương pháp suy luận Bayes phương pháp VB số ứng dụng phương pháp Luận văn tác giả chia làm chương: Chương Thống kê Bayes Trong chương này, tác giả giới thiệu chung thống kê Bayes; số phân phối thông thường; số mô hình suy luận Bayes: Suy luận Bayes cho tham số phân phối nhị thức, kỳ vọng phân phối Gaussian chiều, tham số mô hình hồi quy tuyến tính Bayes đơn Từ làm sở để nghiên cứu phần Chương Phương pháp VB Trong chương này, tác giả trình bày kiến thức phương pháp VB bao gồm: Nguồn gốc toán học; xấp xỉ phân phối hậu nghiệm; áp dụng phương pháp VB cho phân phối Gaussian, áp dụng phương pháp VB cho mô hình hồi quy Bayes Chương Ứng dụng Trong chương này, tác giả giới thiệu ứng dụng phương pháp VB cho hai trường hợp: Phân phối hậu nghiệm không thuộc họ phân phối biết; phân phối hậu nghiệm thuộc họ phân phối biết Để nghiên cứu đề tài "Phương pháp VB ứng dụng", tác giả tham khảo số tài liệu nước thống kê tần suất, thống kê Bayes, phần mềm Mathlab Trong Footer Page of 126 Lời mở đầu Header Page of 126 ◦ Nội dung chương luận văn tham khảo tài liệu [5] [8]; ◦ Nội dung chương luận văn tham khảo tài liệu [5] [6]; ◦ Nội dung chương luận văn tham khảo tài liệu [5]; ◦ Ở phần ứng dụng phương pháp VB, tác giả áp dụng phương pháp VB để tính toán Từ đó, viết thuật toán dùng phần mềm Mathlab để thực kết Footer Page of 126 Header Page of 126 Chương Thống kê Bayes Thống kê Bayes có khác biệt so với thống kê tần suất cách thức tiếp cận vấn đề: Thống kê tần suất quan niệm tham số biến ngẫu nhiên giá trị đó, thống kê Bayes quan niệm tham số biến ngẫu nhiên biến ngẫu nhiên Suy luận Bayes thực theo trình tự: từ phân phối tiên nghiệm mà ta tin tưởng, áp dụng định lý Bayes tìm phân phối hậu nghiệm, sau dùng phân phối hậu nghiệm để ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính 1.1 Giới thiệu Suy luận Bayes xuất phát từ định lý Bayes điều chỉnh xác suất có thông tin theo cách sau đây: P (Z |X ) = P (X |Z ) P (Z ) P (X ) Trong Z đại diện cho giả thiết, giả thiết suy luận trước có thông tin P (Z ) gọi xác suất tiên nghiệm Z P (X |Z ) xác suất xảy X biết giả thiết Z Đại lượng gọi hàm hợp lý (likelihood) biểu diễn dạng hàm X cho trước Z thông tin Footer Page of 126 HeaderGiới Pagethiệu 10 of 126 Thống kê Bayes P (X ) gọi xác suất biên duyên X P (Z |X ) gọi xác suất hậu nghiệm Z biết X Theo định lý xác suất hậu nghiệm tỉ lệ với tích xác suất tiên nghiệm hàm hợp lý, kí hiệu P (Z |X ) ∝ P (Z ) × P (X |Z ) Tức tiên nghiệm nhân với số không ảnh hưởng đến kết hậu nghiệm P (X |Z ) đại diện cho ảnh hưởng thông tin thu P (X ) xác xuất xảy Z biết X Nếu hệ số có giá trị lớn, nhân xác suất tiên nghiệm Hệ số Bayes B = với hệ số này, ta xác suất hậu nghiệm lớn Nhờ đó, suy luận Bayes, định lý Bayes đo mức độ mà thông tin làm thay đổi mức độ tin tưởng vào giả thiết Khi có thông tin biến ngẫu nhiên, suy luận Bayes cho biến ngẫu nhiên thực theo bước sau: • Xác định phân phối tiên nghiệm Phân phối tiên nghiệm (prior distribution) biến ngẫu nhiên Z phân phối mà ta tin tưởng, có từ kinh nghiệm tích lũy, kí hiệu p (Z ) • Áp dụng định lý Bayes để tìm phân phối hậu nghiệm Phân phối hậu nghiệm (posterior distribution) biến Z biết X phân phối có tính toán theo định lý Bayes, sau có thông tin p (X |Z ) Kí hiệu p (Z |X ) • Dùng phân phối hậu nghiệm để suy luận cho thống kê tại: Ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính Trong luận văn này, phân phối tiên nghiệm để suy luận cho biến ngẫu nhiên phân phối tiên nghiệm liên hợp Phân phối tiên nghiệm liên hợp (conjugate prior) phân phối tiên nghiệm mà phân phối hậu nghiệm tìm họ với phân phối tiên nghiệm Các nhà thống kê Bayes lập luận người ta có xác suất chủ quan tiên nghiệm khác với thông tin từ quan sát lặp lặp lại có xu hướng đưa xác suất hậu nghiệm họ lại gần Footer Page 10 of 126 Header1.3 PageSUY 18 ofLUẬN 126 BAYES CHO THAM SỐ TỈ LỆ PHÂN PHỐI NHỊ THỨC Thống kê Bayes đặc trưng xác định sau: W (Λ|W, v) = B (W, v) |Λ|(v−D−1)/2 exp − Tr W−1 Λ B (W, v) = |W| −v/2 vD/2 D(D−1)/4 π D v +1−i Γ i =1 −1 E [Λ] = vW E [ln |Λ|] = D ψ i =1 v +1−i + D ln + ln |W| Trong W ma trận xác định dương cỡ D × D , tham số v hệ số tự v > D − Phân phối Wishart phân phối tiên nghiệm liên hợp ma trận độ xác biến nhiều chiều tuân theo quy luật phân phối Gaussian Trong trường hợp chiều phân phối Wishart phân phối G am (λ|a, b) với tham số a = v/2 b = 1/2W 1.3 1.3.1 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức Tiên nghiệm Họ liên hợp phân phối tiên nghiệm tham số tỷ lệ Π phân phối nhị thức họ phân phối B et a (Π|a, b) có dạng g (Π|a, b) = Γ (a + b) a−1 π (1 − π)b−1 Γ (a) Γ (b) (1.1) Trong tham số a, b xác định sau: Dựa theo kinh nghiệm mà người ta tin tưởng, phân phối tiên nghiệm có kỳ vọng π0 phương sai σ20 Theo công thức tính kỳ vọng phương sai phân phối Beta ta có: π0 = σ20 = a a +b ab (a + b) (a + b + 1) = π0 (1 − π0 ) (a + b + 1) Giải hệ ta tìm a, b Từ có phân phối nghiệm tham số Π Footer Page 18 of 126 14 HeaderSuy Pageluận 19 ofBayes 126 cho tham số tỉ lệ Thống kê Bayes Theo công thức tính đặc trưng phân phối nhị thức, ta cần chọn mẫu quan sát để thu thập thông tin có kích thước n = a + b + kết số lần thành công M Khi ta có hàm hợp lý:  f (M |n, π) =  1.3.2  n m  πm (1 − π)n−m , ≤ π ≤ (1.2) Hậu nghiệm Theo định lý Bayes công thức (1.1), (1.2) ta có phân phối hậu nghiệm tham số Π xác định sau: g (Π|M = m) = g (Π) × f (M |n, π) g (Π) × f (M |n, π) d π = πa+m−1 (1 − π)n−m+b−1 πa+m−1 (1 − π)n−m+b−1 d π = Γ (n + a + b) πa+m−1 (1 − π)n−m+b−1 Γ (m + a) Γ (n − m + b) (1.3) Như vậy, phân phối hậu nghiệm tham số Π phân phối B et a Π|a , b với a = a + m b = b + n − m 1.3.3 Ước lượng • Ước lượng điểm cho tham số Π π = m n • Ước lượng khoảng cho tham số Π: Phân phối hậu nghiệm xấp xỉ phân phối chuẩn N m , s Kỳ vọng phân phối hậu nghiệm m = Phương sai phân phối hậu nghiệm s a a +b = ab (a + b ) (a + b + 1) Với độ tin cậy (1 − α) × 100%, khoảng tin cậy π xấp xỉ khoảng xác định sau: m − z α × s ;m + z α × s Footer Page 19 of 126 15 (1.4) HeaderSuy Pageluận 20 ofBayes 126 cho tham số tỉ lệ Thống kê Bayes Trong z α2 phân vị mức α/2 phân phối chuẩn tắc, ví dụ với độ tin cậy 95% z α2 = 1.96 Xấp xỉ hiệu ta có a ≥ 10 b ≥ 10 1.3.4 Kiểm định giả thiết Kiểm định phía Bài toán kiểm định với mức ý nghĩa α H : π ≤ π0 H : π > π0 Ta tính xác suất để giả thiết tích phân mật độ hậu nghiệm (1.3) miền giả thiết π0 P (H0 : π ≤ π0 |m) = g (Π|m)d π Ta bác bỏ giả thiết xác suất hậu nghiệm nhỏ mức ý nghĩa α Kiểm định hai phía Bài toán kiểm định với mức ý nghĩa α H : π = π0 H : π = π0 Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy π với mức ý nghĩa α Nếu giá trị quan sát không thuộc khoảng tin cậy (1.4) ta bác bỏ giả thiết; giá trị quan sát thuộc khoảng tin cậy ta bác bỏ giả thiết Footer Page 20 of 126 16 Header1.4 PageSUY 21 ofLUẬN 126 BAYES CHO KỲ VỌNG PHÂN PHỐI GAUSSIAN 1.4 1.4.1 Thống kê Bayes Suy luận Bayes cho kỳ vọng phân phối Gaussian Tiên nghiệm Xét biến quan sát Y tuân theo quy luật phân phối chuẩn có kỳ vọng µ phương sai σ2 biết Giả sử phân phối tiên nghiệm phân phối chuẩn với kỳ vọng m phương sai s Khi hàm mật độ tiên nghiệm µ có dạng: g µ ∝ e − 2s (µ−m )2 (1.5) Ở đây, ta bỏ qua phần không phụ thuộc µ tiên nghiệm nhân với số không ảnh hưởng đến kết hậu nghiệm Hàm hợp lý có dạng: f Y |µ ∝ e − ( y−µ)2 2σ (1.6) Ở đây, ta bỏ qua phần không phụ thuộc µ tiên nghiệm nhân với số không ảnh hưởng đến kết hậu nghiệm 1.4.2 Hậu nghiệm Theo định lý Bayes hậu nghiệm tỷ lệ với tích tiên nghiệm hàm hợp lý g µ|y ∝ g µ × f Y |µ Do đó, theo (1.5) (1.6) ta có: 2 µ−m y−µ g µ|y ∝ exp − 12 ( s ) + ( σ2 ) σ2 m+s y ) σ2 +s ∝ exp − 2σ2 s / 1σ2 +s µ − ( ( ) Như phân phối hậu nghiệm tham số µ phân phối chuẩn với kỳ vọng Footer Page 21 of 126 17 HeaderSuy Pageluận 22 ofBayes 126 cho kỳ vọng Thống kê Bayes phương sai xác định sau: m = σ2 m + s y σ2 + s σ2 s 2 s = σ + s2 1 −1 = 2+ s σ s Công thức tính kỳ vọng biến đổi sang dạng: m = σ2 m + s y σ2 + s σ2 s2 = m + y σ + s2 σ2 + s 1/s 1/σ2 = m + y 1/σ2 + 1/s 1/σ2 + 1/s Một cách khác, với mẫu ngẫu nhiên y , y n phân phối chuẩn kỳ vọng µ phương sai σ2 biết, ta dùng hàm hợp lý trung bình mẫu y Trong y tuân theo quy luật phân phối chuẩn với kỳ vọng µ phương sai σ2 Phân phối hậu nghiệm xác định với kỳ n vọng phương sai theo biểu thức sau: 1/s n/σ2 × m + ×y n/σ2 + 1/s n/σ2 + 1/s 1 n = 2+ 2 s σ (s ) m = 1.4.3 (1.7) (1.8) Ước lượng Phương sai biết Phân phối hậu nghiệm xấp xỉ phân phối chuẩn N m , s Kỳ vọng phân phối hậu nghiệm m xác định theo công thức (1.7), thực theo bước: Độ xác nghịch đảo phương sai: s2 Độ xác hậu nghiệm tổng độ xác tiên nghiệm độ xác trung bình mẫu: n + 2 s σ Kỳ vọng hậu nghiệm tổng có trọng số kỳ vọng tiên nghiệm trung bình Footer Page 22 of 126 18 HeaderSuy Pageluận 23 ofBayes 126 cho kỳ vọng Thống kê Bayes mẫu, trọng số tỷ lệ độ xác với độ xác hậu nghiệm: 1/s n/σ2 ×m + ×y n/σ2 + 1/s n/σ2 + 1/s Phương sai s xác đinh theo công thức (1.8) Từ đó, với độ tin cậy (1 − α) × 100%, khoảng tin cậy π xấp xỉ khoảng xác định sau: m − z α × s ;m + z α × s 2 (1.9) Trong z α2 phân vị mức α/2 phân phối chuẩn tắc Phương sai chưa biết Tìm phương sai mẫu: σ2 = n yi − y n − i =1 Từ tìm m s theo công thức (1.7), (1.8) dùng σ2 xác định thay cho phương sai σ2 chưa biết Khi đó, phân phối hậu nghiệm xấp xỉ phân phối Student Với độ tin cậy (1 − α) × 100%, khoảng tin cậy µ xấp xỉ khoảng xác định sau: m − t α × s ;m + t α × s 2 Trong t α2 phân vị mức α/2 phân phối Student với hệ số tự n − 1.4.4 Kiểm định giả thiết Kiểm định phía Bài toán kiểm định với mức ý nghĩa α H0 : µ ≤ µ0 H1 : µ > µ0 Footer Page 23 of 126 19 (1.10) Header1.5 PageHỒI 24 ofQUY 126 BAYES Thống kê Bayes Ta tính xác suất giả thiết tích phân mật độ hậu nghiệm miền giả thiết µ0 P H0 : µ ≤ µ0 |y , y , y n = g µ|y , y , y n d µ −∞ µ−m µ0 − m ≤ s s µ0 − m =P Z ≤ s =P Ta bác bỏ giả thiết xác suất hậu nghiệm nhỏ mức ý nghĩa α Nếu dùng ước lượng cho phương sai mẫu Z tuân theo quy luật phân phối Student với hệ số tự n − Kiểm định hai phía Bài toán kiểm định với mức ý nghĩa α H0 : µ = µ0 H1 : µ = µ0 Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy µ với mức ý nghĩa α theo (1.9) (1.10) Nếu giá trị quan sát không thuộc khoảng tin cậy ta bác bỏ giả thiết; giá trị quan sát thuộc khoảng tin cậy ta bác bỏ giả thiết 1.5 Hồi quy Bayes Mô hình hồi quy tuyến tính biểu biễn mối liên hệ hai biến X Y quan sát Với niềm tin giá trị Y phụ thuộc vào giá trị X , Footer Page 24 of 126 20 HeaderHồi Pagequy 25 of 126 Bayes 1.5.1 Thống kê Bayes Suy luận Bayes cho mô hình hồi quy tuyến tính Bayes đơn Mô hình hồi quy đơn hai biến X Y y = βx + α Trước hết, ta thu thập thông tin n cặp giá trị x i , y i , i = 1, 2, , n Từ tìm hai tham số β α cho tổng bình phương sai số điểm quan sát nhỏ n y i − βx i + α SS = i =1 Theo định lý Bayes hậu nghiệm tỉ lệ với tích tiên nghiệm hàm hợp lý Hàm hợp lý Các quan sát độc lập, với quan sát thứ i ta có y i = α x + β x i − x + εi Trong αx giá trị trung bình y x = x , β hệ số góc εi độc lập với nhau, tuân theo quy luật phân phối chuẩn với kỳ vọng phương sai σ2 Do y i |x i độc lập với tuân theo quy luật phân phối chuẩn với kỳ vọng αx + β x i − x phương sai σ2 Ta có hàm hợp lý quan sát thứ i f i αx , β ∝ e − 2σ2 y i − αx + β x i − x Ở đây, ta bỏ qua phần không chứa tham số, αx Các quan sát độc lập nên ta có hàm Footer Page 25 of 126 21 HeaderHồi Pagequy 26 of 126 Bayes Thống kê Bayes hợp lý hai tham số αx , β f αx , β ∝ n e − 2σ2 [ y i −(αx +β(xi −x ))]2 i =1 ∝ e ∝ e − n 2σ2 i =1 − 2σ2 − 2σ2 /SS x − 2σ2 /SS x [ y i −(αx +β(xi −x ))]2 [SS y −2βSS x y +β2 SS x ] × e − 2σ12 β− SS x y SS x ∝ e ∝ e ∝ f αx × f β [β−B ]2 ×e − 2σ2 /n 2σ2 /n n (αx −y ) (αx −y )2 (αx −A x )2 ×e − xi − x (1.11) yi − y (1.12) Trong n SS x = i =1 n SS y = i =1 n SS x y = xi − x yi − y (1.13) i =1 B= SS x y SS x ; Ax = y Tiên nghiệm Phân phối tiên nghiệm đồng thời cho αx , β g αx , β = g αx × g β Trong αx , β tuân theo phân phối chuẩn: g αx = N m αx , s α2 x g β = N m β , s β2 Hậu nghiệm Footer Page 26 of 126 22 (1.14) HeaderHồi Pagequy 27 of 126 Bayes Thống kê Bayes Phân phối tiên nghiệm đồng thời cho αx , β g αx , β|d at a ∝ g αx , β × f αx , β g αx |d at a × g β|d at a ∝ g αx |d at a = N m α , s αx x g β|d at a = N m β , s β Theo (1.11) ÷ (1.14), kỳ vọng phương sai αx , β xác định sau: s αx = s α2 x sβ n σ2 1/s α2 x mα = x + × mα + x 1/ s αx SS x = 2+ σ sβ mβ = 1/s β2 1/ s β n/σ2 1/ s αx × Ax (1.15) × mβ + SS x /σ2 1/ s β (1.16) ×B Ước lượng cho hệ số góc Trường hợp phương sai biết Theo (1.15), (1.16), với độ tin cậy (1 − α) × 100% ta có khoảng tin cậy hệ số góc β mβ − z α × 2 sβ ; mβ + z α × sβ Ở z α2 phân vị mức α/2 phân phối chuẩn tắc Trường hợp phương sai chưa biết Ta dùng ước lượng cho phương sai n σ2 = Footer Page 27 of 126 i =1 y i − A x + B xi − x n −2 23 (1.17) HeaderHồi Pagequy 28 of 126 Bayes Thống kê Bayes Khi đó, kỳ vọng phương sai β xác định theo (1.15), (1.16) dùng phương sai mẫu thay cho phương sai chưa biết biến ngẫu nhiên Từ đó, với độ tin cậy (1 − α) × 100% ta có khoảng tin cậy hệ số góc β xác định theo công thức: mβ − t α × 2 sβ ; mβ + t α × sβ 2 (1.18) Hoặc B −tα × σ SS x ;B + t α × σ (1.19) SS x Trong đó, t α2 phân vị mức α/2 phân phối Student với hệ số tự n − Kiểm định hệ số góc Kiểm định phía Bài toán kiểm định với mức ý nghĩa α H : β ≤ β0 H : β > β0 Ta tính xác suất giả thiết tích phân mật độ hậu nghiệm miền giả thuyết β0 P H0 : β ≤ β0 |d at a = g β|d at a d β −∞  = P Z ≤ β0 − m β  sβ  Ta bác bỏ giả thiết xác suất hậu nghiệm nhỏ mức ý nghĩa α Nếu dùng ước lượng phương sai mẫu Z biến ngẫu nhiên tuân theo phân phối Student với hệ số tự n − Kiểm định hai phía Ta biết β = y không phụ thuộc vào x Do ta cần làm toán Footer Page 28 of 126 24 HeaderHồi Pagequy 29 of 126 Bayes Thống kê Bayes kiểm định với mức ý nghĩa α H0 : β = H1 : β = Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy β với mức ý nghĩa α theo (1.17) (1.18) hay (1.19) Nếu giá trị không thuộc khoảng tin cậy ta bác bỏ giả thiết; giá trị thuộc khoảng tin cậy ta bác bỏ giả thiết Do có sai khác hàm hồi quy giá trị quan sát nên sử dụng hàm hồi quy người ta viết dạng: y = βx + α + ε Trong ε biến ngẫu nhiên phân phối chuẩn với kỳ vọng 0, phương sai β−1 Người ta gọi ε yếu tố ngẫu nhiên (hoặc nhiễu) 1.5.2 Mô hình hồi quy tuyến tính Bayes bội Mô hình hồi quy hai biến X - k chiều biến Y chiều y = wT φ (x) Trong y = y1, y2, , yn T w = (w0 , w1 , , wk )T φ (x) = T x 1i x ki 1≤i ≤n Như vậy, mô hình hồi quy tổng quát coi w hệ số, φ (x) biến đại diện cho x Footer Page 29 of 126 25 HeaderHồi Pagequy 30 of 126 Bayes Thống kê Bayes Phân phối tham số w p (w) = N (m, S) Ngoài tham số w phụ thuộc tham số α theo quy luật phân phối p (w|α) = N 0, α−1 I Từ số liệu thu thập n cặp giá trị y i , φi người ta thấy có sai khác mô hình giá trị quan sát nên người ta đưa mô hình biến quan sát T phụ thuộc biến Y sau t = y w, φ + ε Trong t = (t , t , , t n )T ε = (ε1 , ε2 , , εn )T ; εi ∼ N 0, β−1 Ta có biến quan sát tuân theo quy luật phân phối: p Ti |φ, w, β = N y i w, φi , β−1 Từ ta có hàm hợp lý p T |φ, w, β = ln p T |φ, w, β = n i =1 n N y i w, φi , β−1 ln N y i (w, X i ) , β−1 i =1 = Footer Page 30 of 126 n n n ln β − ln (2π) − β t i − wT φi 2 i =1 26 HeaderHồi Pagequy 31 of 126 Bayes 1.5.3 Thống kê Bayes Mô hình hồi quy Logistic Bayes Mô hình hồi quy Logistic Ta có biến cố xảy không xảy tương ứng biến ngẫu nhiên nhận giá trị X = 0, xác suất xảy P (X = 1) = π Khi dùng hàm hồi quy tuyến tính thông thương mà dùng hàm hồi quy logistic: log π = α + βX 1−π Từ suy π= e α+βX + e α+βX Ta có biến quan sát X = (X , , X n ) ta có tương ứng π = (π1 , , πn ) Biến ngẫu nhiên Y phụ thuộc biến X theo công thức πi = P (Yi = 1|X i = x i ) = e β0 +βi xi + e β0 +βi xi Từ log πi = β0 + β1 x i + β2 x i + + βn x i n − πi Mô hình hồi quy Logistic Bayes Đây mô hình kết hợp hai mô hình hồi quy Bayes mô hình hồi quy Logistic Mô hình hồi quy Logistic Bayes hai biến X - k chiều biến Y chiều: y = wT φ (x) Footer Page 31 of 126 27 HeaderHậu Pagenghiệm 32 of 126 thuộc họ phân phối biết Ứng dụng Hình 3.3: Xấp xỉ hậu nghiệm µ, σ2 Footer Page 32 of 126 74 ... Do đó, phương pháp VB (Variational Bayesian) đời để tìm giá trị gần phân phối hậu nghiệm Trong luận văn này, tác giả trình bày phương pháp suy luận Bayes phương pháp VB số ứng dụng phương pháp. .. Chương Phương pháp VB Trong chương này, tác giả trình bày kiến thức phương pháp VB bao gồm: Nguồn gốc toán học; xấp xỉ phân phối hậu nghiệm; áp dụng phương pháp VB cho phân phối Gaussian, áp dụng phương. .. VB cho phân phối Gaussian, áp dụng phương pháp VB cho mô hình hồi quy Bayes Chương Ứng dụng Trong chương này, tác giả giới thiệu ứng dụng phương pháp VB cho hai trường hợp: Phân phối hậu nghiệm