ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN ANH TUẤN THỐNG KÊ BAYES NHIỀU CHIỀU VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN ANH TUẤN THỐNG KÊ BAYES NHIỀU CHIỀU VÀ ỨNG DỤNG Chuyên ngành: Lí thuyết xác suất thống kê Toán Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TSKH ĐẶNG HÙNG THẮNG HÀ NỘI - 2015 Mục lục Lời nói đầu Chương Các phân phối xác suất nhiều chiều quan trọng 1.1 1.2 1.3 Phân phối nhiều chiều 1.1.1 Phân phối chuẩn nhiều chiều 1.1.2 Phân phối Student nhiều chiều t Phân phối ma trận ngẫu nhiên 1.2.1 Phân phối chuẩn ma trận 1.2.2 Phân phối Wishart 1.2.3 Phân phối Wishart nghịch đảo 10 1.2.4 Phân phối ma trận T 10 Vectơ ngẫu nhiên liên tục 11 1.4 Ma trận ngẫu nhiên liên tục 11 Chương Mở đầu thống kê Bayes nhiều chiều 2.1 2.2 13 Phân phối tiên nghiệm 13 2.1.1 Phân phối tiên nghiệm mơ hồ 13 2.1.2 Phân phối tiên nghiệm liên hợp 14 2.1.3 Phân phối tiên nghiệm tổng quát 14 2.1.4 Vectơ ngẫu nhiên 14 2.1.5 Phân phối tiên nghiệm tương quan 15 Đánh giá siêu tham số 16 2.2.1 Hàm hợp lí phân phối chuẩn nhiều chiều 16 2.2.2 Hàm hợp lí phân phối chuẩn ma trận 17 2.3 Phương pháp ước lượng Bayes 17 2.3.1 Trung bình biên duyên hậu nghiệm 17 2.3.2 Tối đa hóa hậu nghiệm 18 Chương Hồi quy Bayes áp dụng 3.1 19 Mô hình hồi quy tuyến tính đa biến 19 3.2 Hồi quy Bayes nhiều biến 20 3.3 Áp dụng 20 3.3.1 Xét nghiệm Insulin 20 3.3.2 Bữa tiệc Cocktail 21 3.3.3 Mô hình tách nguồn 22 Tài liệu tham khảo 29 Lời cảm ơn Trước trình bày nội dung luận văn, Tác giả xin bày tỏ lòng biết ơn sâu sắc tới GS TSKH Đặng Hùng Thắng người Thầy đáng kính tận tình bảo giúp đỡ tác giả suốt thời gian qua Mặc dù có nhiều cố gắng, song trình thực luận văn Tác giả không tránh khỏi thiếu sót Vì vậy, Tác giả mong nhận ý kiến đóng góp Thầy Cô bạn bè đồng nghiệp, để luận văn hoàn thiện Tác giả xin chân thành cảm ơn! Hà Nội, ngày 10 tháng 10 năm 2015 Học viên Trần Anh Tuấn Lời nói đầu Hiện thống kê có hai trường phái: Thống kê tần suất thống kê Bayes Thống kê tần suất đời trước, phương pháp phổ biến Nó dựa kết quan sát mẫu mà không cần để ý đến thông tin, liệu biết trước Thống kê Bayes dựa thông tin liệu biết trước vấn quan sát để suy luận cho thống kê Suy luận Bayes sử dụng rộng rãi tất ngành nghề y học, kinh tế, tin học, Đặc biệt xác suất thống kê đóng vai trò quan trọng Hiện tìm số biểu thức giải tích hậu nghiệm cụ thể giả sử tiên nghiệm hàm mật độ xác suất thông dụng Beta, mũ, chuẩn, Trong thống kê sử dụng định lí Bayes cho ước lượng kiểm định tham số thống kê, toán phân loại ngày trở nên phổ biến Trong đề tài luận văn này, tác giả trình bày số kiến thức thống kê Bayes nhiều chiều mô hình hồi quy Bayes đồng thời đưa số ứng dụng hồi quy Bayes Luận văn tác giả chia làm chương Chương Các phân phối xác suất nhiều chiều quan trọng Chương Mở đầu thống kê Bayes nhiều chiều Chương Hồi quy Bayes áp dụng Chương Các phân phối xác suất nhiều chiều quan trọng 1.1 1.1.1 Phân phối nhiều chiều Phân phối chuẩn nhiều chiều Một biến ngẫu nhiên tuân theo quy luật p-biến ngẫu nhiên phân phối chuẩn nhiều chiều với vectơ kì vọng µ CHƯƠNG CÁC PHÂN PHỐI XÁC SUẤT NHIỀU CHIỀU QUAN TRỌNG ma trận hiệp phương sai Σ kí hiệu x|µ, Σ ∼ N (µ, Σ), (1.1) tham số (µ, Σ) cho p −1 (x−µ) p(x|µ, Σ) = (2π)− |Σ|− e− (x−µ) Σ 1.1.2 , (1.2) Phân phối Student nhiều chiều t Một biến ngẫu nhiên tuân theo t-phân phối Student nhiều chiều kí hiệu t|ν, t0 , Σ, φ2 ∼ t(ν, t0 , Σ, φ2 ), (1.3) tham số (ν, t0 , Σ, φ2 ) cho ν kt (φ2 )− |Σ|− 2 p(t|ν, t0 , Σ, φ ) = φ2 + (t − t0 ) Σ−1 (t − t0 )) ν ν+p , (1.4) kt = Γ ν+p p (νπ) Γ ν , (1.5) CHƯƠNG CÁC PHÂN PHỐI XÁC SUẤT NHIỀU CHIỀU QUAN TRỌNG −1 =2 kW ν0 p π p(p−1) p Γ j=1 1.2.3 ν0 + − j (1.10) Phân phối Wishart nghịch đảo Một p × p ma trận ngẫu nhiên Σ tuân theo phân phối Wishart nghịch đảo kí hiệu Σ|Q, p, ν ∼ IW (Q, p, ν) (1.11) tham số (Σ|Q, p, ν) cho p(Σ|ν, Q) = kIW |Q| ν−p−1 ν −1 Q |Σ|− e− trΣ , (1.12) −1 kIW =2 (ν−p−1)p π p(p−1) p Γ j=1 1.2.4 ν−p−j (1.13) Phân phối ma trận T Một biến ngẫu nhiên T tuân theo T -phân phối ma trận Student kí hiệu T |ν, T0 , Σ, Φ ∼ T (ν, T0 , Σ, Φ), 10 (1.14) CHƯƠNG CÁC PHÂN PHỐI XÁC SUẤT NHIỀU CHIỀU QUAN TRỌNG tham số (ν, T0 , Σ, Φ) cho ν p(T |ν, T0 , Σ, Φ) = kT n |Φ| |Σ|− ν+p Φ + ν1 (T − T0 )Σ−1 (T − T0 ) , (1.15) kT = Πnj=1 Γ (νπ) 1.3 np ν+p+1−j Πnj=1 Γ ν+1−j (1.16) Vectơ ngẫu nhiên liên tục Hàm hợp lí: p(x1 , , xn |θ1 , , θJ ) = Πni=1 p(xi |θ1 , , θJ ) (1.17) Hậu nghiệm: p(θ1 , , θJ |x1 , , xn ) = 1.4 p(θ1 , , θJ )p(x1 , , xn |θ1 , , θJ ) , p(x1 , , xn ) (1.18) Ma trận ngẫu nhiên liên tục Tiên nghiệm: p(θ1 , , θJ ), 11 (1.19) CHƯƠNG CÁC PHÂN PHỐI XÁC SUẤT NHIỀU CHIỀU QUAN TRỌNG θ nhận giá trị ma trận tham số không cần độc lập Hàm hợp lí: p(X1 , , Xn |θ1 , , θJ ) = Πni=1 p(Xi |θ1 , , θJ ) (1.20) Hậu nghiệm: p(θ1 , , θJ |X1 , , Xn ) = p(θ1 , , θJ )p(X1 , , Xn |θ1 , , θJ ) , p(x1 , , xn ) (1.21) 12 Chương Mở đầu thống kê Bayes nhiều chiều 2.1 2.1.1 Phân phối tiên nghiệm Phân phối tiên nghiệm mơ hồ Phân phối tiên nghiệm mơ hồ phân phối tiên nghiệm thông tin dựa tham số bị chặn (có miền giá trị hữu hạn) không bị chặn (có miền giá trị vô hạn) 13 CHƯƠNG MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU 2.1.2 Phân phối tiên nghiệm liên hợp Phân phối tiên nghiệm liên hợp phân phối tiên nghiệm có thông tin 2.1.3 Phân phối tiên nghiệm tổng quát Phân phối tiên nghiệm liên hợp tổng quát tìm cách viết hàm hợp lí, cách tráo đổi vai trò biến ngẫu nhiên tham số, chúng làm tốt phân phối không phụ thuộc vào liệu, giả sử phân phối tiên nghiệm tham số độc lập 2.1.4 2.1.4.1 Vectơ ngẫu nhiên Phân phối chuẩn Bảng 2.1: Phân phối tiên nghiệm liên hợp vectơ tổng quát Hàm hợp lí Các tham số Họ tiên nghiệm biết Σ µ GMN biết µ Σ Whishart nghịch đảo Chuẩn nhiều chiều (µ, Σ) 14 GMN-IW CHƯƠNG MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU 2.1.4.2 Ma trận ngẫu nhiên Bảng 2.2: Ma trận tiên nghiệm liên hợp tổng quát Hàm hợp lí Các tham số biết (Φ, Σ) M GMN biết (M, Φ) Σ Whishart nghịch đảo biết (M, Σ) Φ Whishart nghịch đảo Chuẩn ma trận 2.1.5 (M, Φ, Σ) Họ tiên nghiệm GMN-IW-IW Phân phối tiên nghiệm tương quan Trong mục này, phân phối tiên nghiệm liên hợp sinh từ hệ số tương quan vectơ quan sát Trong phạm vi nhân tố giải tích Bayes, phân phối Beta tổng quát sử dụng cho hệ số tương quan ρ ma trận vectơ tương quan Φ Điều 15 CHƯƠNG MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU thực Φ  ρ ρ ···    ρ ···   Φ=     tương quan lớp ma trận  ρ   ρ   = (1 − ρ)In + ρen en , (2.1)    ρ  1 < n−1 ρ < thứ tự ma trận tương quan Markov   ρ ρ2 · · · ρn−1      ρ ρ · · · ρn−2    Φ= (2.2)      n−1 n−2 ρ ρ ··· en vectơ cột thứ − < |ρ| < 2.2 2.2.1 Đánh giá siêu tham số Hàm hợp lí phân phối chuẩn nhiều chiều Trước biểu diễn phép thử mà đạt biến ngẫu nhiên phân phối chuẩn nhiều chiều, hiểu biết nhìn thấy thí nghiệm tương 16 CHƯƠNG MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU tự thực liệu tồn dạng n0 quan sát x1 , x2 , , xn0 Hàm hợp lí n0 biến ngẫu nhiên − p(x1 , , xn0 |µ, Σ) ∝ |Σ| n0 − 12 e n0 (xi −µ) Σ−1 (xi −µ) i=1 (2.3) 2.2.2 Hàm hợp lí phân phối chuẩn ma trận Hàm hợp lí n0 biến ngẫu nhiên x1 , x2 , , xn0 p(X1 , , Xn0 |M, Σ, Φ) ∝ |Σ| − n0 n1 − |Φ| n p1 e − 12 trΦ−1 n0 (Xi −M ) Σ−1 (Xi −M ) i=1 (2.4) 2.3 Phương pháp ước lượng Bayes 2.3.1 Trung bình biên duyên hậu nghiệm Thông thường có tập tham số, θ = (θ1 , , θJ ) phân phối hậu nghiệm p(θ|X), X biểu diễn cho liệu, tập hợp quan sát vô hướng, vectơ ma trận Phân phối biên duyên hậu nghiệm tham số θj đạt cách lấy tích phân p(θ|X) 17 CHƯƠNG MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU tất tham số trừ θj Có nghĩa là, phân phối biên duyên hậu nghiệm θj p(θj |X) = p(θ1 , , θJ |X)dθ1 dθj−1 dθj+1 dθJ (2.5) dây tích phân lấy miền thích hợp tập tham số 2.3.2 Tối đa hóa hậu nghiệm Để xác định ước lượng tối đa hóa hậu nghiệm kết hợp, lấy vi phân hàm phân phối hậu nghiệm p(θ1 , , θJ |X) (2.6) tham số, cho kết không ∂ p(θ1 , , θJ |X) ∂θ1 θ1 =θˆ1 , ,θJ =θˆJ = ··· = ∂ p(θ1 , , θJ |X) ∂θJ (2.7) giải hệ J phương trình với J ẩn tìm ước lượng tối đa hóa hậu nghiệm kết hợp Arg Max θˆj = θj p(θj |θˆ1 , , θˆJ , X) = θˆj (θˆ1 , , θˆJ , X) 18 (2.8) (2.9) θ1 =θˆ1 , Chương Hồi quy Bayes áp dụng 3.1 Mô hình hồi quy tuyến tính đa biến Trong mô hình hồi quy tuyến tính bội, cặp (xi , ui ) quan sát, i = 1, , n, xi vô hướng ui vectơ (q + 1) chiều chứa quan sát ui1 , , uiq Chúng ta áp dụng mô hình ui xi β = 1×1 1×(q+1)(q+1)×1 + 1×1 19 (3.1) CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG       β      u i1     β =   , ui =   ,       βq uiq (3.2) sau phù hợp với đường tới liệu mẫu 3.2 Hồi quy Bayes nhiều biến Mô hình hồi quy Bayes có dạng (X|B,U ) E U B = [n×(q+1)] [(q+1)×p] + (n×p), (n×p) (3.3) ma trận biến độc lập X, biến phụ thuộc U , ma trận sai số E định nghĩa       x1 u1             X =   , U =   , E =   , (3.4)       xn un n ma trận B xác định 3.3 3.3.1 Áp dụng Xét nghiệm Insulin 20 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG Bảng 3.1: Phân phối tiên nghiệm ma trận liên hợp Các biến X Các biến U X1 Nồng độ thời điểm U1 Loại Insulin X2 Nồng độ thời điểm U2 Mức liều lượng X3 Nồng độ thời điểm U3 U1 *U2 X4 Nồng độ thời điểm X5 Nồng độ thời điểm X6 Nồng độ thời điểm 3.3.2 Bữa tiệc Cocktail Tại bữa tiệc cocktail, có p micro để ghi lại quan sát m người tham gia diễn giả khoảng thời gian n Kí hiệu phù hợp với thống kê nhiều chiều Các đàm thoại quan sát bao gồm pha trộn đàm thoại không thực quan sát Một micro đặt vào miệng diễn giả không bị che từ diễn giải khác Các micro không quan sát trò chuyện diễn giả cách tách biệt Các hội thoại ghi lại cách hỗn hợp Vấn đề để không hỗn 21 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG hợp ghi lại hội thoại gốc từ hội thoại hỗn hợp ghi lại 3.3.3 Mô hình tách nguồn Mô hình tách nguồn cho tất thời gian i (xi |si ) f (si ) i = + (p×1) (p×1) (p×1) 22 (3.5) Kết luận Trong trình nghiên cứu, luận văn trình bày số kiến thức thống kê Bayes nhiều chiều mô hình hồi quy Bayes, đồng thời đưa hai ví dụ minh họa cho mô hình hồi quy Bayes Ví dụ xét nghiệm Insulin minh chứng cho ưu điểm phương pháp Bayes dựa thông tin liệu biết trước vấn đề quan sát để suy luận cho thống kê Mô hình tách nguồn giải thích kĩ thuật sử dụng ví dụ "bữa tiệc cocktail" Bữa tiệc cocktail ví dụ dễ hiểu, mô hình tách nguồn áp dụng 23 Tài liệu tham khảo [1] Aage Volund (1980), Multivariate bioassay, Biometrics, 36:225–236 [2] Bernardo, J.M and Smith A.M (1994), Bayesian Theory, John Wiley, London [3] Daniel B.Rowe (2003), Multivariate Bayes Statistics, Chapman & Hall/CRC [4] Morris, H D (1996), Probability and statistics, Addison-Wesley, United [5] Peter M.Lee (2003) Bayesian Statistics An Introduction, Oxford University Press Inc., New York [6] Peter Congdon (2005), Bayesian Statistical Modelling, Wile 24