ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - NGUYỄN VĂN TÂN THUẬT TOÁN MÔ PHỎNG MCMC THÍCH NGHI VÀ ỨNG DỤNG Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS TRẦN MẠNH CƯỜNG Hà Nội - 2015 M cl c L i nói đ u Ki n th c chu n b 1.1 S h i t c a dãy đ i lư ng ng u nhiên 51.2 Dãy mixingale 61.3 Các thu t toán mô ph ng b n 1.3.1 Phương pháp bi n đ i ngh ch đ o 81.3.2 Phương pháp lo i b 91.3.3 Phương pháp l y m u quan tr ng 13 1.4 Xích Markov 15 Phương pháp MCMC 2.1 Gi i thi u 22 22 2.2 M u Metropolis - Hastings 23 2.3 M t s thu t toán MCMC 29 2.3.1 M u Gibbs 29 2.3.2 M u đ c l p 30 2.3.3 M u Metropolis - Hastings du đ ng ng u nhiên 32 2.3.4 M u Metropolis (thành ph n đơn) MCMC thích nghi 3.1 Thu t toán Metropolis du đ ng ng u nhiên thích nghi 33 34 3.1.1 Mô t thu t toán 3.1.2 Tính ch t ergodic 3.1.3 So sánh thu t toán Metropolis v i thu t toán A P 35 37 35 38 3.2 3.3 Thu t toán Metropolis thích nghi 3.2.1 Mô t thu t toán 42 45 3.2.2 Tính Ergodic 47 3.2.3 So sánh thu t toán Metropolis v i thu t toán AM 59 M ts ng d ng c a MCMC thích nghi 59 3.3.1 Mô hình mô ph ng GOMOS 60 3.3.2 Mô hình suy gi m oxy 65 K t qu 67 Tài li u tham kh o 68 L i nói đ u Đ tìm hi u v MC, ta xét toán sau: Gi s ta c n tính tích phân h(x)dx Theo đ nh lý Newton - Leibnitz, n u F (x) m t nguyên hàm c a h(x) I = F (x) = F (1) − F (0) Tuy nhiên, nhi u trư ng h p, ta không th tìm đư c F(x) Gi s f (x) hàm m t đ [0, 1] cho n u h(x) = f (x) > Ta vi t l i I = 01 h((x))f (x)dx Khi đó, l y m u đ c l p phân ph i (x (1), , x(n)) t phân ph i xác đ nh b i m t đ f xét: n Iˆn = n i=1 fx h(x(i))/f (x(i)) Lu t s l n cho ta th y r ng Iˆn h i t v i xác su t t i tích phân I n ti n t i ∞ nghĩa Iˆn → I(h.c.c) Như v y đ tính x p x I, ta ph i th c hi n n mô ph ng cho bi n ng u nhiên X Các mô ph ng MC b n có ưu m d th c hi n Tuy nhiên, ch mô ph ng đư c đ i v i trư ng h p đơn gi n Trong nhi u trư ng h p ph c t p s chi u tăng lên (phân ph i nhi u chi u) MC b n không th th c hi n đư c Đ gi i quy t v n đ này, đưa m t phương pháp g i phương pháp MCMC Ý tư ng c a phương pháp MCMC xây d ng m t xích Markov có tính ergodic mà phân ph i d ng π Khi đó, ch y X lên đ n th i gian dài N c lư ng E(h(Y )) b i N N=1 h(Xn) Đ nh lý ergodic n cho ta bi t v i N đ l n, c lư ng s g n đ n E(h(Y )) Chúng ta th y r ng vi c ch n l a phân ph i đ xu t quan tr ng cho s h i t c a thu t toán MCMC Vi c ch n l a đư c phân ph i đ xu t t t thư ng khó th c hi n thông tin v m t đ m c tiêu ho c r t Hơn n a, thu t toán MCMC, phân ph i đ xu t đư c ch n cho m i bư c mô ph ng Đ s d ng thông tin thu đư c bư c mô ph ng trư c đ mô ph ng cho bư c ti p theo, đưa thu t toán MCMC thích nghi đó, phân ph i đ xu t đư c c p nh t trình s d ng thông tin đ y đ tích lũy cho đ n th i m hi n t i M i l a ch n phân ph i đ xu t thích nghi s cho m t d ng MCMC thích nghi M c đích c a lu n văn trình bày phương pháp MCMC b n hai thu t toán MCMC thích nghi t báo [6], [7] Đ ng th i đưa so sánh gi a thu t toán MCMC ch ng minh chi ti t đ nh lý báo đưa m t s ng d ng c a thu t toán Lu n văn g m chương • Chương nh c l i m t s ki n th c b tr v s h i t c a dãy đ i lư ng ng u nhiên, dãy mixingale, thu t toán mô ph ng MC b n xích Markov • Chương trình bày v phương pháp MCMC b n • Chương trình bày chi ti t v hai phương pháp MCMC thích nghi t hai báo [6] [7] Đó thu t toán Metropolis du đ ng ng u nhiên thích nghi ([6]) thu t toán Metropolis thích nghi ([7]) Ch tính h i t c a hai thu t toán ch ng minh tính ergodic c a thu t toán Metropolis thích nghi Sau m i thu t toán đ u đưa s so sánh gi a thu t toán MCMC Đ ng th i đưa m t s ng d ng th c t c a mô hình MCMC thích nghi L i đ u tiên, xin chân thành c m ơn th y TS Tr n M nh Cư ng nh n hư ng d n t n tình giúp đ hoàn thành lu n văn Lòng bi t ơn sâu s c xin đư c g i đ n th y cô Trư ng ĐHKHTN ĐHQGHN, Khoa Toán - Cơ - Tin giúp đ hoàn thành khóa h c Hà N i tháng 12 năm 2015 Chương Ki n th c chu n b 1.1 S h i t c a dãy đ i lư ng ng u nhiên Gi s (Ω, Φ , P ) không gian xác su t Đ nh nghĩa 1.1 M t dãy đ i lư ng ng u nhiên hay bi n ng u nhiên (Xn) đư c g i h i t h u ch c ch n đ n bi n ng u nhiên X n u: P {ω ∈ Ω : nlim Xn(ω) = X(ω)} = →∞ Ký hi u limn →∞ Xn = X(h.c.c) Đ nh nghĩa 1.2 Cho dãy (Xn) bi n ng u nhiên Fn(x), F (x) tương ng hàm phân ph i c a Xn, X G i C(F ) t p m liên t c c a hàm F Ta nói dãy (Xn) h i t theo phân ph i đ n X n u ∀x ∈ C(F ), ta có: lim F (x) = F (x) n→∞ n d Ký hi u Xn − X → Đ nh nghĩa 1.3 M t dãy bi n ng u nhiên (Xn) đư c g i h i t theo xác su t đ n bi n ng u nhiên X n u ∀ε > ta có : P {ω ∈ Ω : |Xn(ω) − X(ω)| > ε} = P Ký hi u Xn − X → Đ nh nghĩa 1.4 M t dãy bi n ng u nhiên (Xn) đư c g i h i t theo trung bình b c r đ n bi n ng u nhiên X n u r ≥ 1, E|Xn|r < ∞ ∀n, E|X|r < ∞ : lim E{|Xn − X|r} = n→∞ L r Ký hi u Xn − X → Đ nh nghĩa 1.5 (lu t s l n) Cho dãy (Xn) bi n ng u nhiên đ c l p phân ph i, có kỳ v ng EXi = µ (i = 1, 2, ) Đ t Sn = X1+ +Xn Ta nói dãy (X ) tuân theo lu t s l n n u S s h i t theo xác n n n su t đ n µ Đ nh lí 1.6 (đ nh lý gi i h n trung tâm) Cho dãy (Xn) bi n ng u nhiên đ c l p phân ph i, có kỳ v ng EXi = µ phương sai DXi = σ2 (i = 1, 2, ) Đ t Zn = X1+ σ+Xn−nµ Khi Zn s h i t √ n theo phân ph i đ n bi n ng u nhiên Z có phân ph i chu n t c 1.2 Dãy mixingale Đ nh nghĩa 1.7 Cho dãy (Xn)n≥1 bi n ng u nhiên bình phương kh tích không gian xác su t (Ω, Φ , P ) dãy (Φn)+= dãy tăng ∞ −∞ n σ- đ i s c a Φ Khi đó, (Xn, Φn) đư c g i dãy mixingale n u v i m i dãy h ng không âm cn ψm, ψm → m → ∞, ta có: ||E(Xn|Φn−m)||2 ≤ ψmcn ||Xn − E(Xn|Φn+m)||2 ≤ ψm+1cn, v i m i n ≥ m ≥ Đ nh lí 1.8 [4, tr 41] N u {Xn, Fn} m t mixingale {bn} m t dãy h ng dương tăng đ n ∞ cho ∞ n=1 b n − i=1 n i X − b 2c2 < ∞ ψn = O(n − −2 1/ (logn) ) nn → 0(h.c.c) n → ∞ 1.3 Các thu t toán mô ph ng b n Các k t qu th ng kê thư ng liên quan đ n tích phân Nh c l i r ng c kỳ v ng xác su t đ u nh n đư c t tích phân (ho c t ng) Vì v y, xét tích phân sau: I= h(x)dx Thông thư ng, ngư i ta ti p c n d ng t ng Riemann Chúng ta đánh giá hàm h(x) t i n m (x(1), , x(n)) m t lư i quy sau tính: I≈n n h(x(i)) i=1 Tuy nhiên, nhi u trư ng h p, vi c xác đ nh l y m (x(1), , x(n)) không th ho c chi phí t n kém, ngư i ta đưa m t cách ti p c n khác Đó trình Monte Carlo Chúng ta b t đ u b ng vi c vi t l i tích phân sau: h(x) f (x)dx f (x) f (x) m t m t đ [0, 1] cho n u h(x) = f (x) > Nhưng u nghĩa là: I= I = Ef (h(X)/f (X)), Ef ký hi u c a kỳ v ng đ i v i phân ph i xác đ nh b i f Bây gi , l y m u đ c l p phân ph i (x(1), , x(n)) t phân ph i xác đ nh b i m t đ f xét: n Iˆn = n i=1 h(x(i))/f (x(i)) Lu t s l n cho ta th y r ng Iˆn h i t v i xác su t t i tích phân I n ti n t i ∞ nghĩa Iˆn → I(h.c.c) Hơn n a, đ nh lý gi i h n trung tâm ch r ng (Iˆn − I)/ V ar(Iˆn) x p x phân ph i chu n Vì v y phương sai V ar(Iˆn) cho ta bi t v đ xác c lư ng c a có th đư c c lư ng sau: n = n(n1− 1) 1.3.1 j=1 (h(xj)/f (xj) − Iˆn)2 Phương pháp bi n đ i ngh ch đ o Đ nh lí 1.9 Xét hàm phân ph i lũy tích (cdf) F (x) G i F −1 ngh ch đ o m r ng c a F , t c là: − F 1(u) = min{x ∈ S : F (x) ≥ u} u ∈ (0, 1] − G i U m t bi n ng u nhiên phân ph i đ u (0, 1) đ t X = F 1(U ), phân ph i c a X có cdf F (x) (Chú ý r ng đ i v i hàm phân ph i liên t c ngh ch đ o m r ng ngh ch đ o thông thư ng) B ng đ nh nghĩa c a ngh ch đ o m r ng tính đơn u c a F , ta có: − P (X ≤ x) = P(F 1(U ) ≤ x) = P (U ≤ F (x)) = F (x) Ví d 1.1 Mô ph ng m t bi n ng u nhiên phân ph i mũ v i tham s λ M t bi n ng u nhiên có phân ph i mũ v i tham s λ có hàm phân ph i là: F (x) = − exp(−λx) v i x ≥ G i U ∼ U (0, 1) (phân ph i đ u (0, 1)) đ t Y = − log(1 − U ) λ Khi Y có phân ph i mũ v i tham s λ Đi u có th đơn gi n hóa b ng cách th a nh n r ng − U phân ph i đ u (0, 1) th có phân ph i mũ v i tham s λ Y = − log(U ) λ th áp d ng chúng m t tr ng thái t ng quát hơn, đ c bi t cho bi n th c a AM mà không gian tr ng thái ch a c ph n r i r c ph n liên t c Ch ng minh c a d a m nh đ b n sau M nh đ 3.5 Cho xích Xn không gian tr ng thái S dãy xác su t chuy n t ng quát Kn th a mãn u ki n c a đ nh lý 3.3 Ký hi u Fn = σ(X0, X1, , Xn) σ-đ i s sinh b i xích đ n th i m n đ t λ = λ1/k0 Cho n ≥ k ≥ Khi v i m i phân ph i ban đ u v i m i hàm f đo đư c b ch n S, ta có b t đ ng th c E(f (Xn+k)|Fn) − S f (y)π(dy) ∞ (3.17) j ≤ c(c0, c1, λ) 1≤j≤k n + k − j + inf λj ||f || ∞ Ch ng minh: Rõ ràng, có th gi s πf = S f (y)π(dy) = trư ng h p t ng quát thu đư c b i áp d ng m nh đ cho hàm f − πf Cho n ≥ k ≥ ý r ng t đ nh nghĩa c a kỳ v ng có u ki n (3.4) ta có (h u ch c ch n) E(f (Xn+k)|Fn) = ••• yn+1∈S Kn+1(X0, X1, , Xn; dyn+1) yn+k∈S yn+2∈S Kn+2(X0, X1, , Xn, yn+1; dyn+2) Kn+k(X0, X1, , Xn, yn+1, , yn+k−1; dyn+k)f (yn+k) • • • (3.18) Đ t (X0, X1, , Xn) = Xn Ta th y Xn không can thi p vào tích phân nên có th đư c coi bi n t (ho c h ng s ) Chúng ta đưa vào xác su t chuy n Q v i Q(y; dz) = Kn+2(Xn, y; dz) T u ki n (iii) đ i v i giá tr tùy ý c a Xn yn+1, , yn+k−1: S (kn+k(Xn, yn+1, , yn+k−1;dyn+k) − kn+2(Xn, yn+k−1; dyn+k))f (yn+k) ≤ c1||f || k − ∞ n+2 55 (3.19) Ư c lư ng cho phép a vi t (3.18) dư i d ng: E(f (Xn+k)|Fn) = gk(Xn) + yn+1∈S ••• yn+2∈S Kn+2(Xn, yn+1; dyn+2) Kn+k−1(Xn, yn+1, , yn+k−2; dyn+k−1) yn+k−1∈S yn+k∈S Kn+1(Xn; dyn+1) ••• , Kn+2(Xn, yn+k−1; dyn+k)f (yn+k) (3.20) gk = gk(Xn) th a mãn gk(Xn) ≤ •• • yn+1∈S yn+k−1∈S Kn+1(Xn; dyn+1) yn+2∈S Kn+2(Xn, yn+1; dyn+2) Kn+k−1(Xn, yn+1, , yn+k−1; dyn+k)f (yn+k)c1||f || k − • • • ∞ n+2 ≤ c1||f || k − ∞ n+2 (3.21) Bư c ti p theo, ta nh c l i cách thay th xác su t chuy n t ng quát b i Kn+k−1(Xn, yn+1, , yn+k−1) b i xác su t chuy n Q công th c (3.20) Ti p t c theo cách ta thu đư c: E(f (Xn+k)|Fn) = ••• yn+1∈S Kn+1(Xn; dyn+1) yn+k∈S yn+2∈S Q(yn+1; dyn+2) Q(yn+k−1; dyn+k) • • • + g2(Xn) + g3(Xn) + • • • + gk(Xn), 56 (3.22) gj(Xn) = ••• Kn+1(Xn; dyn+1) yn+1∈S yn+2∈S Kn+2(Xn, yn+1; dyn+2) (Kn+j(Xn, yn+1, , yn+j−1; dyn+j) yn+j∈S − Kn+2(Xn, yn+j−1; dyn+j))Qk−j • • • (3.23) Nh c l i Qk−j (k − j)-l p l i c a xác su t chuy n Q ta áp d ng ký hi u chu n (Qk−j)(x) = S Qk−j(x; dy)f (y) Vì ||Qk−jf || ≤ ||f || nên ta thu đư c t u ki n (iii): ∞ ∞ |gj| ≤ c1 j − ||f || n+2 ∞ Tóm l i, ta ch ra: E(f (Xn+k)|Fn) = vi n,k = n,k n,k + (X0, , Xn) yn+1∈S Kn+1(X0, , Xn, dyn+1)Qk−1f (yn+k), (3.24) th a mãn: k | n,k| ≤ j=2 j − ||f || ≤ c1k2 ||f || ∞ n c1 n + (3.25) ∞ Đ t [(k − 1)/k0] = k , ý δ(Qk−1) ≤ λk theo (i) T (ii) đ nh nghĩa c a Q, ta có: ||πQk−1 k −2 − π|| ≤ − πQ || ≤ ||πQ +1 j j j=0 k−2 c0 ≤ c0(k − 1) j=0 n+2 n+2 S d ng gi thi t πf = 0, ta có c lư ng: ||Qk−1f || = sup |δxQk−1f | ≤ sup |(δx − π)Qk−1f | + |πQk−1f | ∞ x∈S x∈S ≤ 2λk ||f || + |(πQk−1 − π)f | ≤ ∞ 57 c0(k − 1) + 2λk n+2 ||f || ∞ (3.26) K t h p u v i (3.22) (3.23), ta thu đư c: ||E(f (Xn+k)|Fn)|| k2 + λ[(k−1)/k0] ||f || , ∞ v i m i n, k ≤ ≤ c(c0, c1, λ) n ∞ (3.27) D th y, v i m i ch s j gi a k, theo tính ch t cùa kỳ v ng có u ki n, ta có: ||E(f (Xn+k)|Fn)|| ≤ ||E(f (Xn+k)|Fn+k−j)|| ∞ ∞ Do đó, thay n b i n + k − j thay k b i j, ta có u ph i ch ng minh: j2 ||E(f (Xn+k)|Fn)|| ≤ 1≤j≤k c(c0, c1, λ) n + k − j + λ[(j−1)/k0] ||f || inf ∞ ∞ (3.28) Bây gi , ta ch ng minh đ nh lý 3.3: T m nh đ 3.5 ta thu đư c: v i m i n ≥ k ≥ ||E(f (Xn+k) − S f (y)π(dy)|Fn)|| ≤ ψ(k), ∞ ψ(0) = ψ(1) = 2||f || , v i k ≥ ∞ j2 j ψ(k) ≡ c(c0, c1, λ) 1≤nf k n + k − j + λ i j≤ ||f || ≤ c (c , c , f, λ) log k ∞ 01 k (3.29) Trong c lư ng cu i thu đư c b i vi c ch n j = log k/ log(1/λ ) v i k ≥ k1(λ ) Đánh giá (3.28) cho ti m c n đ c l p, v i đ nh nghĩa σ-đ i s Fn, rõ ràng f (Xn) − Ef (Xn) m t mixigale Mcleish ho c [4] Đ thu n l i, ta nh c l i đ nh nghĩa c a mixingales Cho (F ) σ-đ i s m t không gian xác su t M t dãy (Yn ∞ = dãy tăng n −∞ ∞ ) =1 bi n n ng u nhiên bình phương kh tích m t dãy mixingales (khác) n u có hai dãy th c (rm) ∞ ∞ =0 (a ) =1 n m cho v i rm → m → ∞, n ||E(Yn|Fn−m)||2 ≤ rman ||Yn − E(Yn|Fn+m)||2 ≤ rm+1an v i m i n ≥ m ≥ đây, Yn = f (Xn) − Ef (Xn), ch n (an) dãy h ng Fn σ−đ i s t m thư ng v i n < V ph i c a 58 (3.30) (3.30) t đ ng đư c th a mãn Hơn n a, có th ch n rk = ψ(k) ε d n đ n rk ≤ C( )k −1 v i m i ε > Vì th , có th áp d ng l p t c lu t s l n n i ti ng cho dãy mixingale ([4, tr 41], đ nh lý 2.21) f (Xn) − Ef (Xn) Do đó, limn →∞ 3.2.3 Ef (Xn) = S f (y)π(dy) So sánh thu t toán Metropolis v i thu t toán AM Trong đo n này, đưa k t qu c a vi c ch y th c nghi m máy tính tương t đo n 3.1.2 v i s chi u d = 8, t t c đ u đư c l p 100 l n K t qu đư c cho dư i d ng đ th hình sau Các thu t toán đư c so sánh • Thu t toán Metropolis du đ ng ng u nhiên (M) v i m t phân ph i đ xu t Gauss, • Thu t toán Metropolis - Hastings thành ph n đơn (SC) v i m t phân ph i đ xu t Gauss, • Thu t toán Metropolis du đ ng ng u nhiên thích nghi (AP) • Thu t toán Metropolis thích nghi (AM) Các phân ph i m c tiêu th c nghi m Các phân ph i m c tiêu th c nghi m đư c đưa m c 3.1.3 g m π1 , π2 , π3 , π4 K t qu mô ph ng (Hình 3.5) 3.3 M ts ng d ng c a MCMC thích nghi Trong th c t có nhi u ng d ng c a MCMC ([10], m c [6] ) Đó là: Mô hình suy gi m oxy, mô hình tăng trư ng sinh v t phù du h n ch dinh dư ng, mô hình mô ph ng GOMOS 59 Hình 3.5: So sánh thu t toán SC, M, AP, AM v i phân ph i m c tiêu 8- chi u π1, π2, π3, π4 Đ th th hi n err(≤ 68, 3%) std(≤ 68, 3%) 3.3.1 Mô hình mô ph ng GOMOS T ng ozone đư c khoa h c nghiên c u m nh nhi u th p k nay, đ c bi t k t phát hi n l ozone Nam C c vào năm 1985 Trong năm 2002, Cơ quan Vũ tr châu Âu phóng v tinh ENVISAT, có 10 công c đ giám sát môi trư ng khí quy n c a trái đ t Trong s có GOMOS (Giám sát ôzôn toàn c u b i s che khu t c a sao, [ESA 2002]) nghiên c u ozone thành ph n vi lư ng nh khác khí quy n m t ph m vi 10 -100 km Phương pháp GOMOS đư c tích c c phát tri n t i Vi n Khí tư ng Ph n Lan (FMI), s d ng thu t toán MCMC thích nghi đây, m t tính đ c trưng m i l n đo th c t , bao g m m t t p h p kho ng 50 b d li u thu đư c nh ng đ cao khác Ư c lư ng tham s đư c th c hi n riêng bi t cho m i b d li u Vì phân ph i h u xác su t t i đ cao khác đáng k khác nên vi c u ch nh c a phương pháp Metropolis tiêu chu n hóa m t th i gian Chúng ta ch dư i cách hay mà phương pháp AP có th gi i 60 quy t tình hu ng ki u Hình 3.6: Các nguyên t c đo che khu t Thi t b đo ph t i bư c sóng 250-675nm nhi u l n truy n hình v tinh di chuy n b n đ ng sau qu ng trái đ t (sơ đ trình bày hình 3.6) B ng cách chia ph cư ng đ đo qua khí quy n v i ph đo tham kh o b u khí quy n, thu đư c ph truy n T (λ, l),v i λ bư c sóng l tia su t b u khí quy n Ph truy n T (λ, l) cho ta bi t thông tin ánh sáng đư c h p th phân tán b u khí quy n, tương ng v i s lư ng tr ng thái khí b h p th ho c phân tán khí b u khí quy n M i quan h đư c bi t đ n lu t Beer-Lambert: (ph truy n c a m i sao) T (λ, l) = e − ) τ(λ,l B ng gi đ nh khác nhau, t ng h s tri t tiêu d p t t τ có th đư c tính sau: τ (λ, l) = ΣJ=1Nj(l)σj(λ) j V i σj đư c g i đo n c t ngang, bi t đ c trưng cho m i khí (j) 61 M t đ tích h p, m t đ dòng, tia l cho khí j là: Nj ( ) = l ρj(s)ds Vì s truy n đư c đo l p l i nhi u l n ( K ≈ 50 l n) đư c thi t l p sau qu ng trái đ t nên có th truy tìm đư c m t c t th ng đ ng c a khí khác Xây d ng theo cách này, x lý d li u c a thi t b GOMOS có th chia thành ph n quang ph (Phương trình lu t Beer- Lambert phương trình τ ) ph n không gian (phương trình v i l = l1, , lk) Trong đo n này, s ch xét toán ngư c đ u tiên, th d li u tương ng v i tia l hàm truy n đo đư c T abs = [T1abs(l), , T (l)]T t i Λ ≈ 1400 bư c sóng khác abs Λ m t đ dòng chưa bi t c a khí khác là: N (l) = [N1(l), , NJ (l)] Phân ph i h u xác su t c a m t đ dòng cho là: P (N (l)|T abs(l)) ∝ P (T abs(l)|N (l))P (N (l)) Gi s hàm kh có sai s mô hình Gauss sai s đo đư c, có th vi t dư i d ng: abs P (T |N (l)) = n (2π) |C| e − 12S(N ) − s mũ S(N ) = (G(N (l)) − T abs(l))T (C(l)) 1(G(N (l)) − T abs(l)) Đo lư ng c lư ng cho m i bư c sóng λ là: G (N (l)) = e λ − Jj ) Σ =1σj(λ)Nj(l Bài toán ngh ch đ o truy n th ng đư c gi i v i gi thi t thông tin bi t Do đó, áp d ng phương pháp MCMC thích nghi cho toán S chi u c a không gian tham s th p, ch t đ n 10 lo i khí khác Tuy nhiên, có m t s yêu c u đ c bi t cho phương pháp MCMC ch n cho toán Quan tr ng nh t, c n m t phương pháp t đ ng nhanh chóng, s ngh ch đ o đư c l p l p l i cho m i tia lk Phân ph i h u nghi m biên duyên chưa bi t m u Gibbs 62 không d dàng đ áp d ng Trong su t m t qu đ o, thi t b theo dõi kho ng 30 sao, su t m t ngày kho ng 450 V i m i sao, s truy n đư c đo t i kho ng 50 đ cao (c a tia) khác t 15 đ n 100 km Chúng t t c l i kho ng 22500 tia khác m t ngày Kích c c a phân ph i h u nghi m ph thu c m nh m vào đ cao đo lư ng đ sáng c a Vì v y, nên s d ng phân ph i đ xu t khác cho m i tia Vì s tr nên khó khăn đ u ch nh phân ph i đ xu t riêng l nên có th áp d ng thu t toán đ xu t thích nghi Bây gi ta nhìn chi ti t v toán ngh ch đ o t i đ cao đ c bi t Như m t ví d , s d ng m (cư ng đ 4) nhi t đ m (11000K) v i ti p xúc đ cao 30 km V i d liêu x p x 1400 giá tr truy n tương ng bư c sóng 250 - 675 nm mu n c tính giá tr m t đ dòng cho ozone, N02, N03, aerosols m t đ không khí, t c t t c có tham n c n c lư ng Phân ph i m c tiêu phân ph i h u nghi m ( P (N (l)|T abs(l))) v i yêu c u m t giá tr m t đ dòng dương bi t thông tin V i tham s b nh tham s t n s c n có thu t toán AP, s d ng H = U = 500 Đ dài xích 20000 Trong hình 3.7, gi i thi u mô ph ng xích v i thu t toán AP S l n c p nh t phân ph i đ xu t đư c đánh d u b i đư ng th ng đ ng, giá tr th c v i đư ng th ng n m ngang Rõ ràng, th y cách ho t đ ng c a xích thay đ i t i giai đo n mà c p nh t phân ph i đ xu t cách n đ nh sau m t đo n tr ng Có v sau 6000 tr ng thái, xích b t đ u h i t Đ thu t toán AP làm vi c m nh m trư ng h p GOMOS, th c hi n nhi u l n s ngh ch đ o t i 58 đ cao t 18 đ n 90 km Chúng ta th c hi n mô ph ng 50 l n t i m i đ cao ch khác ti ng n Các k t qu đư c đưa hình 3.7, đó, so sánh giá tr sai s th ng kê cho h i ph c m t đ dòng ozone Sai s tương đ i tương 63 Hình 3.7: M t đ khí b i mô ph ng AP t i đ cao 30km T xu ng dư i là: M t đ không khí, ozone, N O2, N O3, aerosols ng v i m i tia (lk, k = 1, , K) đư c tính toán sau: err(lk) = Σni=1 n i true N (lk) − N (lk) N true(lk) ⋅ 100%, v i n =50 Vì s d ng d li u đư c mô ph ng nên bi t giá tr th c N (lk)true Chú ý hình 3.7, t i đ cao cao th p nơi t l tín hi u ti ng n th p, thu t toán AP cho k t qu đáng tin c y T i đ cao th p, phương pháp Levenberg- Marquardt ([8]) rõ ràng không tìm đư c gi i pháp t t, thu t toán AP tìm đư c l i gi i (nghi m) đáng tin c y Yêu c u c a c a m t đ dương rõ ràng c i thi n đ xác đ c bi t t i đ cao cao Trong hình ch r ng phương pháp AP cho c lư ng m t t m t chút so v i phương pháp c lư ng truy n th ng Vì v y g i t ng ozone n m kho ng 20 - 40 km, ph m vi đ cao vô quan tr ng Hơn n a, hình 3.7 ch thu t toán AP làm vi c m nh m ví d GOMOS Phương pháp hoàn toàn t đ ng s d ng phân ph i đ xu t ban đ u cho t t c đ 64 Hình 3.8: Đ dài c a xích 20000 th i gian burn-in 10000 Đư ng v ch đ t th hi n giá tr kỳ v ng c a thu t toán AP v i thông tin chưa bi t Đư ng liên t c th hi n kỳ v ng c a thu t toán AP v i yêu c u m t đ dương Đư ng ch m ch m th hi n kỳ v ng hàm c c đ i c a thu t toán Levenberg - Marquardt cao m c dù kích c c a phân ph i h u nghi m đ l n c a c lư ng m khác r t nhi u Thu t toán AP dư ng tìm đư c phân ph i m c tiêu phân ph i đ xu t đư c thích nghi m t cách xác 3.3.2 Mô hình suy gi m oxy Theo dõi c lư ng s thay đ i theo th i gian c a s hô h p mùa đông h Tuusulanj¨ arvi đ đánh giá tác đ ng lâu dài c a s thêm gi m b t không khí nhân t o ([10], m c ) nh hư ng c a oxy nhân t o đư c nghiên c u b i mô hình tiêu th oxy sau: dCO2 = k C bTobs−Tref + P ump, year O2 dt V ol − − v i CO2 n ng đ oxy h (mgl 1), kyear t ng h s t l hô h p theo năm (d 1), b h s nhi t đ c a t l hô h p, Tobs nhi t đ quan 65 sát c a h (◦C), Tref nhi t đ tham kh o (4◦C), Pump thông lư ng − oxy đư c bơm (kgO2d 1), Vol th tích c a thi t b thông gió (m3) H th ng đư c mô hình hóa b i phương trình vi phân thông thư ng, n ng đ CO2(t0) ban đ u đư c coi n s Các n ng đ ban đ u, kyear, b, phương sai sai s σ2 tham gia t ng c ng 62 n s Vì v y, đ gi i quy t toán này, ngư i ta áp d ng thu t toán MCMC thích nghi AM s d ng hi p phương sai đ su t cu i mà AM có 66 K t lu n Các k t qu thu đư c là: Tìm hi u v phương pháp MCMC, t p trung vào m t s thu t toán MCMC m u Gibbs, m u đ c l p, m u Metropolis - Hastings du đ ng ng u nhiên, m u Metropolis thành ph n đơn Tìm hi u v hai thu t toán MCMC thích nghi, so sánh ưu c m đưa ng d ng N u th i gian cho phép, lu n văn có th : + Tìm hi u thêm m t s thu t toán MCMC thích nghi khác + Vi t chương trình áp d ng MCMC cho toán th c t Vi t Nam 67 Tài li u tham kh o [1] Đ ng Hùng Th ng, M đ u v lý thuy t xác su t ng d ng, Nhà xu t b n Giáo d c, 2005 [2] Đ ng Hùng Th ng, Quá trình ng u nhiên tính toán ng u nhiên, Nhà xu t b n Đ i h c Qu c Gia Hà N i, 2009 [3] Daren B H Cline and Huay-min H Pu, Geometric ergodicity of nonlinear time series, Texas A & M University Statistica Sinica 9(1999), 1103-1118 [4] P.Hall, C.C.Heyde, Martingale limit theory and its application, Academic Press, 1980 [5] Gareth Roberts, ST911 Fundamentals of Statistical Inference Part III, Department of Statistics, University of Warwick, 2012 [6] Heikki Haario, Eero Saksman, Johanna Tamminen, Adaptive proposal distribution for random walk Metropolis algorithm, University of Helsinki, Finland,1999 [7] Heikki Haario, Eero Saksman, Johanna Tamminen, An adaptive Metropolis algorithm, Bernoulli 7(2) 2001, 223 - 242 [8] Henri P Gavin, The Levenberg-Marquardt method for nonlinear least squares curve-fitting problems, Duke University, September 29, 2015 [9] James Davidson, Robert de Jong, Strong laws of large number for dependent heterogeneous processes: A synthesis of recent and newresults, Econometric Reviews 16(3) 1997, 251-279 68 [10] Marko Laine, Adaptive MCMC methods with applications in enviromental and geophysical models, Finnish meteorological institute contributions No.69, 2008 69 ... đ xu t thích nghi s cho m t d ng MCMC thích nghi M c đích c a lu n văn trình bày phương pháp MCMC b n hai thu t toán MCMC thích nghi t báo [6], [7] Đ ng th i đưa so sánh gi a thu t toán MCMC ch... thu t toán ch ng minh tính ergodic c a thu t toán Metropolis thích nghi Sau m i thu t toán đ u đưa s so sánh gi a thu t toán MCMC Đ ng th i đưa m t s ng d ng th c t c a mô hình MCMC thích nghi. .. phương pháp MCMC b n • Chương trình bày chi ti t v hai phương pháp MCMC thích nghi t hai báo [6] [7] Đó thu t toán Metropolis du đ ng ng u nhiên thích nghi ([6]) thu t toán Metropolis thích nghi ([7])