Mục lục Trang Nội dung Mở đầu 2 Chơng 1. Một số kiến thức chuẩn bị Đ 1. Xác suất có điều kiện- Công thức xác suất đầy đủ 3 Đ 2. Biến ngẫu nhiên và và kỳ vọng 6 2.1. Biến ngẫu nhiên 6 2.2. Kỳ vọng 6 Chơng 2. Xích Markov với thời gian rời rạc Đ 1. Tính Markov 9 Đ 2. Xích Markov rời rạc và thuần nhất 11 2.1. Ma trận xác suất chuyển 11 2.2. Phân phối ban đầu 15 Chơng 3. Quá trình Markov- Các khái niệm cơ bản Đ 1. Quá trình Markov và họ Markov 17 1.1. Quá trình Markov 17 1.2. Họ Markov của các quá trình ngẫu nhiên 21 Đ 2. Những dạng khác của tính chất Markov 22 Đ 3. Phân phối hữu hạn chiều của quá trình Markov 24 Kết luận 29 Tài liệu tham khảo 30 Mở đầu Đầu thế kỷ XX, A.A.Markov (14/6/1856 đến 20/7/1922) - nhà Toán học và Vật lý nổi tiếng ngời Nga đã đa ra một mô hình toán học để mô tả sự thay đổi từ nguyên âm sang phụ âm và ngợc lại của 20.000 từ trong một vở kịch của Puskin. Về sau mô hình này đợc phát triển và sử dụng trong nhiều lĩnh vực khác (nh Vật lý, Cơ học, Sinh học, Y học, Kinh tế, v.v ) và đ ợc mang tên là: Quá trình Markov. 1 Trong những năm gần đây, quá trình Markov đợc ứng dụng rất nhiều trong thơng nghiệp, tin học, viễn thông, v.v và là một môn học bắt buộc với sinh viên của nhiều trờng Đại học. Xích Markov là trờng hợp riêng của quá trình Markov (khi ta có thể đánh số đợc các trạng thái). Luận văn đề cập đến một số tính chất của quá trình Markov (trình bày ở chơng 3). Luận văn gồm 3 chơng: Chơng 1: Một số kiến thức chuẩn bị Chơng 2: Xích Markov với thời gian rời rạc Chơng 3: Quá trình Markov Các khái niệm cơ bản Do điều kiện về thời gian hạn hẹp và trình độ có hạn của tác giả, luận văn chắc chắn không tránh khỏi những thiếu sót. Tác giả rất mong nhận đợc sự góp ý, chỉ bảo của các thầy, các cô và các bạn đọc. Luận văn hoàn thành dới sự h- ớng dẫn tận tình của PGS.TS Phan Đức Thành. Tác giả xin chân thành cảm ơn thầy. Sau cùng, tác giả gửi lời cảm ơn sâu sắc tới Ban chủ nhiệm khoa Toán, các thầy, các cô và tập thể sinh viên lớp 41A 2 - Toán đã tạo mọi điều kiện thuận lợi để tác giả hoàn thành luận văn này. Ngời thực hiện: Hồ Nhật Tâm. Chơng 1. Một số kiến thức chuẩn bị Đ1. Xác suất có điều kiện. Công thức xác suất đầy đủ 1.1. Định nghĩa: Xác suất có điều kiện của biến cố A với điều kiện B là một số xác định theo công thức: 2 P (A | B) = ( ) ( ) B AB P P nếu P (B) > 0. (1) 1.2. Tính chất: a) P (A | B) 0. b) P ( | B) = P(B | B) = 1. c) Nếu (A i ) là dãy các biến cố từng đôi xung khắc thì: P ( ) = i i i i BABA P . Chứng minh: Các tính chất a) , b) hiển nhiên. Ta chứng minh c): Ta có: P ( ) ( ) BB P P P P = = i i i i i i BA BA BA = ( ) ( ) ( ) = i i i i BA BA P P P B . 1.3 Công thức nhân xác suất: Từ (1) ta có: P(AB) = P(B) P(A|B) = P (A) . P (B | A), nếu P(A)P(B) 0 suy ra ta có công thức sau gọi là công thức nhân tổng quát: Giả sử A 1 , A 2 , ., A n là các biến cố bất kì sao cho P(A 1, A 2 A n - 1 ) > 0 Khi đó: P (A 1, A 2 A n ) = P(A 1 ) P (A 2 A 1 ) P (A n A 1 A 2 A n - 1 ) (2) Chứng minh: ta chứng minh(2) bằng phơng pháp quy nạp toán học: * Với n = 2, rõ ràng (2) đúng. * Giả sử (2) đúng đến n = k 2, tức là: P (A 1, A 2 A k ) = P(A 1 ) P (A 2 A 1 ) P (A k A 1 A 2 A k - 1 ) 3 Ta chứng minh (2) cũng đúng với n = k + 1: Thật vậy : P(A 1, A 2 A k + 1 ) = (P(A 1 A 2 A k )A k + 1 )= P(A 1 A 2 A k ).P(A k + 1 | A 1 A 2 A k ) = P (A 1 ) P(A 2 | A 1 ) P (A k | A 1 A 2 A k - 1 ). P (A k + 1 | A 1 A 2 A k ). Do đó theo nguyên lý quy nạp (2) đợc chứng minh 1.4 Công thức xác suất đầy đủ: Hệ các biến cố { A 1, A 2 A n } gọi là hệ đầy đủ nếu : a) Các biến cố xung khắc nhau từng đôi một, b) n 1i i A = = . Chẳng hạn: hệ {A, A } là hệ đầy đủ. Giả sử { A 1, , A 2 , , A n } là hệ đầy đủ các biến cố với P (A k ) > 0, k. Khi đó với biến cố B bất kì, ta có P (B) = = n 1i (A i ) . P (BA i ) (3) Công thức (3) gọi là công thức xác suất đầy đủ: Chứng minh: Vì { A 1, A 2 A n } là hệ đầy đủ nên: B = B = B. n 1i i n 1i i BAA == = Do đó: P(B) = ( ) ( ) ( ) i n 1i i n 1i i AB.ABA PPP == = . 1.5. Công thức Bayes: Giả sử P(B) > 0 và {A 1 , A 2 , , A n } là hệ đầy dủ các biến cố với P(A i ) i. Khi đó: P(A k | B) = ( ) ( ) ( ) ( ) = n 1i ii kk ABA ABA PP PP (4) (k = 1, 2, , n). 4 Chứng minh: Ta có: P(A k |B) = ( ) ( ) ( ) B ABA kk P PP Mà P(B) = ( ) ( ) = n 1i ii ABA PP (theo (3)) từ đó ta có (4). Ví dụ: Tỷ lệ ngời dân nghiện thuốc lá là 30% biết rằng tỷ lệ ngời viêm họng trong số ngời nghiện thuốc lá là 40%. a) Chọn ngẫu nhiên 1 ngời, biết rằng ngời đó viêm họng tính xác suất ngời đó nghiện thuốc. b) Nếu ngời đó không bị viêm họng. Tính xác suất ngời đó nghiện thuốc. Giải: Gọi A = {chọn ra một ngời bị viêm họng} B = {ngời đợc chọn ra ngời nghiện thuốc} Khi đó {B, B } đầy đủ Ta có P(B) = 0,30 P( B ) = 0,70 P(A|B) = 0,60 P(A| B ) = 0,40 Theo công thức xác suất đầy đủ ta có: P(A) = 0,3 . 0,6 + 0,7 . 0,4 = 0,46 a) P(B|A) = 39,0 46,0 6,0.3,0 b) P( A ) = 1 - P(A) = 0,54 P(B| A ) = ( ) ( ) ( ) 222,0 54,0 4,0.03 AP BAP.BP = . ------------------------------------------- Đ2. Biến ngẫu nhiên và kỳ vọng 2.1. Biến ngẫu nhiên: 5 2.1.1. Định nghĩa: Hàm thực X : R = (-; +) gọi là biến ngẫu nhiên (hay đại lợng ngẫu nhiên) nếu: { : X() B} = X -1 (B) f với mỗi B B(R) (trong đó B(R) là - đại số các tập Borel của trục thực R). 2.1.2. Ví dụ: 1. Kiểm tra ngẫu nhiên 3 em trong nhóm gồm 3 em học khá và 10 học trung bình. Gọi X là số em khá đợc kiểm tra. Khi đó X() = {0, 1, 2, 3} - và gọi X là biến ngẫu nhiên rời rạc (nghĩa là X() chỉ nhận một số hữu hạn hoặc đếm đợc các giá trị). 2. Tuổi thọ của một thiết bị điện là một biến ngẫu nhiên với X() = (0,+ ). X còn gọi là biến ngẫu nhiên liên tục. 2.2. Kỳ vọng: Kỳ vọng là số đặc trng quan trọng của biến ngẫu nhiên. Ta ký hiệu M(X) hay viết MX, ( ) X dP(), ( ) X P(d) hoặc X dP Mệnh đề: Trên (, f, P) các tính chất sau đúng: a) X = 0 (h.c.c) MX = 0 b) X 0 và MX = 0 X = 0 (h.c.c) c) Nếu X = Y (h.c.c), X khả tích thì MX = MY. d) Nếu X và Y khả tích A XdP A YdP với A f thì X Y (h.c.c) Chứng minh: a) Giả sử X 0. Khi đó (X n ) 0 1 L : 0 X n X. 6 Gi¶ sö X n = ( ) ∑ = n k m 1k n x n k A I V× 0 ≤ X n ≤ X vµ X = 0 (h.c.c) tõ ®ã nÕu P ( ) n k A > 0 th× ( ) n k x = 0 do ®ã MX n = 0, ∀n vµ MX = 0 NÕu X bÊt kú th× X = X + - X - . Do X = X + + X - nªn suy ra MX + = MX - = 0 ⇒ MX = 0 b) Ta cã 0 ≤ X.I [X > 1/n] ≤ X suy ra 0 ≤ n 1 P [X > n 1 ] ≤ MX∏ [X > n 1 ] ≤ MX = 0 Do ®ã P[X > n 1 ] = 0 víi n = 1, 2,… Tõ ®ã P(X > 0) = P 0 n 1 X n 1 X 1n 1n =       >≤               > ∑ ∞ = ∞ = P  hay X = 0 (h.c.c). c) Gi¶ sö X kh¶ tÝch X = Y (h.c.c) khi ®ã Z = Y - X = 0 (h.c.c) ⇒ Z kh¶ tÝch vµ Y = X + Z kh¶ tÝch. Tõ ®ã: MY = MX + MZ = MX. d) Ký hiÖu A = [X, Y]. Ta cã: ∫ A Y dP ≤ ∫ A X dP ≤ ∫ A Y dP ⇒ M ((X - Y)I A ) = 0. V× (X - Y) I A ≥ 0 nªn tõ b) ta cã (X - Y)I A = (h.c.c). Do ®ã P(A) = 0. ------------------------------------------- 7 Chơng II. Xích Markov với thời gian rời rạc Đ1. Tính Markov 1.1. Định nghĩa: - Giả sử ta nghiên cứu sự tiến triển theo thời gian của một hệ vật lý hoặc sinh thái nào đó (có thể là phân tử, hạt cơ bản, ngời hoặc một sinh vật nào đó ). Ký hiệu X(t) là vị trí của hệ tại thời điểm t. Tập hợp {X(t)| t T, T là khoảng thời gian đang xét} đợc gọi là không gian trạng thái. - Giả sử trớc thời điểm s, hệ ở trạng thái nào đó, ở thời điểm s hệ ở trạng thái i. Ta cần biết tại thời điểm t trong tơng lai (t > s) hệ ở trạng thái j , với xác suất là bao nhiêu ? Nếu xác suất này chỉ phụ thuộc vào s, t, i, j thì điều này có nghĩa là: sự tiến triển của hệ trong lơng lai chỉ phụ thuộc vào hiện tại và độc lập với quá khứ. Đó là tính Markov. Ký hiệu E - tập gồm các giá trị của X(t). Ta gọi E là không gian trạng thái của X(t). + Nếu X(t) có tính Markov và E - đếm đợc thì X(t) đợc gọi là xích Markov. + Nếu xích Markov X(t) có t = 0, 1, 2, thì ta có khái niệm xích Markov với thời gian rời rạc. + Nếu xích Markov X(t) có t [0, ) thì ta có khái niệm xích Markov với thời gian liên tục. Cụ thể ta có định nghĩa sau: 1.1.1. Định nghĩa: Ký hiệu t n là thời điểm hiện tại, t n+1 là thời điểm tơng lai, 8 (t 0 , t 1 , t n-1 ) là thời điểm quá khứ. Ta nói rằng X(t) có tính Markov nếu: P{X(t n+1 ) = jX(t 0 ) = i 0 , , X(t n-1 ) = i n - 1 , X(t n ) = i}=P{X(t n+1 ) = jX(t n ) = i} đúng với mọi t 0 < t 1 < < t n < t n+1 < và i 0 , , i n-1 , i, j E. 1.1.2. Định nghĩa: Ta gọi p(s, i, t, j) = P{X(t) = jX(s) = i}, (s < t) là xác suất chuyển của hệ (hay quá trình). Nếu xác suất chuyền chỉ phụ thuộc vào (t - s), tức là p(s, i, t, j) = p(s + h, i, t + h, j ) thì ta nói hệ (hay quá trình ) là thuần nhất theo thời gian. 1.1.3. Các ví dụ. Ví dụ 1. Gọi X(t) là dân số tại thời điểm t (trong tơng lai), thì có thể xem X(t) chỉ phụ thuộc vào dân số hiện tại và độc lập với quá khứ. Nói chung, các hệ (sinh thái, vật lý hoặc cơ học, v.v ) không có trí nhớ, hoặc sức ỳ, là những hệ có tính Markov. Ví dụ 2. Cho 0 , 1 , , n , là dãy biến ngẫu nhiên (đại l ợng ngẫu nhiên) rời rạc, độc lập, E k là tập hợp các giá trị của k , k E hữu hạn hay đếm đ- ợc (k = 0, 1, 2, , n ). Đặt E = EE 0k k = - đếm đợc. Ta có: P{ n+1 = j 0 = i 0 , , n-1 = i n-1 , n = i} = P { n+1 = j} = P{ n+1 = j n = i} = p(n, i, n+1, j) với i k E k , (k = 1n,0 ), i E n , j E n+1 . Vậy ( n : n = 0, 1, 2, ) là xích Markov. Ví dụ 3. Cho 0 , 1 , . n , là dãy biến ngẫu nhiên (đại l ơng ngẫu nhiên) rời rạc, độc lập nhận giá trị là những số nguyên. Đặt X n = 0 + 1 + 2 + + n (n = 1,2 ). Ta chứng minh (X n = 1,2 ) là xích Markov. 9 - Thật vậy: P {x n + 1 = j | 0 = i 0 , X 1 = i 1 , , X n - 1 = i n - 1 , X n = i} = P {x n + 1 + n + 1 = j | 0 = i 0 , 1 = i 1 - i 0, 2 = i 2 - i 1 , , n = i - i n - 1 } = P { n + 1 = j - i | 0 = i 0 , 1 = i 1 - i 0, 2 = i 2 - i 1 , , n = i - i n - 1 } = P { n + 1 = j - i } (vì dãy { i } = 0i độc lập) (1) Ta lại có: P {X n + 1 = j | X n = i} = P {X n + n + 1 = j | 0 + 1 + n - 1 + n = i} = P { n + 1 = j - i | 0 + 1 + + n - 1 + n = i} = P { n + 1 = j - i} (vì dãy { i } 1n 0i + = độc lập nên n + 1 và ( 0 + 1 + + n ) độc lập) (2) Từ (1) và (2) ta có điều phải chứng minh. ----------------------------- Đ2. Xích Markov rời rạc và thuần nhất. 2.1. Ma trận xác suất chuyển: Giả sử (, A, P) là không gian xác xuất, X n : E là biến (đại lợng) ngẫu nhiên nhận giá trị trong tập E - đếm đợc. E là không gian trạng thái mà các phần tử của nó ký hiệu là i, j, k, (có chỉ số hoặc không). Khi đó, tính Markov và tính thuần nhất của (X n ); n = 0, 1, 2 có nghĩa là: P ij = P (X n + 1 = j | X n = i) = P (X n + 1 = j | X 0 = i 0 , , X n - 1 = i n - 1 , X n = i) không phụ thuộc n. 2.1.1. Định nghĩa: P = (p ij ) đợc gọi là ma trận xác suất chuyển sau một bớc. 10