QUÁ TRÌNH NGẪU NHIÊN - XÍCH MARKOV Thành viên thực hiện:  Nguyễn Chí Thanh  Trần Thái Sơn Lương Nhựt Quang Lâm Duy Quý Nguyễn Hồng Hoan Sang Nguyễn Thị Lê Soa Nguyễn Minh Tâm Bùi Văn Tài Nội dung trình bày Quá trình ngẫu nhiên  Biến ngẫu nhiên  Quá trình ngẫu nhiên  Ví dụ một bài toán mô tả bằng quá trình ngẫu nhiên  Phân loại quá trình ngẫu nhiên Xích Markov  Nêu một vài ứng dụng  Tính Markov  Quá trình Markov  Xích Markov  Ma trận xác suất chuyển 1 bước  Ma trận xác suất chuyển n bước  Véctơ phân phối xác suất của hệ tại thời điểm n  Phân phối dừng  Ví dụ giải một bài toán áp dụng mô hình xích Markov  Phân loại trạng thái xích Markov Quá trình ngẫu nhiên - Xích Markov 2 QUÁ TRÌNH NGẪU NHIÊN Quá trình ngẫu nhiên Dữ liệu tất định:  Luôn luôn có giá trị xác định, tính được tính bằng các công thức toán học.  Có thể dự báo giá trị trong tương lai  Đặc trưng bằng các hàm giá trị chính xác  Ví dụ: Một chiếc xe hiện đang ở vị trí i, chạy với vận tốc v, sau khoảng thời gian t thì chiếc xe sẽ ở vị trí j.  Đặt X(t) = j Dữ liệu ngẫu nhiên:  Không biểu diễn được bằng các hàm toán học chặt chẽ  Biểu diễn sử dụng các công cụ xác suất  Ví dụ: Đặt X(t) là kết quả của lần gieo một con xúc sắc tại thời điểm t. Vì X(t) là ngẫu nhiên nên ta không thể xác định chính xác được giá trị X(t) bao nhiêu. Thay vào đó, ta có: X(t) 1 2 3 4 5 6 Xác suất tương ứng 1/6 1/6 1/6 1/6 1/6 1/6 X(t) gọi là đại lượng ngẫu nhiên hay biến ngẫu nhiên Quá trình ngẫu nhiên - Xích Markov 4 Quá trình ngẫu nhiên  Định nghĩa 1: Xét một hệ thống vật lý (hay một hệ thống sinh thái, hệ thống dịch vụ,… ) tiến triển theo thời gian.  Gọi X(t) là trạng thái của hệ tại thời điểm t. Như vậy ứng với mỗi thời điểm t, X(t) chính là một biến ngẫu nhiên mô tả trạng thái của hệ.  Quá trình { X(t), t T∈ } được gọi là một quá trình ngẫu nhiên. Chỉ số t thường chỉ thời gian.  Tóm lại: Một quá trình ngẫu nhiên là một tập hợp các biến ngẫu nhiên dùng mô tả sự tiến triển của một quá trình nào đó theo thời gian (là chủ yếu).  Tập hợp các trạng thái có thể có của X(t) gọi là không gian trạng thái. Không gian trạng thái được kí hiệu là E.  Ví dụ, khi gieo con xúc sắc, X(t) chỉ có thể nhận giá trị là một trong 6 mặt của con xúc sắc ∀t, thì E = {1, 2, 3, 4, 5, 6}. Quá trình ng u nhiên - Xích Markovẫ 5 Bài toán được mô tả bằng quá trình ngẫu nhiên  Ví dụ 1: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C (A, B, C được coi là các vị trí 1, 2, 3 của hệ thống siêu thị này). Giả sử rằng, trong từng tháng mỗi khách hàng luôn trung thành với một siêu thị. Ngoài ra, cũng giả sử rằng trong tháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20% khách hàng vào siêu thị A, 50% vào B và 30% vào C.  Để mô tả tình trạng phân chia thị phần trong tháng đầu (tháng 0) của hệ thống siêu thị trên, chúng ta thiết lập biến ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ở siêu thị A thì đặt X(0)=1, ở siêu thị B thì đặt X(0) = 2, còn ở siêu thị C thì X(0) = 3. Lúc đó, X(0) có bảng phân phối xác suất sau:  Để mô tả tình trạng phân chia thị phần trong các tháng tiếp theo, chẳng hạn, tháng = 1, 2, 3,… vị trí của hệ thống sẽ được mô tả bởi các biến ngẫu nhiên X(1), X(2), X(3),… với các bảng phân phối xác suất tương ứng.  Ta xây dựng được quá trình { X(0), X(1), X(2), …} để mô tả tình trạng phân chia thị phần của hệ thống siêu thị trên. Các giá trị X(0) 1 2 3 Xác suất tương ứng 0,2 0,5 0,3 Quá trình ng u nhiên - Xích Markovẫ 6 Phân loại quá trình ngẫu nhiên Quá trình ngẫu nhiên { X(t), t T }:∈  Nếu T là tập con của tập số nguyên (T ) thì quá trình { X(t), t T }∈ được gọi là quá trình rời rạc theo thời gian. Trường hợp này ta ký hiệu X n thay cho X(t) và gọi là một dãy ngẫu nhiên.  Theo ví dụ 1, ta cho t là các tháng 0, 1,… : tập T = { 0, 1, 2, 3, 4, 5, …} rời rạc  Nếu T = [0;) thì {X(t); t ∈ T} được gọi là quá trình liên tục theo thời gian.  Quá trình ng u nhiên - Xích Markovẫ 7 Tóm lược  Một quá trình ngẫu nhiên là một tập hợp các biến ngẫu nhiên dùng mô tả sự tiến triển của một quá trình nào đó theo thời gian (là chủ yếu).  Kí hiệu: { X(t), t T }∈  Tập hợp các trạng thái có thể có của X(t) gọi là không gian trạng thái. Kí hiệu là E.  Nếu tập T ta có quá trình rời rạc theo thời gian.  Nếu tập T = [0;) ta có quá trình liên tục theo thời gian.  Quá trình ng u nhiên - Xích Markovẫ 8 XÍCH MARKOV Ứng dụng của Markov  Dùng để mô hình hóa nhiều quá trình trong Lý thuyết hàng đợi và Thống kê  Dùng rất nhiều trong Nhận dạng tiếng nói và trong Tin sinh học, chẳng hạn để mã hóa vùng/dự đoán gene  PageRank của một trang web dùng bởi Google được định nghĩa bằng một xích Markov  Chuỗi Markov cũng có nhiều ứng dụng trong mô hình sinh học, đặc biệt là trong tiến trình dân số - một tiến trình tương tụ như tiến trình sinh học  Trong ngành quản lý đất đai: người ta còn ứng dụng GIS, RS và chuỗi Markov vào phân tích sự thay đổi sử dụng đất (land use change), từ đó dự báo được tình hình sử dụng đất trong giai đoạn kế tiếp.  … Quá trình ng u nhiên - Xích Markovẫ 10 [...]... Markov Quá trình ngẫu nhiên - Xích Markov 13 Quá trình Markov  Quá trình { X(t), t ∈ T } có tính Markov gọi là quá trình Markov Quá trình ngẫu nhiên • Có tính Markov Quá trình Markov • Có tập không gian trạng thái rời rạc Xích Markov Quá trình ngẫu nhiên - Xích Markov 14 Xích Markov  Định nghĩa 1: Xét quá trình Markov { X(t), t ∈ T } có không gian trạng thái E Nếu E đánh số được (đếm được) thì quá. .. = Quá trình ngẫu nhiên - Xích Markov 29 Xích Markov  Xét lại ví dụ 1: Để dự đoán sự phân chia thị trường trong tương lai sẽ cân bằng như thế nào ta tìm phân phối dừng Xét ma trận: = Theo định lý ergodic, ta có ma trận trên là chính quý vì >0 Vậy ta có phương trình sau j = , vậy ta có hệ phương trình sau Quá trình ngẫu nhiên - Xích Markov 30 Xích Markov Quá trình ngẫu nhiên - Xích Markov 31 Xích Markov. . .Xích Markov Quá trình ngẫu nhiên • Có tính Markov Quá trình Markov • Có tập không gian trạng thái rời rạc Xích Markov Quá trình ngẫu nhiên - Xích Markov 11 Tính Markov   Xét quá trình ngẫu nhiên (hệ) { X(t), t ∈ T } có không gian trạng thái E Quá khứ Trạng thái của hệ … Thời điểm hiện tại (s) X(s) = i Thời điểm trong tương... = 1(theo quy ước) ij và jk thì ik Xích Markov tối giản: Xích Markov được gọi là tối giản nếu hai trạng thái bất kỳ của nó liên thông với nhau Quá trình ngẫu nhiên - Xích Markov 33 Phân loại trạng thái xích Markov Ví dụ: Cho xích Markov với ma trận xác suất chuyển: Quá trình ngẫu nhiên - Xích Markov 34 Phân loại trạng thái xích Markov   Trạng thái hồi quy & không hồi quy   Ý nghĩa: fij(n... siêu thị A, 50% v ào B và 30% vào C Quá trình ngẫu nhiên - Xích Markov 19 Xích Markov  Từ ví dụ 1, ta được  Các giá trị: t0 , t1…, tn+1 là các tháng 1,2,3…  Không gian trạng thái E: các giá trị 1,2,3 vị trí các siêu thị  X(tn) là các đại lượng ngẫu nhiêu  P là ma trận xắc suất chuyển: sẽ xét & minh họa trong mục sau Quá trình ngẫu nhiên - Xích Markov 20 Xích Markov  Ma trận xác suất chuyển một... điểm ban đầu, xác suất tỉ lệ khách hàng vào các cửa hàng là: ∏ (1) Quá trình ngẫu nhiên - Xích Markov 0,1 0,1   0,8 = ∏ ( 0 ) x P = [ 0,2 0,5 0,3] x  0,07 0,9 0,03   0,083 0,067 0,85    = [ 0,2199 0,4901 0,2900] 26 Xích Markov  Tương tự sau 2 tháng tỉ lệ xác suất khách vào các cửa hàng là ∏ ( 2) Quá trình ngẫu nhiên - Xích Markov 0,1 0,1   0,8 = ∏ (1) x P = [ 0,2199 0,4901 0,2900] x  0,07... 0,85 Quá trình ngẫu nhiên - Xích Markov 17 Bài toán ứng dụng Xích Markov  Dùng mô hình xích Markov cho bài toán trên sẽ trả lời được cho chúng ta các câu hỏi:    Tỉ lệ phần trăm số khách hàng vào các siêu thị A (hoặc B, hoặc C) trong tháng thứ 5 (tháng bất kì) là bao nhiêu? Tỉ lệ phần trăm số khách hàng vào các siêu thị A, B, C sẽ thay đổi cho đến khi nào thì ổn định? Dùng như thế nào? Quá trình ngẫu. .. chính quy  Các số ∏ 1,…, ∏ n là nghiệm của hệ phương trình ∏ j = , j ϵ E và đó là nghiệm duy nhất thỏa mãn điều kiện ∏ j > 0 , Vj ϵ E , = 1 nếu ma trận P là chính quy Quá trình ngẫu nhiên - Xích Markov 28 Xích Markov   Định nghĩa 2:  Nghiệm không âm (∏1,…, ∏n) của phương trình ∏j = sao cho = 1 được gọi là phân phối dừng (hay bất biến) của xích Markov với ma trận xác suất chuyển P = [pij]  Viết dưới... t, j) đúng với => tính Markov  Tóm lại: Một hệ được gọi là có tính Markov nếu trạng thái của hệ trong tương lai chỉ phụ thuộc vào trạng thái của hệ ở hiện tại và độc lập với quá khứ Quá trình ngẫu nhiên - Xích Markov 12 Tính Markov  Ví dụ:  Dân số nước ta hiện tại là 90 triệu người  Trong tương lai, dân số nước ta phát triển chỉ phụ thuộc vào dân số hiện tại mà độc lập với quá khứ  Vậy, sự phát... Nếu E đánh số được (đếm được) thì quá trình { X(t), t ∈ T } được gọi là xích Markov   Lúc này, có thể kí hiệu E = {1, 2, 3, }, tức là các trạng thái được đánh số Nếu tập các giá trị t đếm được (chẳng hạn, t = 0, 1, 2, ) thì ta có xích Markov với thời gian rời rạc, hay xích Markov rời rạc  Nếu t ∈ [0,∞) thì ta có xích Markov với thời gian liên tục, hay xích Markov liên tục  Nếu xác suất chuyển . Văn Tài Nội dung trình bày Quá trình ngẫu nhiên  Biến ngẫu nhiên  Quá trình ngẫu nhiên  Ví dụ một bài toán mô tả bằng quá trình ngẫu nhiên  Phân loại quá trình ngẫu nhiên Xích Markov  Nêu một. rời rạc Xích Markov Quá trình Markov  Quá trình { X(t), t T } có tính Markov gọi là quá trình Markov .∈ Quá trình ng u nhiên - Xích Markov 14 Xích Markov  Định nghĩa 1: Xét quá trình Markov. dụ giải một bài toán áp dụng mô hình xích Markov  Phân loại trạng thái xích Markov Quá trình ngẫu nhiên - Xích Markov 2 QUÁ TRÌNH NGẪU NHIÊN Quá trình ngẫu nhiên Dữ liệu tất định:  Luôn luôn