TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN TRẦN THỊ THƯ TÌM HIỂU VỀ XÍCH MARKOV VÀ ỨNG DỤNG KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC Chun Ngành: Tốn ứng dụng Hà Nội - 2014 TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TỐN TRẦN THỊ THƯ TÌM HIỂU VỀ XÍCH MARKOV VÀ ỨNG DỤNG KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC Chuyên Ngành: Toán ứng dụng Người hướng dẫn khoa học TS TRẦN MINH TƯỚC Hà Nội - 2014 LỜI CẢM ƠN Trong trình nghiên cứu thực khóa luận, với cố gắng thân với hướng dẫn giúp đỡ nhiệt tình thày giáo bạn sinh viên, em hồn thành khóa luận Em xin bày tỏ lòng biết ơn tới thày, cơng tác Khoa Tốn Trường Đại học sư phạm Hà Nội Thày cô trực tiếp giảng dạy, truyền đạt cho em kinh nghiệm quý báu chuyên môn kinh nghiệm nghiên cứu khoa học thời gian qua Em xin gửi lời cảm ơn chân thành tới gia đình, bạn bè bên em, cổ vũ, động viên, giúp đỡ em suốt trình học tập thực khóa luận tốt nghiệp Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc đến thày giáo, TS Trần Minh Tước, người tận tình hướng dẫn để em hồn thành khóa luận Hà Nội, Ngày 15 tháng 05 năm 2014 Sinh viên Trần Thị Thư LỜI CAM ĐOAN Tên em Trần Thị Thư, sinh viên đại học khóa 2010-2014, lớp K36A sư phạm Toán, khoa Toán, trường Đại Học Sư Phạm Hà Nội Em xin cam đoan đề tài " Tìm hiểu xích Markov ứng dụng" kết nghiên cứu thu thập riêng em, không trùng lặp với kết cơng bố Nội dung khóa luận em thực hướng dẫn trực tiếp thày Trần Minh Tước Mọi tham khảo dùng báo cáo trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Nếu khơng có trung thực luận văn, em xin hồn toàn chịu trách nhiệm trước hội đồng khoa học Hà Nội, Ngày 15 tháng 05 năm 2014 Sinh viên Trần Thị Thư Mục lục Lời mở đầu Chương Tổng quan xích Markov 1.1 Định nghĩa ví dụ 1.1.1 Định nghĩa 1.1.2 Ví dụ 1.2 Xích Markov rời rạc 1.2.1 Ma trận xác suất chuyển 1.2.2 Phân phối ban đầu 10 1.3 Xích Markov có hữu hạn trạng thái 12 1.3.1 Xích có hai trạng thái 1.3.2 Định lý ergodic 1.3.3 Phân phối dừng 1.3.4 Phân phối giới hạn phân phối ergodic 12 13 14 16 Chương Một số mơ hình xích Markov 20 2.1 Mô hình trò chơi 20 2.2 Mơ hình phân chia thị trường 27 2.3 Mô hình phục vụ khách hàng 31 Kết luận 33 Tài liệu tham khảo 34 LỜI MỞ ĐẦU Xác suất Thống kê lĩnh vực tốn ứng dụng, đòi hỏi sở tốn học sâu sắc Ngày mơ hình xác suất thực ứng dụng rộng rãi khoa học tự nhiên khoa học xã hội Đầu kỷ XX, A.A.Markov (14/ 6/ 1856-20/ 7/ 1922)- nhà Toán học vật lý tiếng người Nga đưa mô hình tốn học để mơ tả chuyển động phân tử chất lỏng bình kín Về sau mơ hình phát triển sử dụng nhiều lĩnh vực khác học, sinh học, y học, kinh tế,v.v mang tên là: Q trình Markov Trong năm gần đây, xích Markov ứng dụng nhiều thương nghiệp, tin học, viễn thông, v.v môn học bắt buộc sinh viên nhiều trường đại học Vậy nên, tìm hiểu xích Markov vấn đề ngày trở nên quan trọng nhiều người quan tâm Với lí với lòng say mê nghiên cứu giúp đỡ tận tình thày giáo, TS.Trần Minh Tước, em chọn đề tài : ” Tìm hiểu xích Markov ứng dụng” Nội dung khóa luận bao gồm phần sau: • Chương 1: Tổng quan xích Markov Trong chương trình bày định nghĩa kết quan trọng như: tính Markov, xác suất chuyển, phương trình ChapmanKolmogorov, phân phối dừng, định lí ergodic • Chương 2: Một số mơ hình xích Markov Trình bày số mơ hình ứng dụng quan trọng xích Markov vào thực tiễn gồm mơ hình trò chơi, mơ hình phân chia thị trường mơ hình phục vụ khách hàng Tuy có nhiều cố gắng thời gian thực khóa luận khơng nhiều, kiến thức hạn chế nên làm khóa luận khơng tránh khỏi hạn chế sai sót Em mong nhận góp ý xây dựng quý thầy cô bạn đọc Xin chân thành cảm ơn! Hà Nội, Ngày 15 tháng 05 năm 2014 Sinh viên Trần Thị Thư Chương Tổng quan xích Markov 1.1 Định nghĩa ví dụ 1.1.1 Định nghĩa Giả thiết ta nghiên cứu tiến triển theo thời gian hệ vật lý sinh thái (có thể phân tử, hạt bản, người sinh vật đó,v.v ) Kí hiệu X(t) vị trí hệ thời điểm t Tập hợp vị trí có hệ gọi khơng gian trạng thái Giả sử trước thời điểm s hệ trạng thái đó, thời điểm s hệ trạng thái i Ta cần biết thời điểm t tương lai (t > s) hệ trạng thái j với xác suất bao nhiêu? Nếu xác suất phụ thuộc vào s,t, i, j điều có nghĩa là: tiến triển hệ tương lai phụ thuộc vào độc lập với q khứ Đó tính Markov Hệ có tính chất gọi q trình Markov Chẳng hạn, gọi X(t) dân số thời điểm t (trong tương lai) xem X(t) phụ thuộc vào dân số độc lập với khứ Nói chung, hệ (sinh thái, vật lý học, v.v ) trí nhớ (memory) sức ỳ hệ có tính Markov Ta kí hiệu E tập gồm giá trị X(t) gọi E khộng gian trạng thái X(t) Nếu X(t) có tính Markov E đánh số (đếm được) X(t) gọi xích Markov Thêm vào đó, t = 0, 1, 2, ta có xích Markov với thời gian rời rạc, t ∈ [0, ∞] ta có khái niệm xích Markov với thời gian liên tục Về phương diện toán học, tính Markov định nghĩa sau: Định nghĩa 1.1.1 Ta nói X(t) có tính Markov nếu: P{X(tn+1 ) = j|X(t0 ) = i0 , , X(tn−1 ) = in−1 , X(tn ) = i} = P{X(tn+1 ) = j|X(tn ) = i}, với t0 < t1 < · · · < tn < tn+1 < i0 , , in−1 , i, j ∈ E Ta xem tn tại, tn+1 tương lai, (t0 ,t1 , ,tn−1 ) khứ Vì biểu thức tính Markov X(t) Đặt p(s, i,t, j) = P[X(t) = j|X(s) = i] , (s < t) xác suất có điều kiện để hệ (hay trình) thời điểm s trạng thái i, đến thời điểm t chuyển sang trạng thái j Vì ta gọi p(s, i,t, j) xác suất chuyển hệ (hay trình) Nếu xác suất chuyển phụ thuộc vào (t − s), tức là: p(s, i,t, j) = p(s + h, i,t + h, j) ta nói hệ (hay q trình) theo thời gian Trong luận văn này, khơng nói thêm ta xét xích Markov 1.1.2 Ví dụ Ví dụ 1.1.1 Cho X0 , X1 , , Xn , dãy biến ngẫu nhiên rời rạc, độc lập, Ek tập giá trị Xk , Ek hữu hạn hay đếm (k = 0, 1, 2, , n, ) Đặt E=E1 ∪ E2 ∪ ∪ Ek , rõ ràng E tập hợp không đếm Khi ta thấy P{Xn+1 = j|X0 = i0 , Xn−1 = in−1 , Xn = i} = = P{Xn+1 = j} = P{Xn+1 = j|Xn = i} = P(n, i, n + 1, j) với i0 ∈ E0 , i1 ∈ E1 , in−1 ∈ En−1 , i ∈ En , j ∈ En+1 Như (Xn ; n = 0, 1, 2, ) xích Markov Ví dụ 1.1.2 Cho ξ0 , η1 , η2 , , ηn dãy biến ngẫu nhiên (đại lượng ngẫu nhiên) rời rạc, độc lập, nhận giá trị số nguyên Đặt Xn = ξ0 + η1 + η2 + · · · + ηn , (n=1,2, ) Ta có P{Xn+1 = j|ξ0 = i0 , X1 = i1 , Xn−1 = in−1 , Xn = i} = = P{Xn + ηn+1 = j|ξ0 = i0 , η1 = i1 − i0 , , ηn = i − in−1 } = P{ηn+1 = j − i|ξ0 = i0 , η1 = i1 − i0 , , ηn = i − in−1 } = P{ηn+1 = j − i} P{Xn+1 = j|Xn = i} = = P{ηn+1 = j − i|ξ0 + η1 + · · · + ηn−1 + ηn = i} = P{ηn+1 = j − i} Vậy (Xn ; n = 1, 2, ) xích Markov Chú ý: Nói chung xích Markov Ví dụ 1.1.1 1.1.2 không Nếu Ví dụ 1.1.1, cho ξ0 , ξ1 , , ξn , dãy biến ngẫu nhiên rời rạc, độc lập phân phối xác suất (ξn ; n = 0, 1, 2, ) xích Markov ngược lại Còn Ví dụ 1.1.2, cho η1 , η2 , , ηn , dãy biến ngẫu nhiên rời rạc, độc lập phân phối xác suất (Xn , n = 1, 2, ) xích Chương Một số mơ hình xích Markov 2.1 Mơ hình trò chơi Xét trận đấu tennis đấu thủ Giả sử rằng, đấu thủ A có điểm (trong trường hợp) với xác suất p, đấu thủ B có điểm với xác suất q Có 20 khả điểm đấu thủ A B game Đó là: - 0, 15, 15 - 0, - 30, 15 - 15, 30 - 0, - 40, 15 - 30, 30 - 15, 40 - 0, 15 - 40, 30 - 30, 40 - 15, 30 - 40, 40 - 30, Advantage B, Deuce, Advantage A, Game B, Game A Tuy nhiên, thấy trường hợp tập trung cặp: { 30 - 30, Deuce}, { 30 - 40, Advantage B} Kết mơ tả sơ đồ hình 2.1 Khi game thứ kết thúc, game thứ bắt đầu với người giao bóng người nhận giao bóng vậy, tiếp tục có người chiến thắng game với cách biệt người game Khi kết thúc séc Vì điểm séc sau: : 0, : 1, : 2, : 3, : 4, : 5, : ngược lại tiếp tục Người chơi thắng trận thắng séc thắng séc 20 Hình 2.1: Sơ đồ trạng thái game tennis Game Sơ đồ hình 2.1 sơ đồ trạng thái game trạng thái điểm số Sự chuyển đổi từ trạng thái sang trạng thái khác phụ thuộc vào trạng thái tương ứng với xác suất chuyển, không phụ thuộc vào q khứ Vì vậy, game mơ hình hóa xích Markov Kí hiệu p xác suất để người giao bóng có điểm, q = − p xác suất để người trả giao bóng có điểm Vì vậy, điểm ghi với xác suất P(13 : 0) = p, P(0 : 15) = q Điểm thứ ghi với xác suất P(30 : 0) = p2 , P(15 : 15) = 2pq, P(0 : 30) = q2 Tương tự điểm thứ ghi với xác suất P(40 : 0) = p3 , P(30 : 15) = 3p2 q, P(15 : 30) = 3pq2 , P(0 : 40) = q3 , điểm thứ ghi với xác suất P(người giao bóng thắng) = p4 , P(40 : 15) = 4p3 q, P(deuce) = 6p2 q2 , P{15 : 40} = 4pq3 , P(người trả giao bóng thắng) = q4 21 Cuối cùng, điểm thứ ghi với xác suất p0 = P( giao bóng thắng) = p4 (1 + 4p), p1 = P(adv in) = 4q3 q2 , p2 = P{deuce} = 6p2 q2 , p3 = P( adv.out ) = 4p2 q3 , p4 = P(người trả giao bóng thắng) = p4 (1+4p) (2.1.1) Phần lại game đấu tương tự xích Markov trạng thái với trạng thái hấp thụ điểm kết thúc (e0 , e4 ) ≡ (người giao bóng thắng; người trả giao bóng thắng) trạng thái chuyển (adv.in, deuce, adv.out) Ma trận xác suất chuyển cho xích Markov   0 0    p q 0    (2.1.2) P= p q      0 p q 0 0 Từ (2.1.1) phân phối ban đầu xích Markov p(0) = [p0 , p1 , p2 , p3 , p4 ] (2.1.3) (n) Đối với trạng thái chuyển e j , j = 1, 2, 3, ta có pi j → 0, xích có số hữu hạn trạng thái hệ thống bị hút vào điểm kết thúc Kí hiệu fk,0 fk,4 từ xác suất hấp thụ từ trạng thái chuyển ek , k = 1, 2, trạng thái hấp thụ e0 e4 Ta có   0 0    f1,0 q f1,4     Pn → Q =  (2.1.4)  f2,0 0 f2,4     f3,0 0 f3,4  0 0 22 fk,0 − (q/p)N−k fk,0 = − (q/p)N (2.1.5) fk,4 = − fk,0 (2.1.6) với N=4, Sử dụng cơng thức tính xác suất chuyển sau n- bước p(n) = p(0).Pn ta thu lim p(n) = lim p(0)Pn = p(0)Q = [pg , 0, 0, 0, − pg ] n→∞ n→∞ (2.1.7) − ∑4k=0 pk (q/p)4−k pg = P{Người giao bóng thắng } = ∑ pk fk,0 = − (q/p) k=0 (2.1.8) Ví dụ, người giao bóng chơi tốt gấp lần người trả giao bóng (tức p=2/3, q=1/3), từ (2.1.8)ta có xác suất để người giao bóng thắng game 0,856 người trả giao bóng thắng game 0,144 Mặt khác, đấu thủ có trình độ, với người giao bóng có lợi p = 0, 52 q = 0, 48 xác suất để thắng game người giao bóng trả giao bóng tương ứng 0,55 0,45 Chú ý rằng, xác suất thắng điểm chênh 0,04 xác suất thắng game chênh 0,1 Séc: Để hoàn thành séc, đấu thủ phải chơi có bên thắng game với cách biệt game Kết mơ tả sơ đồ hình 2.2 Sơ đồ trạng thái hình 2.2 séc trạng thái đồng với điểm số Chú ý pg xác suất người giao bóng thắng game qg = − pg xác suất người trả giao bóng thắng game Vì P(6 : 0) = p6g từ sơ đồ hình 2.2, game thứ 11 game thứ 12 xích Markov diễn với p q thay pg qg tương ứng 23 Hình 2.2: Sơ đồ trạng thái séc tennis Tính tốn tương tự game ta thu xác suất ghi điểm game thứ 11 v0 = P(người giao bóng thắng ) = P{(6 : 0)∪(6 : 1)∪(6 : 2)∪(6 : 3)∪(6 : 4)} = p6g + 6p6g qg + 21p6g q2g + 56p6g q3g + 126p6g q4g v1 = P(game lợi cho người giao bóng ) = P{6 : 5} = 252p6g q5g v2 = P(bằng điểm ) = (2.1.9) (2.1.10) (2.1.11) v3 = P(game lợi cho người trả giao bóng ) = P{5 : 6} = 252q6g p5g (2.1.12) v4 = P(người nhận giao bóng thắng ) = q6g +6q6g pg +21q6g p2g +56q6g p3g +126q6g p4g (2.1.13) Các xác suất phân phối ban đầu xích Markov sơ đồ hình 2.3 : 24 Hình 2.3: Sơ đồ xác suất ghi điểm game thứ 11 Phân phối xác suất thời gian séc lim p(n) → [v0 , v1 , v2 , v3 , v4 ]Qg = [ps , 0, 0, 0, − ps ] n→∞ (2.1.14) (Qg biểu diễn Q) − ∑4k=0 vk (qg /pg )4−k ps = − (qg /pg )4 (2.1.15) Ở đây, ps xác suất thắng séc người giao bóng Match Thơng thường, trận đấu gồm séc Để chiến thắng trận séc người chơi phải có điểm số (2 : 0) (2 : 1) xác suất thắng trận có séc pm = P{2 : 0} + P{2 : 1} = p2s + 2p2s qs (2.1.16) ps xác suất thắng séc ps = − qs Tương tự, ta có xác suất thắng trận đấu séc pm = P{3 : 0} + P{3 : 1} + P{3 : 2} = p3s + 3p3s qs + 6p3s q2s (2.1.17) Như vậy, trận tennis có du động ngẫu nhiên (2 xích Markov): game đấu, hai séc đấu Trong trường hợp đấu thủ có trình độ, tổng game đấu vượt qua 12 Vì kéo dài thời gian tiêu hao nhiều lượng đấu thủ Do vậy, loại tie-break đưa vào séc 25 Tie - breaks Tại điểm số : séc, loại tie- breaks sử dụng đấu thủ giao bóng để bắt đầu game đấu Sau lần giao bóng đầu tiên, kết thúc điểm đối thủ giao bóng đấu thủ có điểm số với điểm cách biệt Như có xích Markov loạt tie-breaks Chiến lược thi đấu đấu thủ loạt tie-breaks khác biệt so với game thông thường Sau điểm, đấu thủ phải cố gắng để có điểm sau Vì vậy, P(giao bóng thắng điểm kế tiếp/trả giao bóng thắng điểm trước đó) = α (2.1.18) P(trả giao bóng thắng điểm tiếp theo/giao bóng thắng điểm trước đó) = β (2.1.19) Giả thiết α > 0, , β > 0, ma trận xác suất chuyển xích Markov loạt tie-breaks có dạng P= 1−β α Ptn → α +β β 1−α (2.1.20) Tính tốn, ta thu α α β β Từ đó, xác suất để người giao bóng thắng điểm loạt tie- breaks α ρ= (2.1.21) α +β xác suất người trả giao bóng thắng điểm 1−ρ = β α +β (2.1.22) Sơ đồ trạng thái cho loạt tie-breaks tương tự sơ đồ hình 2.2 với pg qg thay ρ − ρ tương ứng 26 2.2 Mơ hình phân chia thị trường Giả sử có N cửa hàng bán sản phẩm Khách hàng mua hàng N cửa hàng này, việc họ chọn cửa hàng tùy theo sở thích họ họ bỏ cửa hàng đến cửa hàng (vì lý đó) Các cửa hàng cạnh tranh (quảng cáo, khuyến mại, v.v ) để lơi kéo khách hàng Ta có mơ hình sau: Tất khách hàng đồng điểm vật chất chuyển động có N trạng thái (ứng với N cửa hàng) Đây xích Markov có N trạng thái, xác suất chuyển pi j có nghĩa xác suất để khách hàng thích cửa hàng i, sau chu kì thời gian chuyển sang mua cửa hàng j Gọi X0 phân chia khách hàng giai đoạn đầu (tháng Giêng) Chẳng hạn, có cửa hàng (E = {1, 2, 3}) với 1000 khách hàng P(X0 = 1) = 20% , P(X0 = 2) = 50% , P(X0 = 3) = 30% có nghĩa giai đoạn đầu: * Cửa hàng số chiếm 20% khách hàng (có 200 khách) * Cửa hàng số chiếm 50% khách hàng (có 500 khách) * Cửa hàng số chiếm 30% khách hàng (có 300 khách) Sau chu kì thời gian (chẳng hạn tháng), tình hình thay đổi: Mỗi cửa hàng giữ khách, thêm khách khách Gọi X1 phân chia thị trường giai đoạn thứ nhất, chẳng hạn P(X0 = 1) = 22% , P(X0 = 2) = 49% , P(X0 = 3) = 29% có nghĩa sau chu kì hoạt động: * Cửa hàng số chiếm 22% khách hàng (thu thêm 2% khách hàng) * Cửa hàng số chiếm 49% khách hàng (mất 1% khách hàng) * Cửa hàng số chiếm 29% khách hàng (mất 1% khách hàng) 27 Thoạt nhìn ta cho chu kì tháng có 10 khách hàng chuyển từ cửa hàng sang cửa hàng có 10 khách chuyển từ cửa hàng sang cửa hàng Tuy nhiên, điều tra chi tiết ta có bảng sau: CH khách hàng 200 500 300 khách có thêm 60 40 35 khách 40 50 45 khách tháng 220 590 290 Nếu điều tra chi tiết nữa, ta có số liệu sau: Tháng đầu (tháng Giêng) cửa hàng có 200 khách hàng Sau tháng (tháng Hai), tình hình cửa hàng sau: * Giữ 160 khách * Mất 20 khách cho cửa hàng 20 khách cho cửa hàng (tức có 20 khách chuyển từ cửa hàng sang cửa hàng có 20 khách chuyển từ cửa hàng sang cửa hàng 3) * Thu 35 khách từ cửa hàng 25 khách từ cửa hàng Tương tự, tháng đầu, cửa hàng có 500 khách hàng Sau tháng, cửa hàng 2: * Giữ 450 khách * Mất 35 khách cho cửa hàng 15 khách cho cửa hàng * Thu 20 khách từ cửa hàng 20 khách từ cửa hàng Tháng đầu, cửa hàng có 300 khách hàng Sau tháng, cửa hàng 3: * Giữ 255 khách * Mất 25 khách cho cửa hàng 20 khách cho cửa hàng * Thu 20 khách từ cửa hàng 15 khách từ cửa hàng Ta có xác suất chuyển sau: p11 = 160/200 = 0, 800 ; p12 = 20/200 = 0, 100; p13 = 20/200 = 0, 100 p21 = 35/500 = 0, 070 ; p22 = 450/500 = 0, 900; p23 = 15/500 = 0, 030 28 p31 = 25/300 = 0, 800 ; p32 = 20/300 = 0, 067; p33 = 255/300 = 0, 850 Tóm lại, với số liệu trên, chọn mơ hình xích Markov thì: * Khơng gian trạng thái cửa hàng:E = {1, 2, 3} * Phân phối ban đầu Π = (0, 20; 0, 50; 0, 30) *Ma trận xác suất chuyển   0, 800 0, 100 0, 100   P = 0, 070 0, 900 0, 030 0, 083 0, 067 0, 850 Nhờ mơ hình ta tính: Π(1) = ΠP = (0, 20; 0, 50; 0, 30)P = (0, 22; 0, 49; 0, 29) (ta trở lại số liệu khách hàng tháng Hai) Π(2) = Π(1) P = (0, 22; 0, 49; 0, 29)P = (0, 234; 0, 483; 0, 283) Vậy, ta dự báo tháng Ba: *Cửa hàng có 234 khách *Cửa hàng có 438 khách *Cửa hàng có 283 khách Tiếp tục q trình ta tính Π(11) = Π(10) P = ΠP(10) = ΠP10 = (0, 270; 0, 459; 0, 271) Để thu dự báo khách hàng cho tháng Chạp: *Cửa hàng có 270 khách *Cửa hàng có 459 khách *Cửa hàng có 271 khách Để dự báo phân chia thị trường cho tương lai ta cần tính Π(n+1) = Πn P Nếu tương lai thị trường cân (nghĩa cửa hàng có lượng khách ổn định) Π(n+1) ≈ Π(n) n lớn Đó lý ta 29 cần phải tìm phân phối dừng, tức tìm nghiệm khơng âm hệ phương trình  0, 800x1 + 0, 070x2 + 0, 083x3 = x1     0, 100x + 0, 900x + 0, 067x = x  0, 100x1 + 0, 030x2 + 0, 850x3 = x3    x1 + x2 + x3 = Ta có tới phương trình để xác định ẩn Tuy nhiên, cần ý pi j xác suất chuyển nên ∑ j pi j = phương trình đầu phụ thuộc tuyến tính Khi bỏ phương trình đầu, ta tìm x1 = 0, 272 , x2 = 0, 455, x3 = 0, 273 tức tương lai *Cửa hàng có khách ổn định 272 *Cửa hàng có khách ổn định 455 *Cửa hàng có khách ổn định 273 Chú ý: Trên thực tế có cửa hàng phục vụ tốt đến mức khách đến mua hàng cửa hàng khơng chuyển sang cửa hàng khác Cửa hàng (trạng thái) gọi chỗ trũng (hay trạng thái hút, trạng thái hấp thụ) Chẳng hạn, ma trận xác suất chuyển   0, 90 0, 05 0, 05   P = 0, 15 0, 75 0, 10 0 1, 00 cửa hàng dần chiếm lĩnh toàn thị trường (p31 = p32 = 0, p33 = 1, 00) Vậy chỗ trũng (hay trạng thái hút) Còn ma trận xác suất chuyển   0, 90 0, 05 0, 05   P= 0, 50 0, 50 0, 50 0, 50 tức p21 = p31 = cửa hàng dần hết khách hàng, hai cửa 30 hàng chiếm lĩnh thị trường Đấy chỗ trũng gồm hai trạng thái 2.3 Mơ hình phục vụ khách hàng Giả sử cửa hàng phục vụ A có người phục vụ Khách đến xếp hàng đợi đến lượt phục vụ cửa hàng phục vụ khách Khi cửa hàng phục vụ khách đến xếp hàng chờ Khách phục vụ xong rời khỏi cửa hàng Giả sử chu kì thời gian, cửa hàng phục vụ khách giả sử số khách đến cửa hàng chu kì thứ n biến ngẫu nhiên ξn có phân phối xác suất sau: xác suất để có k khách hàng tới chu kì cho công thức: P(ξn = k) = ak ; k = 0, 1, 2, ; ak > 0, ∑ ak=1 k (phân phối độc lập n) Ta giả thiết ξ1 , ξ2 , biến ngẫu nhiên độc lập Như vậy(ξn ) dãy biến ngẫu nhiên độc lập phân phối Trạng thái hệ (cửa hàng) thời điểm đầu chu kì số khách xếp hàng chờ phục vụ Nếu hệ trạng thái i sau chu kỳ hệ rơi vào trạng thái − i + ξ i ≥ , j= ξ i = 0, (ξ biến ngẫu nhiên có phân phối (ak ) trên) Ta kí hiệu Xn số khách thời điểm xuất phát chu kỳ n Khi Xn+1 = (Xn − 1)+ + ξn , 31 với X + = max(0, X) Rõ ràng (Xn ) xích Markov (thuần nhất) với không gian trạng thái E = {0, 1, 2, } ma trận xác suất chuyển   a0 a1 a2 a3 a4   a0 a1 a2 a3 a4     P= a a a a      0 a0 a1 a2  0 a0 a1 Chú ý Eξ = ∑ kak số trung bình khách tới kì phục vụ Bằng trực giác ta cảm nhận Eξ > số người xếp hàng (chờ phục vụ) ngày tăng Nếu Eξ < số người xếp hàng đạt tới trạng thái cân theo nghĩa sau lim P(Xn = k|X0 = j) = πk > 0; ∀k = 0, 1, , (∑ πk = 1) n→∞ Trong mơ hình lại hai đại lượng quan trọng cần tính đến Đó là: • π0 xác suất khơng có khách, tức tỷ lệ thời gian cửa hàng khơng có khách so với thời gian cửa hàng mở cửa • Thời gian trung bình khách cửa hàng ∑(1 + k)πk 32 KẾT LUẬN Trong khóa luận em trình bày tư tưởng nội dung, tổng quan xích Markov, định nghĩa kết quan trọng xích Markov Trường hợp xích Markov rời rạc, xích Markov có hữu hạn trạng thái Đồng thời, trình bày số mơ hình ứng dụng quan trọng xích Markov vào thực tiễn mơ hình trò chơi, mơ hình phân chia thị trường mơ hình phục vụ khách hàng Đóng góp khóa luận bao gồm: • Tìm hiểu trình bày lại định nghĩa xích Markov • Đề cập phân tích số mơ hình dạng tốn thực tế áp dụng xích Markov, đặc biệt mơ hình trò chơi tennis Tuy nhiên, thời gian thực khóa luận khơng nhiều nên khóa luận em có sai sót, em mong nhận góp ý quý thầy cô bạn đọc 33 Tài liệu tham khảo [1] Đặng Hùng Thắng, Quá trình ngẫu nhiên tính tốn ngẫu nhiên, NXB Đại học Quốc Gia Hà Nội [2] Nguyễn Duy Tiến, Các mơ hình xác suất ứng dụng, NXB Đại học Quốc Gia Hà Nội [3] Nguyễn Duy Tiến - Vũ Viết Yên, Lý thuyết xác suất, NXB Giáo dục [4] Athanasios papoulis - S Unnikrishna Pillai, Probability, Random Variables and Stochastic Processes 34 ...TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN TRẦN THỊ THƯ TÌM HIỂU VỀ XÍCH MARKOV VÀ ỨNG DỤNG KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC Chun Ngành: Tốn ứng dụng Người hướng dẫn khoa học TS TRẦN MINH TƯỚC Hà Nội... tính Markov E đánh số (đếm được) X(t) gọi xích Markov Thêm vào đó, t = 0, 1, 2, ta có xích Markov với thời gian rời rạc, t ∈ [0, ∞] ta có khái niệm xích Markov với thời gian liên tục Về phương... nên, tìm hiểu xích Markov vấn đề ngày trở nên quan trọng nhiều người quan tâm Với lí với lòng say mê nghiên cứu giúp đỡ tận tình thày giáo, TS.Trần Minh Tước, em chọn đề tài : ” Tìm hiểu xích Markov