ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN VĂN TUÂN CÁC TIÊU CHUẨN LỰA CHỌN MÔ HÌNH CHUỖI THỜI GIAN Chuyên ngành: Lí thuyết xác suất thống kê Toán học Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS TRẦN MẠNH CƯỜNG HÀ NỘI - 2015 Mục lục Lời nói đầu Chương Giới thiệu số chuỗi thời gian dừng 1.1 Các khái niệm 1.1.1 Quá trình cấp 1.1.2 Hàm trung bình, hàm tự hiệp phương sai hàm tự tương 1.1.3 1.2 quan Quá trình dừng Một số trình dừng quan trọng 10 1.2.1 Quá trình trung bình trượt cấp 10 1.2.2 Quá trình trung bình trượt cấp q 11 1.2.3 Quá trình trung bình trượt cấp vô hạn 12 1.2.4 Quá trình tự hồi quy cấp 14 1.2.5 Quá trình tự hồi quy cấp 17 1.2.6 Quá trình tự hồi quy cấp p 20 1.2.7 Quá trình hỗn hợp ARMA(p,q) 21 Chương Một số tiêu chuẩn lựa chọn mô hình 2.1 24 Tiêu chuẩn thông tin Akaike 24 2.1.1 Khoảng cách Kullback - Leibler 24 2.1.2 Ước lượng hợp lý cực đại khoảng cách Kullback - Leibler 26 2.2 2.3 2.1.3 Định nghĩa AIC 32 2.1.4 AIC khoảng cách Kullback - Leibler 34 Tiêu chuẩn thông tin Bayesian (BIC) 40 2.2.1 Nguồn gốc BIC 40 2.2.2 Định ngĩa BIC 42 Xác định bậc mô hình ARMA ACF PACF 47 2.3.1 AFC: Hàm tự tương quan 47 2.3.2 PACF: Hàm tự tương quan riêng 49 Chương Ứng dụng 55 3.1 Dữ liệu 55 3.2 Phân tích 55 3.3 Code R 59 Tài liệu tham khảo 63 Lời nói đầu Lựa chọn mô hình (Model selection) toán thống kê nhiều nghành khoa học khác Theo R.A Fisher có toán thống kê suy luận dự báo gồm - Xác định mô hình (model specification) - Ước lượng tham số (estimation of model parameters) - Dự báo (prediction) Trước năm 1970 hầu hết nghiên cứu tập trung vào hai toán sau với giả thiết mô hình biết Sau xuất công trình Akaike (1973) toán lựa chọn mô hình thu hút quan tâm cồng đồng làm thống kê Với liệu đưa ra, mô hình tốt nhất? Để trả lời cho câu hỏi trên, người ta đưa tiêu chuẩn thông tin để lựa chọn mô hình phù hợp tiêu chuẩn thông tin Akaike (AIC) tiêu chuẩn thông tin Bayesian (BIC), Việc lựa chọn mô hình phù hợp trung tâm cho tất công tác thông kê với liệu Lựa chọn biến để sử dụng mô hình hồi quy ví dụ quan trọng Luận văn trình bày hai tiêu chuẩn thông tin quan trọng tiêu chuẩn thông tin Akaike tiêu chuẩn thông tin Bayesian Luận văn gồm ba chương Chương Giới thiệu số chuỗi thời gian dừng Chương trình bày số khái niệm bản: trình cấp 2, hàm trung bình hàm tự hiệp phương sai trình ngẫu nhiên, trình dừng số trình dừng quan trọng như: trình trung bình trượt cấp 1, cấp q, cấp vô hạn; trình tự hồi quy cấp 1, cấp2, cấp p, trình hỗn hợp ARMA(p,q) Chương Một số tiêu chuẩn lựa chọn mô hình Chương trình bày khái niệm khoảng cách Kullback - Leibler, mối liên hệ ước lượng hợp lý cực đại khoảng cách Kullback - leibler, định nghĩa AIC, mối liên hệ AIC khoảng cách Kullback - Leibler, nguồn gốc định nghĩa BIC Chương Ứng dụng Chương trình bày ứng dụng phần mềm thống kê R để vẽ đồ thị hàm tự tương quan tự tương quan riêng mô hình liên quan đến liệu tổng thu nhập quốc dân Mỹ từ quý năm 1947 đến quý năm 2002 (được lấy website http://research.st louisfed.org/), xác định AIC BIC mô hình ARMA(i,j) với i, j = 0, 1, 2, Do thời gian trình độ hạn chế nên luận văn không tránh khỏi thiếu sót, tác giả mong nhận nhiều ý kiến đóng góp từ thầy cô giáo bạn đọc để luận văn hoàn chỉnh LỜI CẢM ƠN Sau thời gian học tập khoa Toán - Cơ - Tin học, trường Đại học Khoa học Tự Nhiên, hướng dẫn bảo tận tình TS Trần Mạnh Cường, hoàn thành luận văn thạc sỹ với đề tài ”Một số tiêu chuẩn lựa chọn mô hình” Trong suốt trình học tập triển khai nghiên cứu đề tài, nhận nhiều giúp đỡ thầy, cô môn Xác suất thống kê, thầy cô khoa Toán - Cơ - Tin học trường Đại học Khoa học Tự Nhiên, Đại học Quốc gia Hà Nội, đặc biệt thầy Trần Mạnh Cường Tôi bày tỏ lòng biết ơn chân thành sâu sắc đến thầy Trần Mạnh Cường, người tận tình bảo giúp đỡ nhiều trình nghiên cứu làm đề tài Tôi gửi lời cảm ơn đến ban giám hiệu, phòng sau đại học, thầy cô khoa Toán - Cơ - Tin học nói chung thầy, cô môn Xác suất thống kê nói riêng tạo điều kiện thuận lợi để hoàn thành luận văn Chương Giới thiệu số chuỗi thời gian dừng 1.1 1.1.1 Các khái niệm Quá trình cấp Giả xử X (t), t ∈ T trình ngẫu nhiên Quá trình X (t), t ∈ T gọi trình cấp nếu: E|X (t)|2 < ∞, ∀t ∈ T 1.1.2 Hàm trung bình, hàm tự hiệp phương sai hàm tự tương quan Giả xử X (t), t ∈ T trình ngẫu nhiên Hàm trung bình, kí hiệu m(t) định nghĩa công thức sau m(t) = EX (t) Hàm tự hiệp phương sai, kí hiệu r(s, t) định nghĩa công thức sau r(s, t) = cov (X (s), X (t)) = E (X (s) − m(s))(X (t) − m(t)) = EX (s)X (t) − m(s)m(t) Vì V arX (t) = cov (X (t), X (t)) nên V arX (t) = r(t, t) 1.1.3 Quá trình dừng Định nghĩa 1.1.1 Giả sử X (t), t ∈ R trình cấp X (t) gọi trình dừng (yếu) hàm trung bình m(t) số (không phụ thuộc vào t) hàm tự hiệp phương sai r(s, t) phụ thuộc vào s − t Như X (t), t ∈ T trình dừng khi: a) m(t) = m = const b) Tồn hàm γ (t) cho r(s, t) = γ (s − t), ∀s, t ∈ R (hàm γ (t) gọi hàm tự hiệp phương sai trình dừng) Định nghĩa 1.1.2 Giả sử X (t), t ∈ R trình dừng với hàm tự hiệp phương sai γ (t) Hàm tự tương quan trình X (t) định nghĩa γ (h) ρ(h) = γ (0) Định nghĩa 1.1.3 Quá trình X (t), t ∈ R gọi trình dừng mạnh với ∀h ∈ R với t1 < t2 < < tn , phân phối đồng thời {X (t1 + h), X (t2 + h), , X (tn + h)} {X (t1 ), X (t2 ), , X (tn )} Nhận xét: trình dừng mạnh có moment cấp trình dừng yếu Điều ngược lại nói chung không Nếu trình dừng yếu trình Gauss trình dừng mạnh phân phối hữu hạn chiều trình Gauss hoàn toàn xác định hàm trung bình hàm tự hiệp phương sai Ví dụ: Giả sử U V hai đại lượng ngẫu nhiên không tương quan với EU = EV = 0, EU = EV = σ Với λ số thực, xét trình X (t) = U cos λt + V sin λt Ta có: m(t) = cos λt.EU + sin λt.EV = r(s, t) = EX (s)X (t) = E [(U cos λs + V sin λs)(U cos λt + V sin λt)] = E [U cos λs cos λt + V sin λs sin λt + U V cos λs sin λt + U V sin λs cos λt] = σ (cos λs cos λt + sin λs sin λt) = σ cos λ(t − s) Vậy X (t) trình dừng với hàm tự hiệp phương sai γ (t) = σ cos λt Ví dụ: Tổng quát hơn, giả sử U1 , U2 , , Un V1 , V2 , , Vn đại lượng ngẫu nhiên có EUk = EVk = 0, EUk2 = EVk2 = σk2 , EUi Uk = (i = k ), EVi Vk = (i = k ), EUi Vj = Xét trình n X (t) = (Uk cos λk t + Vk sin λk t) k=1 λ1 , λ2 , , λn số thực.Tương tự ví dụ 1.1 ta chứng minh X (t) trình dừng với n σk2 cos λk t m(t) = EX (t) = 0, γ (t) = k=1 Ví dụ: Giả sử N (t), t ≥ trình Poisson với cường độ λ > L > số Ta xét trình sau X (t) = N (t + L) − N (t) Như vậy, N (t) số biến cố xẩy khoảng thời gian (0, t) X (t) số biến cố xẩy khoảng thời gian có độ dài L tính từ thời điểm t Ta có: m(t) = EX (t) = E [N (t + L) − N (t)] = (t + L)λ − tλ = λL = const Bây ta tính hàm tự hiệp phương sai r(s, t) = cov (X (s), X (t)) X (t) Ta giả thiết ≤ s ≤ t phân biệt hai trường hợp: a) t > s + L: Trong trường hợp hai khoảng (s, s + L) (t, t + L) rời nhau, N (s + L) − N (s) N (t + L) − N (t) độc lập, không tương quan, tức r(s, t) = b) s ≤ t ≤ s + L: Trong trường hợp ta có r(s, t) = cov [N (s + L) − N (s), N (t + L) − N (t)] = cov [N (s + L) − N (t) + N (t) − N (s), N (t + L) − N (t)] = cov [N (s + L) − N (t), N (t + L) − N (t)] (vì N (t) − N (s) N (t + L) − N (t) độc lập) Lại có cov [N (s + L) − N (t), N (t + L) − N (t)] = = cov [N (s + L) − N (t), N (t + L) − N (s + L) + N (s + L) − N (t)] = cov [N (s + L) − N (t), N (s + L) − N (t)] = V ar[N (s + L) − N (t)] (vì N (s + L) − N (t) N (t + L) − N (s + L) độc lập) Vì r(s, t) = V ar[N (s + L) − N (t)] = λ(s + L − t) = λ[L − (t − s)] Tương tự với ≤ t ≤ s tính đối xứng, cuối ta r(s, t) =   λ(L − |t − s|) |t − s| ≤ L  0 |t − s| > L Vậy X (t) trình dừng với hàm tự hiệp phương sai   λ(L − |t|) |t| ≤ L γ (t) =  0 |t| > L Tài liệu tham khảo [1] Đào Hữu Hồ, Thống Kê Toán Học, Nhà xuất Đại học Quốc Gia Hà Nội, 2004 [2] Đặng Hùng Thắng, Mở đầu lý thuyết xác suất ứng dụng, Nhà xuất Giáo dục, 2005 [3] Đặng Hùng Thắng, Các mô hình xác suất ứng dụng, phần II, Nhà xuất Đại học Quốc Gia Hà Nội, 2001 [4] Đặng Hùng Thắng, Xác suất nâng cao, Nhà xuất Đại học Quốc gia Hà Nội, 2013 [5] Nguyễn Văn Hữu - Nguyễn Hữu Dư, Phân tích thống kê dự báo, Nhà xuất Đại học Quốc Gia Hà Nội [6] Allan D R McQuarrie Chinh-Ling Tsai, Regession and Time Series Model Selection, World Scientific [7] Cambridge Series in statistical and Probabilistic, Model Selection and Model Averaging [8] Genshiro Kitagama, Introduction to Time Series Modeling 63