Đang tải... (xem toàn văn)
Trong nghiên cứu và xử lý thống kê chuỗi thời gian nhiều chiều, mô hình tự hồi quy là lớp mô hình được nghiên cứu sâu sắc và toàn diện nhất.
Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 LỜI MỞ ĐẦU Trong nghiên cứu và xử lý thống kê chuỗi thời gian nhiều chiều, mô hình tự hồi quy là lớp mô hình được nghiên cứu sâu sắc và toàn diện nhất. Việc nghiên cứu và xây dựng lớp mô hình này nhận được sự quan tâm của nhiều tác giả và đã thu những kết quả có giá trị cho dù đây là mô hình tương đối phức tạp. Dưới sự hướng dẫn của thầy giáo Tống Đình Quỳ cùng với sự mong muốn và nổ lực của bản thân tác giả đã tìm hiểu, nghiên cứu mô hình này và tiếp cận với phương pháp ước lượng tham số của mô hình đó do Bradley W. Dickinson đưa ra năm 1979. Đây là một phương pháp hay và thực sự nó đã thúc đẩy tác giả rất nhiều trong bước đầu nghiên cứu của mình cũng như đi đến quyết định chọn đề tài cho đồ án tốt nghiệp Phương pháp Bradley W. Dickinson ước lượng tham số trong mô hình tự hồi quy nhiều chiều. Nghiên cứu đề tài này trước hết giúp chúng ta có thể hiểu sâu hơn về mô hình tự hồi quy nhiều chiều, một mô hình được sử dụng nhiều trong thực tế, tìm hiểu các phương pháp ước lượng tham số cho mô hình, đặc biệt là phương pháp của tác giả Dickinson. Khi đã xây dựng được mô hình, trong những trường hợp thực tế cụ thể, ta có thể dùng nó để kiểm tra một số giả thiết hay lý thuyết về cơ chế đã sinh ra mô hình, xây dựng những quyết định điều khiển cho quá trình, phân tích và đánh giá để đưa ra những điều chỉnh hợp lý hay dự báo các kết quả tương lai cho quá trình đó. Nội dung chính của đồ án được trình bày trong 3 chương. Ở chương 1, trong phần đầu tiên sẽ giới thiệu khái quát về chuỗi thời gian một chiều và các khái niệm liên quan đến quá trình tự hồi quy một chiều. Phần tiếp theo sẽ trình bày rõ về quá trình tự hồi quy nhiều chiều, xem xét nó như là một sự mở Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 rộng của quá trình dừng tự hồi quy một chiều và các đặc trưng của nó để làm cơ sở cho việc ước lượng tham số của mô hình trong những phần sau. Với giả thiết chuỗi thời gian quan sát của chúng ta được cảm sinh bởi một quá trình tự hồi quy nhiều chiều cấp p nào đó, chương 2 sẽ trình bày về việc ước lượng tham số cho mô hình tự hồi quy nhiều chiều dựa trên khái niệm tự hiệp phương sai riêng và tự tương quan riêng thông qua phương pháp Durbin-Levinson, một phương pháp rất cơ bản trong ước lượng tham số của mô hình tự hồi quy nhiều chiều. Chúng ta cũng sẽ tìm hiểu một số phương pháp khác như phương pháp bình phương tối thiểu, phương pháp R. H. Jones, phương pháp Nuttall-Strand. Chương 3 sẽ trình bày cụ thể về phương pháp ước lượng tham số cho mô hình tự hồi quy nhiều chiều của tác giả Bradley W. Dickinson. Phương pháp này là một sự mở rộng của phương pháp Durbin-Levinson và dựa trên một phân tích rất quen thuộc trong toán học, phân tích Cholesky, để ước lượng các tự tương quan riêng. Cuối cùng là kết quả của thuật toán chạy trên máy tính và một số nhận xét rút ra khi so sánh với một số phương pháp khác. Trong phần kết luận sẽ nhìn lại những điều đã làm được cũng như chưa làm được trong đồ án, những hướng có thể phát triển và mở rộng đồ án. Phần phụ lục sẽ khái quát chương trình chạy trên máy tính, đưa ra một số mô đun chính của chương trình và một số ví dụ minh họa về tính ứng dụng của mô hình và làm rõ một số khái niệm trong đồ án. Đồ án này được hoàn thành dưới sự hướng dẫn tận tình của thầy giáo TS.Tống Đình Quỳ, tác giả xin bày tỏ lòng biết ơn chân thành của mình đối với thầy. Tác giả xin chân thành cảm ơn các thầy giáo, cô giáo Khoa Toán Tin Ứng Dụng, Trường ĐHBK Hà Nội đã dành nhiều sự quan tâm, giúp đỡ Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 và tạo mọi điều kiện trong quá trình làm đồ án tốt nghiệp tại khoa. Xin chân thành cảm ơn các bạn trong nhóm Xác suất đã có những góp ý chân thành trong quá trình được làm việc cùng nhau. Cuối cùng, tác giả kính mong nhận được những lời nhận xét để báo cáo này ngày càng hoàn thiện hơn. Xin chân thành cảm ơn! Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 MỤC LỤC Lời giới thiệu …………………………………………………………… 1 1 Quá trình tự hồi quy nhiều chiều …… .……………………………… 6 1.1 Chuỗi thời gian và quá trình tự hồi quy một chiều ……… 6 1.1.1 Khái niệm chuỗi thời gian ……………………… ………………. 6 1.1.2 Quá trình dừng ngẫu nhiên dừng ………………………………… 7 1.1.3 Định nghĩa quá trình tự hồi quy một chiều ……………………… . 8 1.1.4 Các đặc trưng của quá trình dừng tự hồi quy một chiều …………. 9 1.1.5 Về nhận dạng mô hình ARIMA tổng quát và ước lượng tham số của mô hình tự hồi quy một chiều …………………………………… 10 1.2 Quá trình tự hồi quy nhiều chiều …….………….….…….……… 11 1.2.1 Quá trình quy tâm dừng …………… …………….………….…. 13 1.2.2 Định nghĩa quá trình tự hồi quy nhiều chiều …………………… 13 1.2.3 Hàm tự hiệp phương sai của một quá trình dừng …….………… 15 1.2.4 Hệ phương trình Yule-Walker cho trường hợp nhiều chiều …… 16 2 Ước lượng tham số trong mô hình tự hồi quy nhiều chiều ………… 20 2.1 Hàm tự hiệp phương sai riêng của một quá trình dừng …….……. 21 2.2 Phương pháp Durbin-Levinson ước lượng tham số trong mô hình tự hồi quy nhiều chiều ………………………………………… … 23 Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 2.2.1 Phương pháp Durbin-Levinson cho trường hợp một chiều .… … 23 2.2.2 Phương pháp Durbin-Levinson cho trường hợp nhiều chiều ……. 24 2.2.3 Nhận xét và kết luận … .………………………………………… 29 2.3 Các phương pháp khác ước lượng tham số trong mô hình tự hồi quy nhiều chiều ………………………………….……………… .… 30 2.3.1 Phương pháp bình phương tối thiểu … …………………………. 30 2.3.2 Phương pháp R. H. Jones … .…………………………………… 31 2.3.3 Giới thiệu một số phương pháp khác …………………….……… 33 3 Phương pháp Bradley W. Dickinson ước lượng tham số của mô hình tự hồi quy nhiều chiều ………………………………………… .…… 40 3.1 Giới thiệu …………………………………………………… .…. 40 3.2 Xây dựng thuật toán …… ……………………………….……… 40 3.3 Ước lượng tự tương quan riêng sử dụng ước lượng bình phương cực tiểu và phân tích Cholesky ………………………………………. 40 3.4 Kết quả của thuật toán …………………………………………… 40 3.5 Nhận xét và kết luận … .………………………………………… 40 Kết luận …………… .………………………………………………… 40 Phụ lục …………………… .………………………………………… 40 Tài liệu tham khảo ……….…… …… ….….……………….………. 40 Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 CHƯƠNG 1 QUÁ TRÌNH TỰ HỒI QUY NHIỀU CHIỀU Chương này nhằm mục đích trình bày về quá trình tự hồi quy nhiều chiều và các khái niệm liên quan làm cơ sở cho việc ước lượng tham số trong mô hình tự hồi quy nhiều chiều. Để dễ dàng thể tiếp cận các khái niệm của quá trình này, trong phần đầu tiên chúng ta sẽ nhìn lại một cách khái quát về chuỗi thời gian một chiều, quá trình tự hồi quy một chiều cũng như việc ước lượng tham số trong mô hình tự hồi quy một chiều. Nắm bắt được phương pháp và ý tưởng khi nghiên cứu chuỗi thời gian một chiều là hết sức cần thiết để có được hiểu biết toàn diện và sâu sắc khi tìm hiểu về quá trình tự hồi quy nhiều chiều. Cách tiếp cận này sẽ cho chúng ta có một cái nhìn liền mạch và rõ ràng hơn trong khi nghiên cứu chuỗi thời gian. 1.1 CHUỖI THỜI GIAN VÀ QUÁ TRÌNH TỰ HỒI QUY MỘT CHIỀU 1.1.1 Khái niệm chuỗi thời gian Trong thực tế, có một số lượng rất lớn những dữ liệu về nhiều lĩnh vực như kinh tế, xã hội và khoa học kỹ thuật được tập hợp lại dưới dạng chuỗi thời gian, nghĩa là tạo thành một dãy các giá trị quan sát { } )( ., ),1(: N ΧΧ= Χ được sắp xếp theo thứ tự thời gian. )1( Χ là giá trị quan sát ở thời điểm đầu tiên, )2( Χ là giá trị quan sát ở thời điểm thứ hai, còn )(N Χ là giá trị quan sát ở thời điểm thứ N (và cũng là thời điểm cuối cùng). Trong khi phương pháp thống kê cổ điển thường sử dụng các số liệu quan sát được giả thiết là độc lập thì trong chuỗi thời gian các chuỗi quan sát Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 thường mất tính độc lập. Ở đây giá trị quan sát )(t Χ tại thời điểm t phụ thuộc ít nhiều vào giá trị quan sát )1( −Χ t tại thời điểm 1 − t trước đó còn giá trị quan sát )1( −Χ t lại phụ thuộc vào giá trị quan sát )2( −Χ t tại thời điểm 2 − t ,… Một trong những vấn đề quan trọng nhất của xử lý thống kê chuỗi thời gian là việc mô hình hoá, nghĩa là đặt tương ứng chuỗi thời gian quan sát được trong một mô hình toán học với hy vọng nó phản ánh tương đối trung thực cơ chế đã sinh ra dữ liệu của chuỗi quan sát đó. Các mô hình chuỗi thời gian quen thuộc là các mô hình tuyến tính, trong đó lớp mô hình tự hồi quy AR là lớp mô hình có vai trò hết sức quan trọng và được ứng dụng rất rộng rãi hiện nay. Trong những phần sau chúng ta sẽ tập trung tìm hiểu, nghiên cứu về mô hình tự hồi quy, nhưng trước hết là những khái niệm cơ bản nhất liên quan đến chuỗi thời gian. 1.1.2 Quá trình ngẫu nhiên dừng Định nghĩa 1.1.1 ( Hàm tự hiệp phương sai ) [1, tr.40] Nếu { } Ζ∈Χ tt ),( là một quá trình ngẫu nhiên có phương sai hữu hạn thì hàm tự hiệp phương sai của { } )(t Χ được định nghĩa bởi ( ) ( )( ) [ ] )()()()()(),(Cov:),(γ ssrrsrsr ΕΧ−ΧΕΧ−ΧΕ=ΧΧ= với Ζ∈ sr, . Định nghĩa 1.1.2 ( Quá trình dừng ) [1, tr.40] Chuỗi thời gian { } Ζ∈Χ tt ),( được gọi là một quá trình dừng nếu nó thoả mãn các điều kiện Ζ∈∀∞<ΧΕ tt ,)( 2 , Ζ∈∀=ΧΕ tmt ,)( , Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 Ζ∈∀++= srttstrsr ,, ),,(γ),(γ . Chú ý • Cũng có tài liệu gọi dừng theo nghĩa trên là dừng yếu hay dừng bậc hai. Tuy nhiên trong báo cáo này, nếu không nói gì thêm, ta hiểu dừng theo nghĩa của định nghĩa ở trên. • Nếu { } Ζ∈Χ tt ),( là quá trình dừng thì Ζ∈∀−= srsrsr , ),0,(γ),(γ . Khi đó, ta có thể định nghĩa lại hàm tự hiệp phương sai mà chỉ thông qua một biến theo hệ thức ( ) Ζ∈∀Χ+Χ=≡ kttktkk , ,)(),(Cov)0,(γ)(γ . Định nghĩa 1.1.3 ( Hàm tự tương quan ) [1, tr.40] Nếu { } Ζ∈Χ tt ),( là một quá trình dừng với hàm tự hiệp phương sai (.)γ thì hàm tự tương quan của { } )(t Χ được định nghĩa là ( ) Ζ∈∀Χ+Χ== kttktkk , ,)(),(Corr:)0(γ/)(γ:)(ρ . Định lý 1.1.1 [1, tr.45] Nếu { } Ζ∈Χ tt ),( là một quá trình dừng, và nếu Ζ∈∈ ia i R, thoả mãn điều kiện ∞< ∑ ∞ −∞= i i a thì hệ thức Ζ∈−Χ=Υ ∑ ∞ −∞= i i titat ),(:)( định nghĩa một quá trình dừng. 1.2.3 Định nghĩa quá trình tự hồi quy một chiều Định nghĩa 1.1.4 ( Quá trình tự hồi quy ) [1, tr.70] Quá trình { } Ζ∈Χ tt ),( được gọi là quá trình tự hồi quy cấp p , kí hiệu là AR )( p , nếu nó là một quá trình dừng thoả mãn )(ε)( .)1()( 1 tptatat p =−Χ++−Χ−Χ với 0 ≠ p a . (1.1) Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 Ta cũng có thể viết biểu thức trên dưới dạng )(ε)()( tta =ΧΒ , với Β là toán tử lùi được định nghĩa theo hệ thức )1(:)( −Χ=ΒΧ tt , còn )( Β a là đa thức toán tử định nghĩa bởi 0 , .1:)( 2 21 ≠−−−−= p p p azazazaza . Ở đây pja j , .,1, = là các số thực, còn { } Ζ∈ tt ),(ε thoả mãn , ,0)(ε)(ε tsts ≠∀=Ε ,σ)(ε 22 =Ε t Ζ∈∀=Ε tt ,0)(ε . được gọi là quá trình ồn trắng. Chú ý Nếu đa thức )(za ở trên có nghiệm nằm ngoài đĩa tròn đơn vị )1|| ( > z thì khi đó { } Ζ∈Χ tt ),( được gọi là quá trình nhân quả tự hồi qui cấp p , đảm bảo tính khả đảo của đa thức toán tử )( Β a và từ nay về sau nếu không nói gì thêm thì chúng ta chỉ xét các quá trình nhân quả này. 1.1.4 Các đặc trưng của quá trình tự hồi quy một chiều Từ định nghĩa của một quá trình tự hồi quy ta có thể chứng minh được các tính chất sau: i. 0)( =ΕΧ t ii. ∑ = += p j j ja 1 2 σ)(γ)0(γ Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 iii. 0 ,0)(ρ)(ρ 1 >∀=−− ∑ = hjkak p j j . Trong tính chất thứ ba, lần lượt cho ph ., ,1 = ta có −− −− −− −− 1)1(ρ .)2(ρ)1(ρ )1(ρ1 .)3(ρ)2(ρ . )2(ρ)3(ρ .1)1(ρ )1(ρ)2(ρ .)1(ρ1 pp pp pp pp − = − )(ρ )1(ρ . )2(ρ )1(ρ . 1 2 1 p p a a a a p p . (1.2) Hệ phương trình này gọi là hệ phương trình Yule-Walker, song tuyến đối với a và ρ , nghĩa là nếu cho ρ sẽ tính được a và ngược lại. Một chú ý là hệ phương trình này đóng vai trò rất quan trọng trong việc ước lượng các tham số của mô hình tự hồi quy một chiều. 1.1.5 Về nhận dạng mô hình ARIMA tổng quát và ước lượng tham số của mô hình tự hồi quy một chiều Giả sử thực tế cho ta một chuỗi quan sát )( ., ),2(),1( N ΧΧΧ , đó cũng là dữ liệu duy nhất mà chúng ta có, khi đó ta cần xây dựng các công thức, thủ tục để nhận dạng mô hình ARIMA ),,( qdp tổng quát )(ε)()()1)(( tbta d Β=ΧΒ−Β , với 0 , .1:)( 1 ≠+++= q q q bzbzbzb . Tức là ta phải ước lượng bậc lấy sai phân d , bậc qp , của các đa thức hồi qui )(za và đa thức trung bình trượt )(zb và cuối cùng là ước lượng các hệ số ba , của các đa thức đó. Khi đã nhận dạng được mô hình, bước tiếp theo [...]... Giới thiệu một số phương pháp khác CHƯƠNG 3 PHƯƠNG PHÁP BRADLEY W DICKINSON ƯỚC LƯỢNG THAM SỐ TRONG MÔ HÌNH TỰ HỒI QUY NHIỀU CHIỀU Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 Trong chương hai chúng ta đã tìm hiểu một số phương pháp ước tham số trong mô hình tự hồi quy nhiều chiều Trong chương này, ta sẽ trình bày một phương pháp ước lượng tham số khác do B W Dickinson đưa... đệ quy các tham số tự hồi quy của mô hình Sau đây chúng ta sẽ trình bày cụ thể phương pháp Durbin-Levinson, một phương pháp đại diện cho một lớp các phương pháp ước lượng tham số trong mô hình tự hồi quy nhiều chiều Phần sau sẽ giới thiệu một số phương pháp khác, là những sự cải tiến từ phương pháp cơ sở của Durbin và Levinson 2.2 PHƯƠNG PHÁP DURBIN-LEVINSON ƯỚC LƯỢNG THAM SỐ TRONG MÔ HÌNH TỰ HỒI QUY. .. mô hình vừa xây dựng và các tham số ước lượng được từ mô hình của chúng ta sẽ được so sánh với bộ các tham số đã định trước này Một điều đáng chú ý là trong hầu hết các phương pháp ước lượng tham số của mô hình tự hồi quy nhiều chiều, khái niệm tự hiệp phương sai riêng đóng vai trò hết sức quan trọng vì vậy trước hết ta sẽ tìm hiểu rõ về khái niệm này làm cơ sở cho việc ước lượng tham số 2.1 HÀM TỰ... trình tự hồi quy nhiều chiều quy tâm dừng bậc hai Như vậy coi như kiểu mô hình đã được lựa chọn (đã nhận dạng được mô hình phù hợp là mô hình tự hồi quy) và công việc của chúng ta là phải ước lượng được các tham số chưa biết của mô hình đó Sau này để xem xét tính hiệu quả của mô hình vừa xây dựng, ta sẽ dùng các chuỗi thời gian được mô phỏng từ bộ các tham số của một mô hình định trước làm đầu vào cho mô. .. phải ước lượng được các tự hiệp phương sai theo công thức (2.8) rồi dùng hệ phương trình Yule-Walker để điều chỉnh dần các Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 tham số của mô hình Việc ước lượng thô theo (2.8) sẽ làm cho thuật toán không có được sự ổn định cao 2.3 CÁC PHƯƠNG PHÁP KHÁC ƯỚC LƯỢNG THAM SỐ TRONG MÔ HÌNH TỰ HỒI QUY NHIỀU CHIỀU 2.3.1 Phương pháp bình phương... hiểu về ước lượng tham số trong mô hình tự hồi quy một chiều, chúng ta đã biết vai trò hết sức quan trọng của hệ phương trình Yule-Walker Để làm cơ sở cho việc ước lượng tham số trong mô hình tự hồi quy nhiều chiều, trong phần này ta sẽ tìm cách xây dựng hệ phương trình Yule-Walker cho trường hợp nhiều chiều Định lý 1.2.2 [9, tr.21] Hàm tự hiệp phương sai của một quá trình tự hồi quy cấp p với các ma Α... biết Công việc còn lại là phải tìm cách ước lượng được các tham số của mô hình đó Có rất nhiều phương pháp ước lượng đã tỏ ra hiệu quả đối với mô hình tự hồi quy một chiều như thuật toán Durbin-Levinson [3], thuật toán J P Burg [3], thuật toán B W Dickinson [4] và đặc biệt là ước lượng hợp lý cực đại của S T Kay [5] 1.2 QUÁ TRÌNH TỰ HỒI QUY NHIỀU CHIỀU Trong phần trước chúng ta đã nhắc lại những khái niệm... Đây là phương pháp ước lượng dựa trên cơ sở ước lượng ma trận tự tương quan riêng của một quá trình dừng sử dụng phân tích Cholesky Ước lượng này sẽ đưa ra mô hình tự hồi quy nhiều chiều từng giai đoạn cho dữ liệu quan sát và ước lượng hàm tự tương quan riêng xác định dương 3.1 GIỚI THIỆU Chúng ta luôn có mong muốn tìm một quá trình tự hồi quy nhiều chiều phù hợp với chuỗi thời gian nhiều chiều quan... Ở đây 2.2.2 Phương pháp Durbin-Levinson cho trường hợp nhiều chiều Lấy ý tưởng từ trường hợp một chiều, trong trường hợp nhiều chiều, ta sẽ tìm cách ước lượng các tự hiệp phương sai từ chuỗi quan sát và giải hệ phương trình Yule-Walker cho trường hợp nhiều chiều để tìm các tham số của mô hình Khi các ma trận tự hiệp phương sai dư tiến và lùi không suy biến, các ma trận hệ số tự hồi quy sẽ tồn tại... Website: http://www.docs.vn Email : lienhe@docs.vn Tel : 0918.775.368 Do đó các mô hình toán học mô tả thích hợp các chuỗi thời gian trong trường hợp nhiều chiều sẽ phức tạp hơn nhiều so với trường hợp một chiều Cũng như trong trường hợp một chiều, mô hình tự hồi quy nhiều chiều đóng một vai trò rất quan trọng trong việc mô hình hoá và xấp xỉ một chuỗi thời gian nhiều chiều Mô hình này cũng được
