1 CHƯƠNG 3 MÔ HÌNH HỒI QUY HAI BIẾN, ƯỚC LƯỢNG VÀ KIỂM ĐỊNH GIẢ THUYẾT Trong chương này sẽ trình bày vấn đề ước lượng hàm hồi quy tổng thể PRF một cách chính xác có thể được trên cơ sở hàm hồi quy mẫu. Có một số phương pháp ước lượng hàm hồi quy mẫu, phương pháp thường dùng là phương pháp bình phương nhỏ nhất OLS (Ordinary Least Square). Chúng ta sẽ trình bày phương pháp này cho mô hình hai biến ở chương này, chương sau sẽ trình bày phương pháp OLS cho mô hình hồi quy bội. 3.1 Phương pháp ước lượng bình phương bé nhất Phươ ng pháp bình phương nhỏ nhất do nhà toán học Đức Carl Friedrich Gauss đưa ra. Sử dụng phương pháp này kèm theo một vài giả thuyết, các ước lượng thu được có tính chất đặc biệt, nhờ đó mà phương pháp này là phương pháp mạnh nhất và được nhiều người sử dụng. 3.1.1 Nội dung phương pháp bình phương nhỏ nhất Giả sử ta có hàm hồi quy tổng thể và hàm hồi quy mẫu như sau: Y i = β 1 + β 2 X i (PRF) (3.1) Ý i = α1 + α2X i (3.2) 2 Giả sử rằng chúng ta có n cặp quan sát của Y và X, cặp quan sát thứ I có giá trị tương ứng (Y i ,X i ): i = 1,n. Ta phải tìm Ý i sao cho nó càng gần với trị thực của Y i có thể được, tức là phần dư. ei = Y i - Ý i = Y i - α1 + α2X i (3.3) (3.3) càng nhỏ càng tốt. Ta xem đồ thị sau: Chi têu 1 tuần (Y) SRF * e i Yi e i * * * e i * * X i TN 1 tuần (X) Hình 2.6: đường hồi quy mẫu và sai số Do e i có thể dương, có thể âm do vậy cần phải tìm Ý i sao cho tổng bình phương của các phần dư đạt cực tiểu. Tức là: ∑ e i 2 = ∑(Y i - Ý i ) 2 = ∑(Y i - α1 - α2X i ) 2 ⇒ min 3 Do X i , Y i : i = 1,n đã biết, nên ∑ e i 2 là hàm của α1 và α2: f(α1,α2) = ∑ e i 2 = ∑(Y i - α1 - α2X i ) 2 ⇒ min α1,α2 là nghiệm của phương trình sau: ∂f(α1,α2) = ∑2(Y i - α1 - α2X i )(-1) = 0 (i = 1,n) ∂α1 hay nα1 + α2∑X i = ∑Y i ∂f(α1,α2) = ∑2(Y i - α1 - α2X i )(-X i ) = 0 (i = 1,n) ∂α2 hay α1∑X i + α2∑X i 2 = ∑Y i X i α1, α2 được tìm từ hệ phương trình: nα1 + α2∑X i = ∑Y i (3.4) α1∑X i + α2∑X i 2 = ∑Y i X i (3.5) Giải hệ phương trình trên ta tìm được α1, α2. 4 n∑Y i X i - ∑X i ∑Y i α2 = n∑X i 2 - (∑X i ) 2 hoặc ∑Y i X i - Y∑X i α2 = ∑X i 2 - n(X) 2 α1 = Y - α2X Ta có: Y = ∑Y i / n và X = ∑X i / n Giả sử ta có số liệu về về lãi suất (Y) và tỷ lệ lạm phát (X) trong năm 1998 ở 9 nước. Giả sử rằng lãi suất phụ thuộc vào tỷ lệ lạm phát có dạn g tuyến tính. Hãy ước lượng hàm hồi quy và tính các đặc trưng của nó. Y 11,9 9,4 7,5 4,0 11,3 66,3 2,2 10,3 7,6 X 7,2 4 3,1 1,6 4,8 51,0 2,0 6,6 4,4 Dựa vào số liệu trên ta lập bảng tính như sau: Stt Y X XY X 2 1 11.9 7.2 85.68 51.84 2 9.4 4 37.6 16 3 7.5 3.1 23.25 9.61 5 4 4 1.6 6.4 2.56 5 11.3 4.8 54.24 23.04 6 66.3 51 3381.3 2601 7 2.2 2 4.4 4 8 10.3 6.6 67.98 43.56 9 7.6 4.4 33.44 19.36 ∑ 130.5 84.7 3694.29 2770.97 ∑Y i X i - Y∑X i α2 = ∑X i 2 - n(X) 2 11053 - 14,5 * 84,7 α2 = = 1,2494 3694,3 - 9 * (9,41) 2 α1 = Y - α2X α1 = 14,5 - 1,2494 * 9,41 = 2,7418 Vậy, thế vào phương trình Ý i = α1 + α2X i ta được: Ý i = 2,7418 + 1,2494X i (SRF) ới số liệu trên ta xử lý bằng phần mềm Excel được kết quả sau: SUMMARY OUTPUT Regression Statistics Multiple R 0,9966 6 R Square 0,9933 Adjusted R Square 0,9923 Standard Error 1,7250 Observations 9,0000 ANOVA df SS MS F Sig. F Regression 1 3081,2118 3081,2118 1035,5426 0,0000 Residual 7 20,8282 2,9755 Total 8 3102,0400 Co. St. Error t Stat P-value Lower 95% Intercept 2,7417 0,6813 4,0244 0,0050 1,1308 X Variable 1 1,2494 0,0388 32,1798 0,0000 1,1576 3.1.2 Các tính chất ước lượng bình phương bé nhất a. α1, α2 được xác định một cách duy nhất ứng vớ n cặp quan sát (X i , Y i ) . b. α1, α2 là các ước lượng điểm của β 1 , β 2 và là các đại lượng ngẫu nhiên, với các mẫu khác nhau chúng các giá trị khác nhau. Ý i = α1 + α2X i (SRF) có các tính chất sau đây: - SRF đi qua trung bình mẫu (X, Y), nghĩa là: α1 = Y - α2X - Giá trị trung bình của Ý i bằng giá tị trung bình của các quan sát: Ý i = Y 7 - Giá trị trung bình của các phần dư phần 0. Tức là ∑e i = 0 - Các phần dư e i không tương quan với Ý i tức là, ∑Ý i e i = 0 - Các phần dư e i không tương quan với X i tức là, ∑X i e i = 0 3.2 Các giả thuyết cơ bản của phương pháp ước lượng bình phương bé nhất Trong phân tích hồi quy, mục đích của chúng ta là ước lượng, dự báo về tổng thể, tức là ước lượng Y i hay trong mô hình hồi quy tuyến tính đơn là ước lượng Y i = β 1 + β 2 X i ; α1và α2 tìm được bằng phương pháp bình phương bé nhất là ước lượng điểm của β 1 , β 2 . Chúng ta không biết được chất lượng của ước lượng nà như thế nào. Chất lượng của các ước lượng phụ thuộc vào : - Dạng hàm của mô hình được chọn - Phụ thuộc vào các X i và U i - Phụ thuộc vào kích thước mẫu. Về dạng của mô hình chúng ta sẽ không đề cặp trong chương này. Ơû đây chúng ta sẽ nói về các giả thuyết đới với X i và U i . Với các gỉa thuyết này thì ước lượng tìm được bằng phương pháp bình phương bé nhất là ước lượng tuyến tính, không chệch và có phương sai nhỏ nhất. Giả thuyết 1: mối quan hệ giữa Y và X là tuyến tính, biến (các biến) giải thích là phi ngẫu nhiên, tức là các giá trị của chúng là các số đã được xác định. Giả thuyết này không có gì mới, vì phân tích hồi quy được đề cặp là phân tích hồi quy có điều kiện, phụ thuộc vào các giá trị X đã cho. Giả thuyết 2: kỳ vọng của các yếu tố ngẫu nhiên U i bằng không, tức là: E(U i / X i ) = 0 8 Giả thuyết này có nghĩa là các yếu tố không có trong mô hình, U i đại diện cho chúng, không ảnh hưởng hệ thống đến giá trị trung bình của Y. Về mặt hình học ta cỏ thể mô tả bằng đồ thị sau đây: Y Giá trị trung bình PRF + U i Hình 2.7 - U i X1 X2 X3 X Đồ thị chỉ ra rằng với mỗi giá trị của X, các giá trị có thể có của Y xoay quanh giá giá trị trung bình. Phân bố của phần lớn hơn và nhỏ hơn giá trị trung bình chính là các U i , theo giả này trung bình có chênh lệch băng 0. Giả thuyết 3: phương sai bằng nhau (phương sai thuần nhất) hay là một hằng số cho tất cả quan sát, tức là Var(U i / X I ) = δ 2 Giả thuyết 4: Không có sự tương quan giữa các U i hay các biến số ngẫu nhiên U i là độc lập về mặt thống kê. Cov(U i , U j ) = 0 Vi ≠ j Giả thuyết này có nghĩa là U i là ngẫu nhiên. Về mặt hình học có nghĩa là nếu như có một giá trị U nào đó lớn hơn (nhỏ hơn) giá trị trung bình thì không có nghĩa giá trị khác cũng lớn hơn (nhỏ hơn) giá trị trung bình. Giả thuyết 5: số hạng sai số có phân phối chuẩn 9 3.3 Độ chính xác của ước lượng bình phương bé nhất 3.3.1 Không thiên lệch Một tính chất mong đợi nhất gắn liền với một thông số hồi quy ước lượng là sao cho phân phối của hàm ước lượng có thông số như giá trị trung bình của nó. Khi đó, nếu như chúng ta có thể phân tích dữ liệu mới, chúng ta sẽ chắc chắn đúng về trung bình. Chúng ta sẽ nói rằng α là một hàm ước lượng không thiên lệch nếu trung bình hoặc giá trị kỳ vọng của α bằng với giá trị thực ; tức là E(α) = β. Sự khác biệt giữa một hàm ước lượng thiên lệch và không thiên lệch có thể thấy trong hình 2.8 sau. Để trình bày rõ, chúng ta định nghĩa độ thiên lệch gắn liền với một thông số ước lượng như sau: độ thiên lệch = E(α) - β. Xác suất Xác suất α α β α β α Hình 2.8: hàm ước lượng thiên lệch Hàm ước lượng không thiên lệch Trong khi tính không thiên lệch của một hàm ước lượng là một tính chất mong đợi, tính không thiên lệch không ám chỉ điều gì về độ phân tán của hàm ước lượng xung quanh thông số thực. Nói chung, người ta muốn rằng hàm ước lượng là không thiên lệch và cũng có mật độ phân tán thật nhỏ xung quanh giá trị trung bình. Điều này cho thấy rằng chúng ta nên đị nh nghĩa một chỉ tiêu thứ nhì nhằm cho phép chọn lực giữa các hàm ước lượng không thiên lệch khác nhau. 3.3.2 Tính hiệu quả 10 Chúng ta nói rằng α là một ước lượng không thiên lệch hiệu quả nếu đối với một cỡ mẫu đã cho, phương sai của α nhỏ hơn phương sai của bất kỳ một hàm ước lượng nào khác. Đôi khi việc xác định xem một hàm ước lượng có hiệu quả hay không là khó khăn, cho nên cũng thật là tự nhiên khi người ta mô tả các hàm ước lượng theo tính hiệu quả tương đối của chúng. M ột hàm ước lượng hiệu quả hơn một hàm ước lượng khác nếu như có phương sai nhỏ hơn. Hình 2.9 mô tả một hàm ước lượng có hiệu quả tương đối và một hàm ước lượng không có hiệu quả tương đối. Tính hiệu quả là một tính chất đáng mong đợi bởi vì tính hiệu quả ước lượng càng cao, thì các báo cáo thống kê mà người ta thực hiện càng chặt chẽ hơn về các thông số ước lượng. Như vậy, trong trường hợp cực đoan của một hàm ước lượng (không thiên lệch) với phương sai bằng 0, chúng ta có thể nói một cách chắc chắn về giá trị bằng số của thông số hồi quy thực. Xác suất Xác suất α α β α β α Hình 2.9: hàm ước lượng không hiệu quả Hàm ước lượng hiệu quả 3.3.3 Sai số bình phương trung bình cực tiểu Có nhiều tình huống mà khi đó người ta buộc phải đánh đổi giữa độ thiên lệch và phương sai của các hàm ước lượng. Thí dụ, khi mục tiêu của mô hình là cực đại hoá độ chính xác của dự đoán, thì một hàm ước lượng có phương sai rất thấp và hơi bị thiên lệch có thể sẽ đáng mong đợi hơn là một hàm ước lượng không thiên lệch nhưng có ph ương sai cao. Một chỉ tiêu hữu ích trong lĩng vực này, đó là mục tiêu cực tiểu hóa sai số bình phương trung bình, được định nghĩa là: [...]... Yêu cầu : 1 Xác định hệ số tương quan 2 Xây dựng mơ hình hồi quy hai biến 21 3 Ước lượng và kiểm định các thơng số với α = 5% 4 Anh/ chị nhận xét gì về kết quả trên Bài 3.2 : Giả sử ta cĩ số liệu về thu nhập và chi tiêu như sau : ĐVT : usd/tuần Thu nhập 55 75 85 95 115 Chi tiêu 45 55 60 65 75 Yêu cầu : 1 Xác định hệ số tương quan 2 Xây dựng mơ hình hồi quy hai biến 3 Ước lượng và kiểm định các thơng... năng suất lúa với lượng phân đạm, thì năng suất lúa là biến phụ thuộc và lượng phân đạm là biến độc lập Mục tiêu của phân tích hồi quy là dựa vào các thông tin thu thập được từ mẫu điều tra, kết hợp với các phương pháp toán học, ta xây dựng một mô hình tuyến tính nhằm thể hiện mối liên hệ giữa hai biến X và Y Mô hình hồi quy tuyến tính của tổng thể và của mẫu Giả sử ta có hai biến X và Y, trong đó Y... 3 4 2 Kiểm định giả thuyết về mối liên hệ tương quan Bên cạnh việc thể hiện mức độ chặt chẽ của mối liên hệ, ta cần phải xét xem thực sự có mối liên hệ tương quan giữa X và Y hay không Ta dùng phương pháp kiểm định giả thuyết để kiểm chứng mối liên hệ tương quan này + Giả thuyết: Ho : p = 0 (không có mối liên hệ giửa X và Y ) H1 : p 0 t= r (1 − r 2 ) n−2 + Giá trị kiểm định: + Quy tắc quy t định: ... Bài 3.3: Giả sử ta cĩ số liệu về giá cả và lượng cầu như sau : Giá (1000 đ/kg) 157 128 90 60 50 Lượng cầu (tấn) 32 44 50 65 78 Yêu cầu : 1 Xác định hệ số tương quan 2 Xây dựng mơ hình hồi quy hai biến 3 Ước lượng và kiểm định các thơng số với α = 5% 4 Anh/ chị nhận xét gì về kết quả trên TÀI LIỆU THAM KHẢO: 1 Vũ Thiếu, Nguyễn Quang Dong, Nguyễn Khắc Minh, “Kinh tế lượng , Nhà xuất bản Khoa học và kỹ thuật,... dàng xác định hệ số tương quan r và giá trị của kiểm định là 0,025 tức là bác bỏ giả thuyết Ho với mọi mức ý nghiã > 2,5% 3.4 3 Hồi quy tuyến tính Trong phần tương quan tuyến tính, ta chỉ đo lường mối liên hệ giữa hai biến ngẫu nhiên X và Y và giữa X và Y có mối quan hệ ngang cấp nhau Trong phần hồi quy cũng xét mối quan hệ tuyến tính giữa hai biến Tuy nhiên, trong hai biến này có một biến được xem... càng lớn thì mô hình hồi quy tuyến tính đã xây dựng được xem là càng thích hợp, và tất nhiên là càng có ý nghĩa trong việc giải thích sự biến thiên của Y 19 3.5.2 Kiểm định F: nhằm xem xét giả thuyết về sự tồn tại của mối liên hệ tuyến tính giữa X và Y Bảng ANOVA trong phân tích hồi quy tuyến tính đơn: Biến thiên Tổng các chênh Bậc Trung bình các Giá trị kiểm lệch bình tự do chênh lệch bình định F phương... trên, ta được phương trình hồi quy: ỹ = 9,303 + 0,735.x Hệ số b = 0,735 cho ta biết khi thời gian quảng cáo tăng lên 1 phút thì lượng tiêu thụ tăng trung bình 735 sản phẩm 3.5 Hệ số xác định và kiểm định F trong phân tích hồi quy đơn 3.5.1 Hệ số xác định Phần trên ta đã dùng biến độc lập X để giải thích sự biến thiên của biến phụ thuộc Y thông qua việc xây dựng phương trình hồi quy tuyến tính Những câu... khi không có mối liên hệ tuyến tính giữa X và Y, hệ số B trong phương trình hồi quy tuyến tính của tổng thể sẽ bằng không Ta đặt giả thuyết: Ho: B = 0 H1: B t= 0 b Sb b = MSE ∑ xì 2 − n.x 2 Giá trị kiểm định: Quy luật quy t định: bác bỏ giả thuyết Ho với mức ý nghĩa nếu: t > t n-2, /2 Trở lại ví dụ về lượng sản phẩm tiêu thụ và thời gian quảng cáo Kết xuất của SPSS cho ta nhận xét sau: B = 0,735; Sb... lượng sản phẩm bán ra có thể được giải thích bởi mối liên hệ tuyến tính giữa thay đổi của lượng sản phẩm bán ra và thời gian quảng cáo Giá trị Sig F = 0,025 cho ta kết luận rằng có mối liên hệ tuyến tính giữa sự thay đổi của lượng sản phẩm bán ra với sự thay đổi của thời gian quảng cáo 20 3.5.3 Kiểm định giả thuyết về mối liên hệ tuyến tính Ta thấy rằng khi không có mối liên hệ tuyến tính giữa X và. .. thể đặt ra là: mô hình hồi quy tuyến tính được xây dựng đã thể hiện một cách tốt nhất mối liên hệ giữa X và Y chư? Bao nhiêu % sự biến thiên của Y Có thể giải thích bởi X? Hệ số xác định R2 sẽ giúp ta trả lời những câu hỏi đó 18 Ta có: yi = a + b.xi +ei ỹi = a + b.xi Suy ra: yi = ỹi + ei (*) Nghĩa là: ei là sự khác biệt giữa giá trị thực tế và giá trị dự đoán theo phương trình hồi quy tuyến tín Như . 33 1,17 1 ,36 -1,42 2,01 -1,65 7 26 27 -7, 83 61 ,36 -7,42 55,01 58,10 8 29 24 -4, 83 23, 36 -10,42 108,51 50 ,35 9 33 35 -0, 83 0,69 0,58 0 ,34 -0,49 10 32 33 -1, 83 3 ,36 -1,42 2,01 2,60 11 31 34 . -5, 83 34, 03 6,58 43, 34 -38 ,40 2 37 32 3, 17 10, 03 -2,42 5,84 -7,65 3 44 49 10,17 1 03, 36 14,58 212,67 148,26 14 4 36 42 2,17 4,69 7,58 57,51 16, 43 5 47 38 13, 17 1 73, 36 3, 58 12,84 47,18 6 35 . 11 31 34 -2, 83 8, 03 -0,42 0,17 1,18 12 28 25 -5, 83 34, 03 -9,42 88,67 54, 93 Tổng 406 4 13 0,00 457,67 0,00 588,92 33 0, 83 x (TB) = 33 , 83 Y (TB) = 34 ,42 r = 0, 637 3. 4. 2 Kiểm