Bài 2. ƯỚC LƯỢNG VÀ Kiểm định MÔ HÌNH HỒI QUI đơn 1. Mô hình - Mô hình hồi qui đơn ( Simple regression ) là mô hình một phương trình gåm một biến phụ thuộc (Y) và một biến giải thích (X). - Mô hình có dạng: PRF E(Y/X i )= β 1 + β 2 X i PRM Y i = β 1 + β 2 X i + u i (X i , Y i ), i = 1÷ n}, tìm , sao cho 1 ˆ β 2 ˆ β - Với mẫu W = { SRF = + X i Y ˆ 1 ˆ β 2 ˆ β i SRM Y i = + X 1 ˆ β 2 ˆ β i + e i phản ánh xu thế biến động về mặt trung bình của mẫu. 2. Phương pháp bình phương nhỏ nhất( Ordinary least squares -OLS) 2.1. Phương pháp - Tìm , sao cho Q = → min 1 ˆ β 2 ˆ β ∑∑ == =− n i i n i ii eYY 1 2 1 2 ) ˆ ( Lấy đạo hàm riêng của Q theo β ˆ 1 và β ˆ 2 và cho bằng 0: ∂Q/∂ β ˆ 1 = -2 ∑(Y i - β ˆ 1 - β ˆ 2 X i ) = 0 ∂Q/∂ β ˆ 2 = -2 ∑X i (Y i - β ˆ 1 - β ˆ 2 X i ) = 0 ⇒ β ˆ 1 n + β ˆ 2 ∑X i = ∑Y i β ˆ 1 ∑X i + β ˆ 2 ∑X i 2 = ∑X i Y i §Æt: X = (∑X i )/n ; Y = (∑Y i )/n ; Y X = (∑X i Y i )/n ; 2 X = (∑X i 2 )/n ⇒ = 2 ˆ β 22 )( XX YXXY − − ; = 1 ˆ β XY 2 ˆ β − Đặt x i = X i – ⎯ ; y X i = Y i – ⎯ y ; y ˆ i = Y ˆ i – Y → = 2 ˆ β ∑ ∑ = = n i i n i ii x yx 1 2 1 → y ˆ i = β ˆ 2 x i gọi là hàm hồi quy mẫu đi qua gốc toạ độ. 1 , ước lượng bằng phương pháp bình phương nhỏ nhất nên được gọi là các ước lượng bình phương nhỏ nhất (OLS) của β ˆ β 2 ˆ β 1 và β 2 . 2.2.Phương pháp OLS có các tính chất sau: a. SRF đi qua điểm trung bình mẫu ( YX, ) b. Trung bình của các giá trị ước lượng bằng trung bình mẫu Y Y = ˆ c. Tổng các phần dư bằng không 0 1 =∑ = i n i e d. Các phần dư không tương quan với các giá trị của biến giải thích: cov(e i ,x i ) = 0 1 = ii Xe∑ = n i e. Các phần dư không tương quan với các giá trị ước lượng của biến phụ thuộc Y : cov(e i , ) = = 0 i y ˆ ∑ = n i iYei 1 ˆ 3. Các giả thiết cơ bản của OLS Một ước lượng sẽ dùng được khi nó là tốt nhất. Để ước lượng OLS là tốt nhất thì tổng thể phải thỏa mãn một số giả thiết sau: Giả thiết 1: Mô hình hồi quy có dạng tuyến tính đối với tham số. Giả thiết 2: Biến giải thớch là phi ngẫu nhiờn Giả thiết 3: Trung bỡnh của các sai số ngẫu nhiờn bằng 0 E(u i ) = 0 ∀ i Giả thiết 4: Phương sai sai số ngẫu nhiờn bằng nhau Var(u i ) = σ 2 ∀ i Giả thiết 5: Cỏc sai số ngẫu nhiên không tuơng quan Cov(u i , u j ) = 0 ∀ i ≠ j Giả thiết 6: SSNN và biến giải thích không tương quan Cov(u i , X i ) = 0 ∀ i Giả thiết 7: Các giá trị của biến giải thích phải khác nhau càng nhiều càng tốt Var(X) > 0 Giả thiết 8: Kích thước mẫu phải lớn hơn số tham số cần ước lượng của mô hình. n > k Giả thiết 9: Mô hình được chỉ định đúng. Giả thiết 10: Không có đa cộng tuyến giữa các biến giải thích của mô hình hồi quy bội. Định lý Gaus-Markov: Nếu tổng thể thỏa mãn các giả thiết trên thì ước lượng OLS sẽ là ước lượng tuyến tính, không chệch, tốt nhất (trong số các ước lượng không chệch) của các tham số (Best Linear Unbiassed Estimator - BLUE). 4. Các tham số của ước lượng OLS Các ước lượng là biến ngẫu nhiên tùy thuộc mẫu, nên có các tham số đặc trưng j β ˆ Kì vọng : E( ) = β 1 ˆ β 1 E( ) = β 2 ˆ β 2 Phương sai : Var( ) = 1 ˆ β 2 1 2 1 2 σ ∑ ∑ = = n i i n i i xn X Var( ) = 2 ˆ β 2 1 2 1 σ ∑ = n i i x Độ lệch chuẩn : SD( ) = j β ˆ ) ˆ ( j Var β (j = 1,2) Th-êng th× σ 2 là phương sai cña sai sè ngẫu nhiên chưa biết, được ước lượng bởi 2 ˆ σ 2 ˆ σ = 2 2 1 − ∑ = n e i n i với 2 là số tham số cần phải ước lượng của mô hình. σ ˆ = 2 ˆ σ là độ lệch chuẩn của đường hồi qui : (Standard error of Regression) Lúc đó ta thu được: Se( ) = 1 ˆ β ∑ ∑ = = n i i n i i xn X 1 2 1 2 ˆ σ Se( ) = 2 ˆ β ∑ = n i i x 1 2 ˆ σ Các sai số chuẩn phản ánh độ chính xác của ước lượng Cov( β ˆ 1 , β ˆ 2 ) = - X Var( β ˆ 2 ) Hiệp phương sai phản ánh mối quan hệ giữa β ˆ 1 và 2 ˆ β Các tham số trên thường được cho trong ma trận sau: var - cov = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ )var() ,cov( ),cov() var( 212 211 βββ βββ 5. Sự phù hợp của hàm hồi qui- Hệ số xác định R 2 Y i = +e i Y ˆ i ⇒ YYy YYy ii ii −= −= ˆ ˆ ⇒ y i = + e i y ˆ i y i 2 = 2 i y ˆ + e i 2 + 2e i i y ˆ = ∑ = n i i y 1 2 + + 2 ∑ = n i i y 1 2 ˆ ∑ = n i i e 1 2 ∑ = n i ii ye 1 ˆ Do ∑ = = n i ii ye 1 0 ˆ Nªn ∑∑∑ === += n i n i n i iii eyy 1 2 1 2 1 2 ˆ Ký hiệu: = TSS = ESS và ∑ = RSS ∑ = n i i y 1 2 ∑ = n i i y 1 2 ˆ = n i i e 1 2 Thì thu được hệ thức cơ bản của phương pháp phân tích phương sai (Analysis of Variance) sau đây: TSS = ESS + RSS TSS (Total Sum of Squares) : đo tổng biến động của biến phụ thuộc ESS (Explained Sum of Squares): tổng biển động của biến phụ thuộc được giải thích bởi MH – biến giải thích. RSS (Residual Sum of Squares) : tổng biến động của biến phụ thuộc được giải thích bởi các yếu tố nằm ngoài mô hỡnh – Sai số ngẫu nhiờn. Đặt R 2 = TSS RSS TSS ESS −= 1 gọi là hệ số xác định, 0 ≤ R 2 ≤ 1 í nghĩa: Hệ số xác định R 2 là tỉ lệ (hoặc tỉ lệ %) sự biến động của biến phụ thuộc được giải thích bởi biến giải thớch (theo mô hình , trong mẫu). 6. Hệ số tương quan R : Là căn bậc hai của hệ số xác định và đo mức độ tương quan tuyến tính giữa Y và X. Mức độ liên quan chặt chẽ tuyến tính giữa X và Y. Giá trị của R càng gần 1 và -1 thì X và Y càng liên quan chặt chẽ Giá trị của R càng gần 0 thì X và Y liên quan lỏng lẻo Hệ số tương quan thường được cho trong ma trận sau: r = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ 1 1 r r 7. Phân phối xác suất của sai số ngẫu nhiên. Muốn tiến hành các suy diễn thống kờ, thỡ phải biết phõn phối xỏc suất của cỏc ước lượng, phân phối đó tùy thuộc phân phối xác suất của SSNN. Giả thiết 11: Các SSNN u i cú phõn phối chuẩn. Cơ sở của giả thiết này là: + Do u i thường là sự tổng hợp của một số lớn các nhân tố ngẫu nhiên độc lập và ảnh hưởng bé đều như nhau nên theo hệ quả của định lý giới hạn trung tâm thì có thể xem là u i phân phối chuẩn. + Phân phối chuẩn chỉ có hai tham số là μ và σ 2 nên dễ sử dụng. + Phân phối chuẩn có tính chất là nếu u i phân phối chuẩn thì mọi hàm tuyến tính của nó cũng phân phối chuẩn. + Phân phối chuẩn có tính chất là tính độc lập và không tương quan là đồng nhất. Kết hợp các giả thiết 3,4,5 và 11 ta có giả thiết chung là: u i ∼ n.i.d (0, σ 2 ) Mô hình thoả mãn các giả thiết trên gọi là mô hình hồi quy tuyến tính cổ điển ( Clasic Linear Regression Model - CLRM ). .8. Các tính chất của các ước lượng OLS. a. Các ước lượng của CLRM là các ước lượng không chệch. b. Các ước lượng của CLRM là các ước lượng vững c. Các ước lương của CLRM là các ước lượng hiệu quả nhất. d. β ˆ 1 ∼ N( β 1 , var( β ˆ 1 )) ⇒ U= ) ˆ ( ˆ 1 11 β ββ sd − ∼ N(0,1) ⇒ T= ) ˆ ( ˆ 1 11 β ββ se − ∼ T(n-2) e. β ˆ 2 ∼ N( β 2 , var( β ˆ 2 )) ⇒ U= ) ˆ ( ˆ 2 22 β ββ sd − ∼ N(0,1) ⇒ T= ) ˆ ( ˆ 2 22 β ββ se − ∼ T(n-2) f. χ 2 = 2 2 ˆ )2( σ σ −n ∼ χ 2 (n-2) g. Các ước lượng của CLRM đều là BLUE hoặc BUE h. Y i ∼ N ( β 1 + β 2 X i , σ 2 ) i = 1, 2, . . . N. .9. Suy diễn thống kê. 9.1. Ước lượng khoảng Với độ tin cậy 1 - α cho trước: Khoảng tin cậy của các hệ số håi quy β 1 vµ β 2 Khoảng tin cậy tổng quát: – Se( )t j β ˆ j β ˆ 2 α (n – 2) < β j < + Se( )t j β ˆ j β ˆ 1 α (n – 2) Khoảng tin cậy đối xứng: – Se( )t j β ˆ j β ˆ α /2 (n – 2) < β j < + Se( )t j β ˆ j β ˆ α /2 (n – 2) Khoảng tin cậy bên phải: j β ˆ – Se( )t j β ˆ α (n – 2) < β j Khoảng tin cậy bên trái: β j < + Se( )t j β ˆ j β ˆ α (n – 2) (j = 1,2) Khoảng tin cậy cho sai số ngẫu nhiên: Khoảng tin cậy tổng quát: )2( )2( ˆ 2 2 2 − − n n α χ σ < σ 2 < )2( )2( ˆ 2 11 2 − − − n n α χ σ Khoảng tin cậy hai phía: )2( )2( ˆ 2 2/ 2 − − n n α χ σ < σ 2 < )2( )2( ˆ 2 2/1 2 − − − n n α χ σ Khoảng tin cậy bên phải: )2(2 2 )2( ˆ − − n n α χ σ < σ 2 Khoảng tin cậy bên trái: σ 2 < )2(2 1 2 )2( ˆ − − − n n α χ σ 9.2. Kiểm định giả thuyết Với mức ý nghĩa α cho trước, kiểm định mối quan hệ thứ tự của hệ số với các số thực cho trước i. Cặp giả thuyết j = 1,2 ⎪ ⎩ ⎪ ⎨ ⎧ ≠ = * 1 * 0 :H :H jj jj ββ ββ Tiêu chuẩn kiểm định : T qs = ) ˆ ( ˆ * j jj Se β ββ − Nếu ⏐T qs ⏐> t α /2 (n – 2) thì bác bỏ H 0 , ngược lại : chưa có cơ sở bác bỏ H 0 . ii. Cặp giả thuyết Nếu T ⎪ ⎩ ⎪ ⎨ ⎧ > = * 1 * 0 :H :H jj jj ββ ββ qs > t α (n – 2) : bác bỏ H 0 iii. Cặp giả thuyết Nếu T ⎪ ⎩ ⎪ ⎨ ⎧ < = * 1 * 0 :H :H jj jj ββ ββ qs < – t α (n – 2) : bác bỏ H 0 Trường hợp đặc biệt → T ⎩ ⎨ ⎧ ≠ = 0:H 0:H 1 0 j j β β qs = ) ˆ ( ˆ j j Se β β Các kiểm định trên được gọi là Kiểm định T. Kiểm định bằng P-value: Với kiểm định bên phải:P-value=P(T>T qs ) Với kiểm định bên trái:P-value=P(T<T qs ) Với kiểm định hai phía:P-value=2P(T> | T qs | ) Nếu cho trước α thì quy tắc kết luận như sau: Nếu P-value< α thì bác bỏ H 0 Nếu P-value> α thì thừa nhận H 0 ⎩ ⎨ ⎧ ≠ = 2 0 2 1 2 0 2 0 :H :H σσ σσ iii. Cặp giả thuyết Tiêu chuẩn kiểm định: χ 2 = 2 0 2 ˆ )2( σ σ −n Nếu χ qs < hoặc χ 2 2/1 α χ − qs > thì bác bỏ H 2 2/ α χ 0 ⎩ ⎨ ⎧ > = 2 0 2 1 2 0 2 0 :H :H σσ σσ Cặp giả thuyết Nếu χ qs > thì bác bỏ H 2 α χ 0 ⎩ ⎨ ⎧ < = 2 0 2 1 2 0 2 0 :H :H σσ σσ Cặp giả thuyết Nếu χ qs < thì bác bỏ H 2 1 α χ − 0 Các kiểm định trên được gọi là kiểm định Khi bình phương (χ 2 ) Các kiểm định trên cũng có thể tiến hành bằng phương pháp P-value. 10. Kiểm định về sự thích hợp của mô hình . Cặp giả thuyết ⎩ ⎨ ⎧ ≠ = 0:H 0:H 2 1 2 0 R R Biến giải thích không giải thích cho Y Biến giải thích có giải thích cho Y ⇔ ⎩ ⎨ ⎧ ≠ = 0:H 0:H 21 20 β β Kiểm định F: F qs = )2/()1( 1/ )2/( 1/ 2 2 −− = − nR R nRSS ESS - Nếu F qs > F α ( 1; n - 2) thì bác bỏ H 0 : biến giải thích giải thích được cho sự biến động của biến phụ thuộc, hàm hồi qui được gọi là phù hợp. - Ngược lại, Y không phụ thuộc vào biến giải thích, hàm hồi qui không phù hợp. Vì hai cặp giả thiết tương đương, kiểm định F tương đương kiểm định T F qs = (T qs ) 2 . Kiểm định F nói trên cũng có thể tiến hành bằng phương pháp P-value 11. Dự báo Là ước lượng khoảng cho giá trị trung bình và cá biệt của biến phụ thuộc khi biến giải thích nhận giá trị xác định X = X 0 11.1. Dự báo giá trị trung bình [...]... Y0)t α 2 (n – 2) < Y0 < Y0 + Se( Yˆ 0 - Y0) t α 1 (n – 2) Với Se( Yˆ 0 - Y0) = σ 1 + 1 + ( X 0 − 2X ) ˆ Σ xi n VÝ dô 1: Håi quy hµm tiªu dïng Keynes vµ cho nhËn xÐt Dependent Variable: Y Method: Least Squares Date: 02/ 16/09 Time: 09:07 Sample: 1980 1991 Included observations: 12 Variable Coefficie Std Error t-Statistic nt Prob 2 C X R-squared - 94. 527 51 -2 .4 521 44 0.0341 23 1.7951 0.719433 0. 021 750 33.07810... )t α 2 (n – 2) < E(Y/X0) < Y0 + Se( Y0 )t α 1 (n – 2) Khoảng tin cậy đối xứng: ˆ ˆ ˆ ˆ Y0 – Se( Y0 )tα /2( n – 2) < E(Y/X0) < Y0 + Se( Y0 )tα /2( n – 2) Khoảng tin cậy bên phải: ˆ ˆ Y0 – Se( Y0 )tα(n – 2) < E(Y/X0) Khoảng tin cậy bên trái: ˆ ˆ E(Y/X0) < Y0 + Se( Y0 )tα(n – 2) ˆ ˆ ˆ Với Y0 = β1 + 2 X0 và 2 ˆ Se( Y0 ) = σ 1 + ( X 0 − 2X ) ˆ Σ xi n 11 .2 Dự báo giá trị cá biệt ˆ ˆ Y0 – Se( Yˆ 0 - Y0)t α 2 (n... mục đầu tư Ta chuyển sang mô hình kinh tế lượng: Ri = α + βRm + Ui Kết quả hồi quy như sau: Dependent Variable: IBM Method: Least Squares Date: 02/ 16/09 Time: 09:54 Sample: 1978:01 1987: 12 Included observations: 120 Variable Coefficie Std Error t-Statistic nt C 0.00 327 8 0.004703 0.697054 MARKET 0.453 024 0.067675 6.694 125 R-squared 0 .27 523 5 Mean dependent var Adjusted R0 .26 9093 S.D dependent var squared... criterion Sum squared resid 0.300471 Schwarz criterion Log likelihood 189. 121 2 F-statistic Durbin-Watson stat 1.8 827 24 Prob(F-statistic) Prob 0.4871 0.0000 0.00961 7 0.059 02 4 3.11868 7 3.0 722 2 9 44.8113 1 0.00000 0 Ví dụ 3: Hãy thu thập số liệu của Việt nam để hồi quy các mô hình sau: (a) FDIt = β1 + β2GDPt + Ut (b) lnFDIt = β1 + 2 lnGDPt + Ut Và cho biết mô hình nào phù hợp hơn ... 0.719433 0. 021 750 33.07810 0.0000 0.990943 Mean dependent 28 80.600 var 0.990038 S.D dependent var 314.4417 Adjusted Rsquared S.E of regression 31.38488 Akaike info criterion Sum squared resid 9850.106 Schwarz criterion Log likelihood - F-statistic 57 .28 925 Durbin-Watson 1 .28 4183 Prob(F-statistic) stat 9.881541 9.9 623 59 1094.160 0.000000 Ví dụ 2: Với các số liệu về lãi suất cổ phiếu của công ty IBM và của thị... Prob(F-statistic) stat 9.881541 9.9 623 59 1094.160 0.000000 Ví dụ 2: Với các số liệu về lãi suất cổ phiếu của công ty IBM và của thị trường chứng khoán Mỹ từ tháng 1 năm 1978 đến tháng 12 năm 1987 ( tệp số liệu ch2bt1) hãy ước lượng mô hình SIM và cho nhận xét Mô hình SIM( Single Index Model) có dạng: Ri = α + βRm Trong đó: Ri là lợi tức của công ty i Rm là lợi tức của chỉ số thị trường α thể hiện tác động . β ˆ 2 ∼ N( β 2 , var( β ˆ 2 )) ⇒ U= ) ˆ ( ˆ 2 22 β ββ sd − ∼ N(0,1) ⇒ T= ) ˆ ( ˆ 2 22 β ββ se − ∼ T(n -2 ) f. χ 2 = 2 2 ˆ )2( σ σ −n ∼ χ 2 (n -2 ) . )2( )2( ˆ 2 2/ 2 − − n n α χ σ < σ 2 < )2( )2( ˆ 2 2/1 2 − − − n n α χ σ Khoảng tin cậy bên phải: )2( 2 2 )2( ˆ − − n n α χ σ < σ 2