Chương Mơ hình hồi qui hai biến Ước lượng kiểm định giả thiết Phương pháp bình phương bé Giả sử : Yi = β + β 2Xi + Ui (PRF) có mẫu n quan sát (Yi, Xi) Cần ước lượng (PRF) ˆ Ta có : Yi = Yi + ei (SRF) với ˆ ˆ ˆ Yi = β1 + β X i Theo phương pháp OLS, để ˆ ˆ ˆ Yi gần với Yi β1 , β cần thỏa mãn : n n ˆ1 − β X i )2 → ˆ e = ∑ ( Yi − β ∑ i i =1 i =1 ˆ ˆ Suy β , β cần thỏa mãn :  n  ∂ ∑ ei  i=1 = ˆ  ∂β1  n  ∂ e2  ∑ i i =1  ˆ =  ∂β n ˆ ∑ 2( Y − β i =1 i n ˆ ∑ 2( Y − β i =1 i ˆ − β X i )( −1) = ˆ − β X i )( − X i ) = giải hệ, ta có : n ˆ β2 = ∑ X Y − nX Y i i i =1 n ∑X i − n( X ) ˆ ˆ β1 = Y − β X i =1 Có thể chứng minh : n n ∑ x y = ∑ X Y − nX Y i =1 n ∑x i =1 i i i i =1 n = ∑ X − n( X ) i =1 x i = Xi − X i i i với y i = Yi − Y Nên biểu diễn : ˆ β2 ∑x y = ∑x i i i Ví dụ 1: Giả sử cần nghiên cứu chi tiêu tiêu dùng hộ gia đình phụ thuộc vào thu nhập họ, người ta tiến hành điều tra, thu mẫu gồm 10 hộ gia đình với số liệu sau : Y 70 65 90 95 110 115 120 140 155 150 X 80 100 120 140 160 180 200 220 240 260 Trong : Y – chi tiêu hộ gia đình (USD/tuần) X – thu nhập hộ gia đình (USD/tuần) Giả sử Y X có quan hệ tuyến tính Hãy ước lượng mơ hình hồI qui Y theo X Các giả thiết cổ điển mơ hình hồi qui tuyến tính • Giả thiết : Biến độc lập Xi phi ngẫu nhiên, giá trị chúng phải xác định trước • Giả thiết : Kỳ vọng có điều kiện sai số ngẫu nhiên : E (Ui / Xi) = ∀i • Giả thiết : (Phương sai ) Các sai số ngẫu nhiên có phương sai : Var (Ui / Xi) = σ ∀i • Giả thiết : Khơng có tượng tương quan sai số ngẫu nhiên : Cov (Ui , Uj ) = ∀ i≠ j • Giả thiết : Khơng có tượng tương quan biến độc lập Xi sai số ngẫu nhiên Ui : Cov (Xi , Ui ) = ∀ i • Định lý Gauss – Markov : Với giả thiết từ đến mơ hình hồi qui tuyến tính cổ điển, ước lượng OLS ước lượng tuyến tính, khơng chệch có phương sai bé lớp ước lượng tuyến tính, khơng chệch Phương sai sai số chuẩn ước lượng Phương sai ˆ Var ( β1 ) = σ βˆ = ˆ Var ( β ) = σ βˆ = X i2 ∑ σ2 n∑ x i σ2 ∑ xi Sai số chuẩn ˆ se( β1 ) = σ βˆ = σ βˆ 1 ˆ se( β ) = σ βˆ = σ βˆ 2 Trong : σ = var (Ui) Do σ chưa biết nên dùng ước lượng ∑ ei2 ˆ σ = n−2 Hệ số xác định hệ số tương quan a Hệ số xác định : Dùng để đo mức độ phù hợp hàm hồi qui ESS RSS R = =1− TSS TSS dn Trong : TSS = ESS + RSSn n TSS = ∑ (Y i =1 ESS = i − Y) = ∑y i =1 i n ( Yi − Y )2 ∑ ˆ i =1 RSS = n ˆ ( Yi − Yi )2 = ∑ i =1 n ei2 ∑ i =1 Tính chất hệ số tương quan : Miền giá trị r : -1 ≤ r ≤ | r|  : quan hệ tuyến tính X Y chặt chẽ r có tính đối xứng : rXY = rYX Nếu X, Y độc lập r = Điều ngược lại không Phân phối xác suất ước lượng Giả thiết : Ui có phân phối N (0, σ2), Với giả thiết 6, ước lượng có thêm tính chất sau : Khi số quan sát đủ lớn ước lượng xấp xỉ với giá trị thực phân phối : n→ ∞ n→ ∞ ˆ → β , β → β ˆ β1 2 ˆ β1 − β1 ˆ β ~ N( β , σ β ) ⇒ Z = ~ N(0,1) ˆ1 σβ ˆ ˆ β ~ N( β , σ ) ˆ β2 ˆ β2 − β2 ⇒Z= ~ N(0,1) σβ ˆ ˆ2 (n − 2)σ ~ χ (n − 2) σ Yi ~ N (β 1+ β 2Xi, σ 2) Khoảng tin cậy hệ số hồi qui • Sử dụng phân phối thống kê t : ˆ βj − βj t= ~ t (n − 2) sˆ( β j ) e ˆ j = 1,2 Ta có khoảng tin cậy β1 : ˆ e ˆ ˆ e ˆ β1 − sˆ( β1 ).tα / (n − 2) ≤ β1 ≤ β1 + sˆ( β1 ).tα / (n − 2) Ta có khoảng tin cậy β : ˆ ˆ β − sˆ( β ).tα / (n − 2) ≤ β ≤ β + sˆ( β ).tα / (n − 2) e ˆ e ˆ Kiểm định giả thiết hệ số hồi qui • Giả sử H0 : β2 = a ( a = const) H1 : β2 ≠ a Có cách kiểm định : Dùng khoảng tin cậy : Khoảng tin cậy β2 [α, β] - Nếu a ∉ [α, β] ⇒ bác bỏ H0 - Nếu a ∈ [α, β] ⇒ chấp nhận H0 Dùng kiểm định t : ˆ β2 − β2 ~ t (n − 2) Thống kê sử dụng : t = ˆ sˆ( β ) e Có hai cách đọc kết kiểm định t : Cách : dùng giá trị tới hạn ˆ β2 − a - Tính t= sˆ( β ) e ˆ - Tra bảng t tìm tα/2(n-2) - Nếu | t| > tα/2(n-2) ⇒ bác bỏ H0 - Nếu | t| ≤ tα/2(n-2) ⇒ chấp nhận H0 Cách : Dùng p-value (mức ý nghĩa xác) p = P(| T| > ta) ˆ β2 − a với ta = t = sˆ( β ) e ˆ - Nếu p ≤ α ⇒ bác bỏ H0 - Nếu p > α ⇒ chấp nhận H0 Kiểm định phù hợp hàm hồi qui Phân tích hồi qui phân tích phương sai • Giả thiết H0 : β2 = ( hàm hồi qui không phù hợp) H1 : β2 ≠ (hàm hồi qui phù hợp) Sử dụng phân phối thống kê F : ( F= ) ˆ − β )2 ∑ x / (β 2 i ∑e i /(n − 2) ~ F(1, n − 2) Khi β2 = , F viết : ˆ22 ∑ x i2 β ESS / R2 /1 F= = = (*) 2 ∑ ei /(n − 2) RSS /(n − 2) (1 − R ) /(n − 2) Nên dùng qui tắc kiểm định sau : - Tính R /1 F= (1 − R ) /(n − 2) - Nếu F > Fα(1, n-2) ⇒ bác bỏ H0 ⇒ hàm hồi qui phù hợp Mặt khác, từ (*) cho thấy : Phân tích phương sai cho phép đưa phán đoán thống kê độ thích hợp hồi qui ( xem bảng phân tích phương sai) * Một số ý kiểm định giả thiết : - Khi nói “chấp nhận giả thiết H0”, khơng có nghĩa H0 - Lựa chọn mức ý nghĩa α : α tùy chọn, thường người ta chọn mức 1%, 5%, nhiều 10% Dự báo a Dự báo giá trị trung bình : Cho X =X0 , tìm E(Y/X0) - Dự báo điểm E(Y/X0) : ˆ ˆ ˆ Y0 = β1 + β X - Dự báo khoảng E(Y/X0) : ˆ0 − sˆ( Y0 ).tαn/−22) ≤ E( Y / X ) ≤ Y0 + sˆ( Y0 ).tαn/−22) ˆ ( ˆ ˆ ( Y e e Trong :  ( X − X )2  ˆ ˆr( Y0 ) =  + ˆ2 va  ×σ n ∑ xi    b Dự báo giá trị cá biệt : Cho X =X0 , tìm Y0 ˆ0 − sˆ( Y0 − Y0 ).tαn/−22) ≤ Y0 ≤ Y0 + sˆ( Y0 − Y0 ).tαn/−22) ˆ ( ˆ ˆ ( Y e e Trong : ˆ ˆ var( Y0 − Y0 ) = var( Y0 ) + σ nên ˆ ˆ vˆr( Y0 − Y0 ) = vˆr( Y0 ) + σ a a ˆ Y dải tin cậy giá trị cá biệt dải tin cậy giá trị trung bình X * Đặc điểm dự báo khoảng X 10 Trình bày kết hồi qui R2 = ˆ ˆ ˆ Yi = β + β X i ˆ se = sê ( ) sê ( β1) n β= ˆ t = t1 t2 F = p = p(>t1) p(>t2) p(> F) = Trong : ˆ ˆ β1 − β2 − t1 = t2 = sˆ( β1 ) e ˆ sˆ( β ) e ˆ = ˆi 24,4545 Y se = t = p = + 0,5091 Xi R2 = 0,9621 (6,4138) (0,0357) n = 10 (3,813) (14,243) F = 202,87 (0,005) (0,000) p = (0,000) 11 Đánh giá kết phân tích hồi qui • Dấu hệ số hồi qui ước lượng phù hợp với lý thuyết hay tiên nghiệm khơng • Các hệ số hồi qui ước lượng có ý nghĩa mặt thống kê hay khơng • Mức độ phù hợp mơ hình (R2) • Kiểm tra xem mơ hình có thỏa mãn giả thiết mơ hình hồi qui tuyến tính cổ điển hay khơng ... F= ) ˆ − β )2 ∑ x / (β 2 i ∑e i /(n − 2) ~ F(1, n − 2) Khi ? ?2 = , F viết : ? ?22 ∑ x i2 β ESS / R2 /1 F= = = (*) 2 ∑ ei /(n − 2) RSS /(n − 2) (1 − R ) /(n − 2) Nên dùng qui tắc kiểm định sau : -... ước lượng mơ hình hồI qui Y theo X 2 Các giả thiết cổ điển mơ hình hồi qui tuyến tính • Giả thiết : Biến độc lập Xi phi ngẫu nhiên, giá trị chúng phải xác định trước • Giả thiết : Kỳ vọng có... Nếu p > α ⇒ chấp nhận H0 8 Kiểm định phù hợp hàm hồi qui Phân tích hồi qui phân tích phương sai • Giả thiết H0 : ? ?2 = ( hàm hồi qui không phù hợp) H1 : ? ?2 ≠ (hàm hồi qui phù hợp) Sử dụng phân