Bài 4: Mơ hình hồi quy bội BÀI MƠ HÌNH HỒI QUY BỘI Mục tiêu Sau kết thúc bài, học viên hiểu vấn đề sau đây: • Mơ hình hồi quy bội có biến mơ hình tổng qt k biến • Ý nghĩa hệ số hồi quy ước lượng • Hệ số xác định bội hệ số xác định bội hiệu chỉnh • Khoảng tin cậy kiểm định giả thiết cho hệ số hồi quy • Kiểm định phù hợp mơ hình hay ảnh hưởng tất biến độc lập • Dự báo mơ hình hồi quy bội Nội dung Hướng dẫn học • Mơ hình hồi quy bội gồm biến độc lập • Mơ hình hồi quy bội gồm k biến (k-1 biến độc lập) • Đề nghị học viên ôn lại phần ước lượng kiểm định giả thiết môn lý thuyết xác suất thống kê tốn • Phương pháp OLS cho mơ hình hồi quy bội • Theo dõi kỹ giảng • Hệ số xác định bội hệ số xác định bội hiệu chỉnh • Xem ví dụ cho phần giảng • Ước lượng khoảng tin cậy kiểm định giả thuyết cho hệ số hồi quy • Làm ví dụ trả lời câu hỏi trắc nghiệm • Kiểm định phù hợp mơ hình hồi quy • Dự báo mơ hình hồi quy bội Thời lượng • tiết 47 Bài 4: Mơ hình hồi quy bội TÌNH HUỐNG DẪN NHẬP Tình Hội đồng quản trị công ty may Đức Giang muốn xem xét ảnh hưởng yếu tố đầu vào sản xuất Vốn (V, tỉ đồng) Lao động (L, người) lên sản lượng (SL, triệu sản phẩm) công ty Cụ thể, họ muốn đưa định việc có nên tiếp tục mở rộng sản xuất, thu hẹp lại hay giữ nguyên Để tiến hành nghiên cứu này, phòng kế hoạch công ty thu thập số liệu vốn đầu tư, lao động sử dụng sản lượng sản xuất 30 tháng qua cơng ty (có n = 30 quan sát) Mơ hình dùng để nghiên cứu có dạng log(SLi) = β1 + β2log(Vi) + β3log(Li)+ui Dùng số liệu mẫu, ước lượng hàm hồi quy mẫu có dạng, log(SLi ) = 0.424816 + 0.7358log(Vi ) + 0.9489 log(Li ) Câu hỏi • Vậy cơng ty Đức Giang nên tăng, giảm hay giữ nguyên quy mơ sản xuất? • Liệu biến vốn lao động khơng có ảnh hưởng đến sản lượng có khơng? • Giả sử tháng tới, cơng ty định sử dụng lượng vốn 10 tỉ đồng lao động 3000 sản lượng dự báo bao nhiêu? 48 Bài 4: Mơ hình hồi quy bội Trong trước nghiên cứu mơ hình hồi quy tuyến tính đơn giản, hồi quy tuyến tính đơn, mơ hình nghiên cứu mối quan hệ biến giải thích Y biến giải thích X Bài mở rộng nghiên cứu sang mơ hình hồi quy tuyến tính bội với biến giải thích Y (k – 1) biến giải thích X , , X k Trong thực tế mơ hình hồi quy tuyến tính bội sử dụng rộng rãi nhiều trường hợp giải thích hành vi biến phụ thuộc (biến giải thích) Y tốt mơ hình hồi quy tuyến tính đơn Ví dụ trước xét mối quan hệ thu nhập chi tiêu thực tế chi tiêu không phụ thuộc vào thu nhập mà cịn phụ thuộc vào yếu tố khác, chẳng hạn như: niềm tin vào kinh tế, độ tuổi, nghề nghiệp, địa lý… Vì mơ hình hồi quy đơn khó giải thích hành vi biến phụ thuộc Y Do việc mở rộng mơ hình hồi quy tuyến tính bội giúp giải thích rõ biến phụ thuộc Y BÀI TỐN Mơ hình hồi quy tuyến tính bội mơ hình nghiên cứu mối quan hệ biến phụ thuộc Y (k – 1) biến độc lập X , X , , X k có dạng: Yi = β1 + β2 X 2i + β3 X 3i + + βk X k + u i Trong E(u i ) = 0, E(u i | X 2i , X 3i , , X ki ) = Cov ( u i , u j ) = ∀i ≠ j Cov(X 2i ,u i ) = 0;Cov(X 3i , u i ) = 0; ,Cov ( X ki , u i ) = Var(u i ) = σ , ∀i 4.1 Mơ hình hồi quy với hai biến giải thích Định nghĩa: Mơ hình hồi quy tổng thể (PRF) với hai biến giải thích có dạng sau: Yi = β1 + β2 X 2i + β3 X 3i + u i (4.1) với Y biến phụ thuộc; X , X biến độc lập, Yi , X 2i , X 3i quan sát thứ i Y, X , X ; u nhiễu ngẫu nhiên, u i nhiễu quan sát thứ i; β1 hệ số chặn (hệ số tự do), giá trị trung bình Y X = X = ; β2 , β3 hệ số hồi quy riêng hay gọi hệ số biến độc lập, β2 thay đổi Y X cố định X tăng giảm đơn vị, β3 thay đổi Y X tăng giảm đơn vị X cố định Trong mơ hình hồi quy hai biến (4.1) ta có giả thiết sau: • E(u i ) = 0, E(u i | X 2i , X 3i ) = • Các u i khơng tương quan, tức Cov(u i , u j ) = 0, ∀i ≠ j • u i khơng tương quan với X 2i , X 3i , tức Cov(X 2i ,u i ) = 0;Cov(X 3i , u i ) = • u i có phương sai không thay đổi, tức là: Var(u i ) = σ , ∀i 49 Bài 4: Mơ hình hồi quy bội 4.2 Ước lượng tham số mơ hình hồi quy Tương tự 3, toán đặt từ liệu quan sát cần ước lượng hệ số hồi quy β1 , β2 , β3 mơ hình (4.1) Phương pháp ta sử dụng sau phương pháp bình phương tối thiểu OLS Hàm hồi quy mẫu (SRF) xây dựng từ n quan sát (Yi , X , X3 ) có dạng: ˆ ˆ ˆ ˆ Yi = β1 + β2 X 2i + β3 X 3i (4.2) ˆ ˆ ˆ ˆ ˆ ˆ Và Yi = β1 + β2 X 2i + β3 X 3i + u i = Yi + u i ˆ ˆ ˆ ˆ β1 , β2 , β3 ước lượng β1 , β2 , β3 , u i ước lượng u i , phần dư quan sát thứ i Từ (4.2) ta có: n n i =1 i =1 ( ˆ ˆ ˆ ˆ ∑ u i2 = ∑ Yi − β1 − β2 X 2i − β3X3i n ˆ ∑u ˆ ˆ ˆ Ta cần xác định β1 , β2 , β3 cho i =1 i ) (4.3) (4.3) đạt giá trị nhỏ n Theo lý thuyết giải tích nhiều biến, ta thấy để ˆ ∑u i =1 i ˆ ˆ ˆ đạt giá trị nhỏ β1 , β2 , β3 phải nghiệm hệ phương trình ⎧ ⎪β + β X + β X = Y ˆ ˆ ˆ 3 ⎪ 2 n n n n ⎪ˆ ˆ ˆ ⎨β1 ∑ X 2i + β2 ∑ X 2i + β3 ∑ X 2i X 3i = ∑ Yi X 2i i =1 i =1 i =1 ⎪ i =1 n n n ⎪ n ˆ ˆ ˆ ⎪β1 ∑ X 3i + β2 ∑ X 2i X 3i + β3 ∑ X 3i = ∑ Yi X 3i ⎩ i =1 i =1 i =1 i =1 (4.4) X2 = n n X 2i , X = ∑ X 3i ∑ n i =1 n i =1 n ∑ Yi n i =1 Hệ phương trình (4.4) gọi hệ phương trình chuẩn phương pháp xác định ˆ ˆ ˆ β1 , β2 , β3 gọi phương pháp bình phương tối thiểu (OLS) Y= Nghiệm phương trình (4.4) là: ˆ ˆ ˆ β1 = Y − β2 X − β3 X n ˆ β2 = n ∑y x ∑x i =1 i 2i n 2i n i =1 i =1 n 3i n n n ∑ yi x 3i ∑ x 3i − ∑ yi x 3i ∑ x 2i x 3i i =1 i =1 n i =1 n ∑x ∑x i =1 50 n − ∑ yi x 3i ∑ x 2i x 3i ⎛ ⎞ ∑ x ∑ x − ⎜ ∑ x 2i x 3i ⎟ i =1 i =1 ⎝ i =1 ⎠ n n ˆ β3 = i =1 3i 2i i =1 3i i =1 n − (∑ x 2i x 3i ) i =1 Bài 4: Mơ hình hồi quy bội ( ) ˆ ˆ Cov β2 ; β3 = −σ2 r23 ⎛ n ⎞⎛ n ⎞ ⎜ ∑ x 2i ⎟ ⎜ ∑ x 3i ⎟ ⎝ i =1 ⎠ ⎝ i =1 ⎠ (1 − r ) 23 với yi = Yi − Y, x 2i = X 2i − X , x 3i = X 3i − X Ta thấy σ phương sai u i σ chưa biết Vì ta thay σ ước lượng không chênh lệch n ˆ σ2 = ˆ ∑u i =1 i RSS n −3 = n −3 CHÚ Ý r23 = 4.3 ( X X − ( X )( X )) 2 X2 S S 2 X3 ⎛ n ⎞ ⎜ ∑ x 2i x 3i ⎟ ⎝ ⎠ = n i =1 n ⎛ ⎞⎛ ⎞ ⎜ ∑ x 2i ⎟⎜ ∑ x 3i ⎟ ⎝ i =1 ⎠⎝ i =1 ⎠ Phương sai độ lệch chuẩn ước lượng bình phương tối thiểu Ta thu ước lượng cho hệ số hồi quy phương pháp OLS Để tìm ước lượng khoảng tiến hành kiểm định hệ số hồi quy, ta cần xác định phương sai độ lệch chuẩn ước lượng thu Phương sai độ lệch chuẩn ước lượng hệ số hồi quy theo phương pháp bình phương tối thiểu cho công thức ( ) ˆ Var β2 = σ2 n ∑ x (1 − r ) i =1 ( ) ˆ Var β3 = 2i 23 σ2 n 2 ∑ x 3i (1 − r23 ) ( ) ( ) ( ) ( ) ˆ ˆ ; Se β2 = Var β2 ; ˆ ˆ ; Se β3 = Var β3 , i =1 với r23 hệ số tương quan X X 4.4 Mơ hình hồi quy bội 4.4.1 Khái niệm: Mơ hình hồi quy bội mơ hình có hàm hồi quy tổng thể (PRF) gồm biến phụ thuộc Y k – biến độc lập X , X , , X k có dạng sau: Yi = β1 + β2 X 2i + β3 X 3i + + βk X ki + u i (4.5) β1 hệ số chặn, hệ số tự do, cho ta biết trung bình Y X , X , , X k 51 Bài 4: Mơ hình hồi quy bội β j ( j = 1, 2, , k) hệ số hồi quy riêng, cho ta biết thay đổi Y X j thay đổi đơn vị X h ( h ≠ j) 0, u i nhiễu ngẫu nhiên Phương trình (4.5) viết chi tiết dạng hệ phương trình sau: ⎧Y1 = β1 + β2 X 21 + β3 X 31 + + βk X k1 + u1 ⎪Y = β + β X + β X + + β X + u ⎪ 2 22 32 k k2 ⎨ ⎪ ⎪Yn = β1 + β2 X 2n + β3 X 3n + + βk X kn + u n ⎩ Đặt ⎛1 X 21 ⎛ Y1 ⎞ ⎜ ⎜ ⎟ ⎜ Y2 ⎟ ⎜1 X 22 Y = ⎜ ⎟; X = ⎜ ⎜ ⎟ ⎜ ⎜ ⎜ ⎟ ⎜Y ⎟ ⎜ ⎝ n⎠ ⎝1 X 2n (4.6) X 31 X k1 ⎞ ⎟ X 32 X k ⎟ ⎟ ⎟ ⎟ ⎟ X 3n X kn ⎠ ⎛ u1 ⎞ ⎛ β1 ⎞ ⎜ ⎟ ⎜ ⎟ ⎜ u2 ⎟ ⎜ β2 ⎟ u = ⎜ ⎟; β = ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜u ⎟ ⎜β ⎟ ⎝ n⎠ ⎝ n⎠ hệ phương trình (4.6) viết dạng phương trình ma trận Y = Xβ + u 4.4.2 (4.7) Các giả thiết Ta đưa giả thiết cho mơ hình hồi quy nội bội sau: Giả thiết 1: Ma trận ngẫu nhiên u có kỳ vọng 0, tức là: ⎛ E ( u1 ) ⎞ ⎛ ⎞ ⎜ ⎟ ⎜ ⎟ ⎜ E (u2 ) ⎟ ⎜ ⎟ E (u) = ⎜ ⎟ = ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜.⎟ ⎜ E (u )⎟ ⎜ 0⎟ ⎝ ⎠ n ⎠ ⎝ Giả thiết 2: Các thành phần ma trận u không tương quan, tức là: E ( u i u j ) = E ( u i u i ) = σ2 ta viết dạng: E ( uu T ) = σ2 I , với I ma trận đơn vị cấp n 52 i≠ j Bài 4: Mơ hình hồi quy bội Giả thiết 3: Các u i có phân bố chuẩn N ( 0, σ2 ) ∀i = 1, n Giả thiết 4: Các X , X , , X k khơng có quan hệ tuyến tính 4.4.3 Ước lượng tham số OLS Với giả thiết trên, ta ( Yi , X 2i , X3i , , X ki ) , ( i = 1, n ) cần dựa vào liệu quan sát để tìm ước lượng véc tơ hệ số β = ( β1 , β2 , , βk ) mơ hình hồi quy T bội (4.7) ( ˆ ˆ ˆ ˆ Ký hiệu β = β1 , β2 , , βk ) T ước lượng β , ta có phương trình hồi quy mẫu (SRF) ( ) ˆ ˆ ˆ ˆ ˆ Yi = β1 + β2 X 2i + β3 X 3i + + βk X ki + u i i = 1, n ( ˆ ˆ ˆ Ta cần tìm hệ số β1 , β2 , , βk ) n cho tổng phần dư ˆ ∑u i =1 i đạt giá trị nhỏ Kết phương pháp giải tích cho thấy véc tơ ước lượng thỏa mãn phương trình ma trận ˆ ( X′X ) β = X′Y (4.8) X′, Y′ tương ứng ma trận chuyển vị X Y Từ giả thiết dẫn đến tồn ma trận nghịch đảo X′X −1 ˆ β = ( X′X ) X′Y Biểu thức gọi phương trình phương pháp OLS 4.5 Các tính chất ước lượng bình phương nhỏ Xét mơ hình hồi quy bội Yi = β1 + β2 X 2i + β3 X 3i + + βk X ki + u i Giống mơ hình hồi quy đơn, mơ hình hồi quy bội có tính chất sau: • Đường hồi quy bội qua điểm ( Y, X , X , , X k ) • • ˆ Y=Y n ∑u i =1 • i = u i không tương quan với X pi , ( p = 2,3, , k ) , n ∑u X i =1 i pi =0 53 Bài 4: Mơ hình hồi quy bội ˆ • Các u i khơng tương quan với Yi : • n ˆ ∑u Y = i =1 i i ˆ βi ước lượng tuyến tính khơng chệch có phương sai nhỏ cho ( ) βi i = 1, k 4.6 Hệ số xác định bội R hệ số xác định hiệu chỉnh Trong mơ hình hồi quy tuyến tính đơn ta đưa hệ số xác định r2 = ESS RSS = 1− TSS TSS Từ công thức ta thấy r lớn tổng bình phương sai số dự báo nhỏ, mơ hình hồi quy phù hợp Vì hệ số r cịn dùng để đo độ phù hợp mơ hình Tương tự cho mơ hình hồi quy bội ta xây dựng hệ số xác ESS RSS định ký hiệu R xác định công thức: R = = 1− TSS TSS Dễ dàng chứng minh R2 = ˆ β′X′Y − nY Y′Y − nY (4.9) Từ cơng thức thấy hệ số xác định R có tính chất sau: • ≤ R ≤ • Nếu R = đường hồi quy giải thích 100% thay đổi Y đó: n ˆ ∑u i =1 i =0 • Nếu R = mơ hình khơng giải thích thay đổi Y • Nếu số biến độc lập tăng hệ số R lớn, hay nói cách khác R hàm tăng theo biến giải thích Như vậy, tính phù hợp mơ hình hồi quy tăng lên có nhiều biến giải thích mơ hình Tuy nhiên, người ta muốn dùng số lượng biến giải thích vừa đủ cho có mơ hình phù hợp mà khơng q tốn phải thu thập thông tin nhiều biến giải thích Hơn nữa, nhiều đưa thêm số biến độc lập vào mơ hình tác động riêng phần biến độc lập tới biến phụ thuộc lại khơng thực có ý nghĩa thống kê Vậy cần có tiêu chuẩn đánh giá phù hợp mơ hình, có cân nhắc đến số lượng biến giải thích mơ hình Một số tiêu chuẩn hệ số xác định hiệu chỉnh R R , cho biểu thức 54 Bài 4: Mơ hình hồi quy bội n R = 1− ˆ ∑u i =1 n i ∑y i =1 /(n − k) i /(n − 1) n số quan sát, k – số biến độc lập mô hình Dễ dàng thấy có mối quan hệ R R , cụ thể là: (n − 1) R = − (1 − R ) (n − k) Từ R có tính chất sau: • Nếu k > R ≤ R ≤ ; • Khi số biến độc lập k –1 tăng lên R tăng lên tăng chậm so với R ; • R ≥ , R âm Khi R nhận giá trị âm tiện, thường người ta gán lại cho giá trị Trong thực hành, muốn đánh giá phù hợp mô hình R hay dùng so với R , dùng R ta dễ đưa hình ảnh lạc quan mức phù hợp mơ hình, tốn mà số lượng biến giải thích khơng nhỏ nhiều so với số lượng quan sát Tuy nhiên, quan điểm điều chỉnh tùy theo tốn cụ thể Hơn nữa, ngồi hai thống kê R R , người ta dùng số tiêu chuẩn khác để đánh giá tính phù hợp mơ hình, chẳng hạn như: quy tắc thông tin Akaike hay quy tắc dự báo Amemiya 4.7 Quan hệ hệ số xác định tiêu chuẩn kiểm định F Xét mơ hình hồi quy bội (4.5): Yi = β1 + β2 X 2i + β3 X 3i + + βk X ki + u i , i = 1, n Mơ hình gọi khơng có hiệu lực giải thích, hay nói cách khác khơng giải thích thay đổi biến Y, toàn hệ số hồi quy riêng Vì để kiểm định sức mạnh hay mức ý nghĩa mơ hình ta cần kiểm định toán sau: ⎧H : β2 = β3 = = βk = ⎨ ⎩H1 : ∃βi ≠ Để giải toán kiểm định trên, ta dùng tiêu chuẩn thống kê sau: ˆ (β′X′Y − nY ) / k F= ~ F(k − 1, n − k) ˆ (Y′Y − β′X′Y) /(n − k − 1) (4.10) Khi giả thiết thống kê F có phân phối Fisher với k – n – k bậc tự Vậy với mức ý nghĩa α ta có quy tắc kiểm định: • Nếu Fqs > Fα ( k − 1, n − k ) bác bỏ H • Nếu Fqs ≤ Fα ( k − 1, n − k ) chưa bác bỏ H Quan hệ hệ số xác định R thống kê F diễn giải sau: Từ (4.5) (4.9), ta thấy toán kiểm định (4.10) tương đương với toán kiểm định ⎧ ⎪H : R = ⎨ ⎪H1 : R ≠ ⎩ (4.11) 55 Bài 4: Mơ hình hồi quy bội Mặt khác: R = ˆ β′X′Y − nY Y′Y − nY R / ( k − 1) Do ta có: F = (1 − R ) /(n − k) Vậy thống kê F tiêu chuẩn thống kê cho tốn kiểm định (4.11) Ví dụ Một công ty muốn mở rộng thị trường kinh doanh thành phố Trước định mở chi nhánh thành phố đó, cơng ty tiến hành nghiên cứu thị trường cách tiến hành quảng cáo chào bán sản phẩm từ xem xét khả tiêu thụ sản phẩm Thu thập số liệu 10 tuần số sản phẩm bán tuần, giá sản phẩm X chi phí cho quảng cáo X ta có bảng số liệu sau: Giá sản phẩm Cho phí quảng cáo Số sản phẩm bán ra/tuần 4.92 4.79 425 5.5 3.61 467 5.54 5.49 296 5.11 2.78 626 5.62 5.74 165 5.24 1.34 515 4.15 5.81 270 4.02 3.39 689 5.77 3.74 413 4.57 3.59 561 Phân tích số liệu Evievs ta thu báo cáo: 56 Bài 4: Mô hình hồi quy bội Dựa vào kết báo cáo Evievs ta xây dựng mơ hình hồi quy tuyến tính biến phụ thuộc sản phẩm bán Y với chi phí quảng cáo X giá thành sản phẩm X qua biểu thức ˆ ˆ ˆ ˆ Y = β1 + β2 X + β3 X ˆ ˆ ˆ với β1 = 1360.84 , β2 = −110.2952 , β3 = −89.82406 Ngồi cịn có hệ số xác định bội R = 0.772974 , hệ số xác định hiệu chỉnh (Adjusted R-Squared) R = 0.708110 , giá trị tiêu chuẩn thống kê F (F-Static) Fqs = 11.91675 Vậy mơ hình hồi quy cụ thể là: ˆ Y = 1360.84 − 110.2952X − 89.82406X Đối với mơ hình này, ta cần đặt câu hỏi: Với mức ý nghĩa α = 0.05 giá bán chi phí quảng cáo có ảnh hưởng đến số lượng sản phẩm bán hay không? Để trả lời cho câu hỏi này, ta cần kiểm định toán: ⎧ H : β = β3 = ⎨ ⎩ H1 : ∃β2 , β3 ≠ kiểm định toán tương đương là: ⎧H : R = ⎪ ⎨ ⎪H1 : R > ⎩ Cả hai toán giải cách sử dụng thống kê F Ta có Fqs = 11.91675 Với n = 10, k = 2, tra bảng phân phối Fisher dùng lệnh Excel ta tìm phân vị F0.05 ( 2;7 ) = 4.77 Rõ ràng Fqs > F0.05 ( 2;7 ) , ta bác bỏ H , kết luận giá bán sản phẩm chi phí cho quảng cáo có ảnh hưởng đến số lượng sản phẩm bán Hai toán kiểm định cịn giải cách so sánh xác suất ý nghĩa tương ứng với mức ý nghĩa định Kết Eviews cho thấy xác suất ý nghĩa thống kê F (Prob(F-statistic)) có giá trị 0.005575, nhỏ 0.05, bác bỏ giả thuyết H 4.8 Ước lượng khoảng cho hệ số hồi quy Giả sử mơ hình hồi quy (4.7), véc tơ nhiễu ngẫu nhiên u có phân phối chuẩn −1 ˆ N(0; σ2 ) Khi ta có véc tơ hệ số hồi quy β có phân phối chuẩn N β, σ2 ( X′X ) , ( ) ˆ thành phần véc tơ có phân phối chuẩn βi ~ N ( β; σ ) , (i = 1, k) , với σ chưa biết có ước lượng không chệch là: n ˆ σ = ∑ u i2 ( n − k ) i =1 57 Bài 4: Mơ hình hồi quy bội Các thống kê t = ˆ βi − β i có phân phối student với (n – k) bậc tự Do vậy, với ˆ Se β ( ) i độ tin cậy 1− α ta có khoảng ước lượng cho βi là: ˆ ˆ n k ˆ ˆ n k βi − se(βi )t α−2 < βi < βi + se(βi )t α−2 ; i = 1, k / / (4.12) n k t α−2 phân vị phân phối Student với (n – k) bậc tự ứng với mức ý / nghĩa α / , giá trị thu cách tra bảng dùng lệnh thích hợp Excel Ví dụ 2: Từ liệu ví dụ tìm ước lượng khoảng hệ số hồi quy riêng với độ tin cậy 95% Trong bảng kết Eviews ta có: ˆ ˆ β = 1360.84 , β = −110.2952 , ˆ β3 = −89.82406 Trong cột Std.Error ta có: ( ) ( ) ( ) ˆ ˆ ˆ Se β1 = 258.4298 , Se β2 = 47.91851 , Se β3 = 20.69356 Ta thấy n = 10 , k = , − α = 0.95 ⇒ α = 0.05 Từ tra bảng sử dụng Excel 7) (dùng lệnh Tinv(0.05,7)), ta có t (0.025 = 2.365 Thay thơng số tương ứng vào (4.12), ta thu ước lượng khoảng β2 β3 là: −110.2952 − 47.91851× 2.365 < β2 < −110.2952 + 47.91851× 2.365 ⇒ −223.622 < β2 < 3.032 −89.82406 − 20.69365 × 2.365 < β3 < −89.82406 + 20.69365 × 2.365 ⇒ −138.765 < β3 < −40.8836 4.9 Kiểm định giả thuyết cho hệ số hồi quy Để so sánh hệ số hồi quy với giá trị giả định cho trước, ta có giả thuyết H : βi = β* i (i = 1, k) kèm với số đối thuyết tương ứng H1 : βi ≠ β* H1 : βi > β* i i H1 : βi < β* i Với giả thuyết sai số ngẫu nhiên u phần 4.4 ta thấy thống kê t i = ˆ β i − β* i ˆ Se β ( ) i có phân phối Student với n – k bậc tự Dựa vào kết ta giải loạt tốn kiểm định so sánh ước lượng hệ số mơ hình hồi quy tuyến tính bội sau: ⎧H : βi = β* ⎪ i Bài toán 1: ⎨ * ⎪H1 : βi ≠ βi ⎩ (n Miền bác bỏ: W = (−∞; − t α /− k ) ) ∪ (t (n/− k ) ; ∞) α 58 Bài 4: Mơ hình hồi quy bội ⎧H : βi = β* ⎪ i Bài toán 2: ⎨ * ⎪H1 : βi > βi ⎩ Miền bác bỏ: W = (t (n − k ) ; ∞) α ⎧H : βi = β* ⎪ i Bài toán 3: ⎨ * ⎪H1 : βi < βi ⎩ (n Miền bác bỏ: W = (−∞; − t α − k ) ) Sử dụng phần mềm Eviews tính giá trị tiêu chuẩn thống kê t i xác suất ý nghĩa p tương ứng, từ giải tốn theo hai cách sau: • Cách 1: Tìm phân vị t (n/− k ) miền bác bỏ W so sánh tiêu chuẩn thống kê t i với W để α đưa kết luận • Cách 2: So sánh xác suất ý nghĩa p với mức ý nghĩa α định trước sau: o Đối với Bài tốn 1, p ≤ α bác bỏ giả thuyết H , p > α chấp nhận H o Đối với Bài toán 3, p / ≤ α bác bỏ giả thuyết H , cịn p / > α chấp nhận H Ví dụ 3: Xét số liệu ví dụ 1, với mức ý nghĩa α = 0.05 cho giá sản phẩm tăng doanh số bán hàng giảm khơng? Ta có phương trình hồi quy: Y = β0 + β2 X + β3 X + u Nếu β2 âm Y phụ thuộc nghịch biến với X , tức X tăng Y giảm Vậy để trả lời cho câu hỏi ta cần lập toán kiểm định giả thuyết ⎧H : β2 = ⎨ ⎩H1 : β2 < Với kết Eviews đưa phần trên, ta có: t2 = ˆ β2 −110.2952 = = −2.30172 ˆ se(β2 ) 47.91851 7) Mặt khác, với n = 10, k = 3, α = 0.05 , ta có t (n − k ) = t (0.05 = 1.895 α Vậy miền bác bỏ toán W = (−∞; −1.895) Rõ ràng ta có t ∈ W , ta bác bỏ giả thuyết H , chấp nhận H1 đưa kết luận β2 < 59 Bài 4: Mơ hình hồi quy bội Nếu giải theo Cách ta có xác suất ý nghĩa p 0.0549, p / = 0.0549 / < α = 0.05 Do bác bỏ giả thuyết H 4.10 Dự báo cho mơ hình hồi quy tuyến tính bội Một ứng dụng quan trọng hồi quy dự báo, tốn đặt dựa vào mơ hình hồi quy dự báo giá trị Y biết giá trị X X ∗ Xét mô hình hồi quy ˆ ˆ ˆ ˆ ˆ Y = β + β X + + β X = X′β 2 k k ˆ ˆ ˆ ˆ ˆ với X′ = (1, X , X , , X k )′ ; β = (β1 , β2 , β3 , , βk ) ' Cho trước giá trị biến độc lập X = X∗ = (1, X∗ , X∗ , , X∗ ) , giá trị dự báo k ˆ Y Y∗ : ˆ ˆ ˆ ˆ ˆ Y∗ = E(Y | X∗ , X∗ , , X∗ ) = β1 + β2 X∗ + β3X∗ + + βk X∗ k k Ví dụ 4: Xét số liệu ví dụ 1, dự báo doanh số bán hàng trung bình giá sản phẩm 4.5 chi phí quảng cáo 3.2 Ta có: ˆ Y = 1360.84 − 110.2952X − 89.824606X Vậy với X∗2 = 4.5 X∗3 = 3.2 , ta có: ˆ Y∗ = E ( Y | X = 4.5, X = 3.2 ) = 1360.84 − 110.2952 × 4.5 − 89.824606 × 3.2 = 577.07 60 Bài 4: Mơ hình hồi quy bội TĨM LƯỢC CUỐI BÀI • Mơ hình hồi quy bội gồm biến độc lập: Giả sử nghiên cứu phụ thuộc Y vào biến X2 X3 Mơ hình có dạng: E ( Y / X 2i , X 3i ) = β1 + β2 X 2i + β3 X 3i Yi = β1 + β2 X 2i + β3 X 3i + u i β1 hệ số chặn (hệ số tự do): giá trị trung bình Y X2 = X3 = 0, β2 β3 hệ số hồi quy riêng, thay đổi trung bình Y riêng X2 X3 tăng giảm đơn vị biến lại cố định • Mơ hình hồi quy bội gồm k biến (k–1 biến độc lập): Yi = β1 + β2 X 2i + β3 X 3i + + βk X ki + u i Mơ hình có biến phụ thuộc k–1 biến độc lập (k biến) Các hệ số hồi quy riêng βj thể ảnh hưởng riêng biến độc lập Xj lên trung bình Y biến khác giữ khơng đổi • Phương pháp OLS cho mơ hình hồi quy bội Trong mơ hình k biến ý cơng thức sau: n ˆ σ2 = ˆ ∑u i =1 i n−k = RSS n−k • Hệ số xác định bội R2 hệ số xác định bội hiệu chỉnh Để đo độ phù hợp hàm hồi quy, dùng R2 Giá trị R2 cho biết % biến thiên biến phụ thuộc giải thích đồng thời biến độc lập giải thích hàm hồi quy mẫu R2 = ERR RSS = 1− TSS n−k Vì đưa thêm biến độc lập vào mơ hình, R2 ln tăng lên nên người ta sử dụng hệ số xác định bội điều chỉnh để xem xét việc có nên đưa thêm biến vào mơ hình hay không: R = − (1 − R ) n −1 n−k R2 ≤ R2 ≤ R2 ≤ Hệ số R âm • Khoảng tin cậy với độ tin cậy 1− α cho hệ số βi là: () () ( ) ˆ ˆ n −k ˆ ˆ n −k βi − Se β t (α ) < βi < βi + Se β t (α ) i = 1, k 2 Khoảng tin cậy cho biết Xi tăng giảm đơn vị trung bình biến phụ thuộc thay đổi khoảng • Kiểm định phù hợp mơ hình hồi quy ˆ β − βi Tiêu chuẩn kiểm định: t i = i i ˆ Se βi ( ) 61 Bài 4: Mơ hình hồi quy bội ⎧H : βi = β* ⎪ i Bài toán 1: ⎨ * ⎪H1 : βi ≠ βi ⎩ ( ) ( ) Miền bác bỏ: W= −∞; − t (αn − k ) ∪ t (αn − k ) ; +∞ ⎧H : βi = β* ⎪ i Bài toán 2: ⎨ * ⎪H1 : βi > βi ⎩ ( ) Miền bác bỏ: W= t (αn − k ) ; +∞ ⎧H : βi = β* ⎪ i Bài toán 3: ⎨ * ⎪H1 : βi < βi ⎩ ( ) Miền bác bỏ: W= −∞; − t (αn − k ) 62 Bài 4: Mô hình hồi quy bội CÂU HỎI THƯỜNG GẶP Trong mơ hình hồi quy bội, giả thiết phương pháp OLS có khác so với mơ hình hồi quy đơn? Vai trò hệ số hồi quy mơ hình hồi quy bội khác so với mơ hình hồi quy đơn? Hệ số xác định bội mơ hình hồi quy bội cho biết điều gì? Tại lại cần đưa khái niệm hệ số xác định bội điều chỉnh hàm hồi quy bội? Khi thi nên đưa thêm biến độc lập vào mơ hình sử dụng hệ số xác định bội điều chỉnh? Khi thi ta cần xây dựng khoảng tin cậy cho hệ số hồi quy? Khi dùng khoảng tin cậy đối xứng, bên phải bên trái? Kiểm định giả thiết hệ số hồi quy có ý nghĩa gì, kiểm định hệ số hồi quy giá trị cụ thể có ý nghĩa gì? Kiểm định F phù hợp mơ hình hồi quy có ý nghĩa gì? CÂU HỎI TRẮC NGHIỆM ˆ Cho mơ hình hồi quy Y = 10 – 3X1 + 2.5X2 Điều khẳng định sau đúng? A X2 quan trọng X1 dấu hệ số dương B Khi X1 giảm đơn vị, Y giảm đơn vị C Khi X2 giảm 2.5 đơn vị, Y giảm đơn vị D Khi X1 giảm đơn vị, Y tăng đơn vị Hệ số xác định bội điều chỉnh liên quan tới điều chỉnh R2 qua: A Tổng số tham số mơ hình hồi quy B Số biến phụ thuộc mơ hình kích thước mẫu C Số biến độc lập mơ hình kích thước mẫu D Hệ số tương quan mức ý nghĩa Để kiểm định phù hợp hàm hồi quy mơ hình gồm biến độc lập có 30 quan sát, bậc tự giá trị phân vị F là: A 30 B 29 C 24 D 25 ˆ Mơ hình hồi quy có dạng Y = + 3X1 + 5X − 4X Khi X3 tăng đơn vị, với X1 X2 giữ không đổi, Y sẽ: A Tăng đơn vị B Tăng 12 đơn vị C Giảm đơn vị D Giảm 16 đơn vị 63 Bài 4: Mơ hình hồi quy bội Từ mơ hình hồi quy với biến độc lập có 25 quan sát, tính R2 = 0.769 Giá trị hệ số xác định bội hiệu chỉnh là: A 0.385 C 0.591 B 0.877 D 0.736 Một mơ hình hồi quy bội có: A Chỉ biến độc lập B Chỉ biến độc lập C Nhiều biến độc lập D Nhiều biến phụ thuộc ˆ Cho mơ hình hồi quy: Y = − 3X1 + 4X + 5X , đơn vị tăng X1, X2 X3 giữ không đổi, dẫn đến: A Tăng đơn vị Y B Giảm đơn vị Y C Đơn vị đơn vị Y D Khơng có lựa chọn Để kiểm định phù hợp mơ hình hồi quy có biến độc lập, giả thuyết H0 là: A H : β2 = β3 = β4 = β5 = B H : β1 = β2 = β3 = β4 = β5 C H : β2 = β3 = β4 = β5 = D H : β1 = β2 = β3 = β4 = β5 ≠ Trong mơ hình hồi quy bội, giá trị hệ số R2 nằm khoảng: A +1 B +1 C D khơng có lựa chọn 10 Để kiểm định phù hợp mơ hình hồi quy bội, ta kiểm định không tất hệ số hồi quy kiểm định: A Kiểm định t B Kiểm định z C Kiểm định F D Khơng có lựa chọn 64 ... hình hồi quy bội, giả thiết phương pháp OLS có khác so với mơ hình hồi quy đơn? Vai trị hệ số hồi quy mơ hình hồi quy bội khác so với mơ hình hồi quy đơn? Hệ số xác định bội mơ hình hồi quy bội. .. bình phương nhỏ Xét mơ hình hồi quy bội Yi = β1 + β2 X 2i + β3 X 3i + + βk X ki + u i Giống mơ hình hồi quy đơn, mơ hình hồi quy bội có tính chất sau: • Đường hồi quy bội qua điểm ( Y, X , X... 63 Bài 4: Mơ hình hồi quy bội Từ mơ hình hồi quy với biến độc lập có 25 quan sát, tính R2 = 0.769 Giá trị hệ số xác định bội hiệu chỉnh là: A 0.385 C 0.591 B 0.877 D 0.736 Một mơ hình hồi quy bội