Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ©2007 CHƯƠNG 4: HỒI QUI ĐA BIẾN Mơ hình hồi quy đơn trình bày chương hữu dụng cho nhiều trường hợp khác Mặc dù vậy, trở nên khơng cịn phù hợp có nhiều yếu tố tác động đến biến cần giải thích Hồi quy đa biến cho phép nghiên cứu trường hợp Hãy xét ví dụ sau: 4.1 Giới thiệu hồi quy đa biến Ví dụ 4.1: Rất nhiều nghiên cứu giới quan tâm tới mối quan hệ thu nhập trình độ học vấn Chúng ta kỳ vọng rằng, trung bình mà nói, học vấn cao, thu nhập cao Vì vậy, lập phương trình hồi quy sau: Thu nhập = β1 + β Học vấn + ε Tuy nhiên, mơ hình bỏ qua yếu tố quan trọng người thường có mức thu nhập cao họ làm việc lâu năm hơn, trình độ học vấn họ Vậy nên, mơ hình tốt cho mục đích nghiên cứu là: Thu nhập = β1 + β Học vấn + β Tuổi + ε Nhưng người ta thường quan sát thấy, thu nhập có xu hướng tăng chậm dần người ta nhiều tuổi so với thời trẻ Để thể điều đó, mở rộng mơ sau: Thu nhập = β1 + β Học vấn + β Tuổi + β Tuổ i + ε Và kỳ vọng rằng, β mang dấu dương, β mang dấu âm Như vậy, rời bỏ giới hồi quy đơn bước sang hồi quy đa biến Ví dụ 4.2: Nghiên cứu nhu cầu đầu tư Mỹ khoảng thời gian từ năm 1968 – 1982 Ở Mỹ, thời kỳ mang dấu ấn lịch sử chiến tranh Việt Nam kéo dài, dẫn đến bội chi ngân sách lạm phát Một năm sau chiến tranh kết thúc, lạm phát Mỹ đạt tới mức kỷ lục 9.31% vào năm1976 Điều dẫn đến việc ngân hàng trung ương phải áp dụng mạnh mẽ sách tiền tệ chặt, vốn áp dụng vài năm trước, đưa Lê Hồng Nhật Trần Thiện Trúc Phượng 4-1 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ©2007 mức lãi suất lên tới mức cao kỷ lục 7.83% Khi dính líu Mỹ quân Việt Nam hoàn toàn chấm dứt, nguồn nhân lực trước phục vụ cho chiến tranh chuyển ạt sang khu vực thương mại Và điều lại lại làm dấy lên đợt lạm phát mới, đạt tới 9.44% vào năm 1981, sau đưa mức 5.99% vào năm 1982 nhờ vào việc nâng lãi suất lên tới 13.42% Như vậy, lịch sử kinh tế Mỹ thời kỳ đặc trưng sách tiền tệ chặt, kéo theo xu hướng cắt giảm liên tục đầu tư qua năm Chính vậy, nhà nghiên cứu Mỹ đề xuất mơ hình nghiên cứu sau cầu đầu tư vào giai đoạn này: INV = β1 + β T + β G + β INT + ε Trong đó, INV G cầu đầu tư GNP thực tế, đơn vị trillions dollars; INT lãi suất; T biến xu thế, tính theo thời gian trơi qua, kể từ năm 1968 Từ lý luận kinh tế vĩ mô, kỳ vọng rằng, β mang dấu dương, β mang dấu âm Và thời kỳ đầu tư Mỹ có xu bị co hẹp, kỳ vọng β mang dấu âm Sử dụng liệu thống kê vĩ mô kinh tế Mỹ, từ năm 1968 - 1982 [xem bảng liệu 4.2 phía dưới], kết ước lượng mơ hình hồi quy sau: Bảng Error! No text of specified style in document 1: Bảng kết xuất mơ hình hồi qui yếu tố ảnh hưởng đến cầu đầu tư Mỹ giai đoạn từ 1968 - 1982 Dependent Variable: INV Method: Least Squares Date: 04/09/07 Time: 16:14 Sample: 15 Included observations: 15 Variable Coefficient Std Error t-Statistic Prob C T G INT -0.509237 -0.016583 0.670266 -0.002365 0.052526 0.001880 0.052426 0.001034 -9.694973 -8.819528 12.78506 -2.287282 0.0000 0.0000 0.0000 0.0430 R-squared Adjusted R-squared S.E of regression Sum squared resid Log likelihood Durbin-Watson stat Lê Hồng Nhật Trần Thiện Trúc Phượng 0.972420 0.964898 0.006403 0.000451 56.80612 1.958353 Mean dependent var S.D dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic) 0.203333 0.034177 -7.040816 -6.852003 129.2784 0.000000 4-2 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ©2007 Dưới dạng báo cáo, kết viết tóm tắt đây: INV = -0.5092 - 0.0165T + 0.67G - 0.0023 INT (0.0525) (0.0018) (0.052) (0.001) R = 0.972 , N= 15, ESS = 0.00045 Nếu viết dạng sai phân, ta có: Δ INV = - 0.0165 Δ T + 0.67 Δ G - 0.0023 Δ INT Nói khác đi, yếu tố khác giữ không đổi, sau năm, kể từ năm 1968 (tức Δ T = 1), nhu cầu đầu tư bị giảm -0.0165 trillions dollars Cũng vậy, bỏ qua yếu tố xu lãi suất, tác động riêng phần việc tăng GNP lên 0.1 trillions dollars ( Δ G = 0.1), làm cầu đầu tư tăng lên thêm 0.067 trillions; đẩy lãi suất lên thêm 1% ( Δ INT = 1), giữ ngun yếu tố cịn lại, làm đầu tư giảm -0.0023 trillions dollars Những tính tốn cho thấy có tương đồng rõ rệt cách diễn giải ý nghĩa hệ số ước lượng mơ hình hồi quy đa biến so với trường hợp đơn biến Điều gợi ý rằng, mặt chất, mơ hình hồi quy đa biến mở rộng hồi quy đơn biến Ta thấy rõ điều phần sau 4.2 Biểu diễn đại số mô hình hồi quy đa biến Chúng ta đưa bảng so sánh dạng hàm mơ hình hồi quy đa biến so với trường hợp đơn biến: Ví dụ Dạng mơ hình Với quan sát Hồi quy đơn biến CONS = β1 + β INC + ε Hồi quy đa biến INV = β1 + β T + β G + β INT + ε Y = β1 + β X + ε y n = β1 + β xn + ε n Y = β1 + β X + β X + β X + ε y n = β1 + β xn + β xn3 + β xn + ε n Như vậy, hồi quy đa biến mở rộng tự nhiên trường hợp đơn biến, số biến giải thích lớn 2, kể số Để cho tiện lợi, đưa vào ký hiệu vector: Lê Hồng Nhật Trần Thiện Trúc Phượng 4-3 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ©2007 ' Gọi vector hàng x n = (1, xn 2, xn3, xn ) vector quan sát thứ n = 1,2 , N biến giải thích [Lưu ý, dấu phẩy bên phải, phía vector x n dấu chuyển vị Như vậy, theo mặc định, vector (mà khơng có dấu chuyển vị) coi vector cột] ' N Từng “cặp” quan sát liệu vậy, { y n , x n }n =1 ' Để minh họa, ví dụ 4.2 cầu đầu tư Mỹ (1968 – 82), cặp ( y , x5 ) ' ( y11 , x11 ) tô màu: Bảng Error! No text of specified style in document 2: Dữ liệu vĩ mô đầu tư biến giải thích kinh tế Mỹ (1968 – 82) Obs (n) INV (Y) 0.161 0.172 0.158 0.173 0.195 0.217 0.199 0.163 0.195 C (X1) 1 1 1 1 T (X2) G (X3) 1.058 1.088 1.086 1.122 1.186 1.254 1.246 1.232 1.298 INT (X4) 5.16 5.87 5.95 4.88 4.5 6.44 7.83 6.25 5.5 10 11 12 13 14 15 0.231 0.257 0.259 0.225 0.241 0.204 1 1 1 10 11 12 13 14 15 1.37 1.439 1.479 1.474 1.503 1.475 5.46 7.46 10.28 11.77 13.42 11.02 ' ( y , x5 ) ' ( y11 , x11 ) Nguồn: Economic Report of the President Government, Printing Office, Washington D.C., 1983 ⎛ β1 ⎞ ⎜ ⎟ ⎜ β2 ⎟ Tiếp theo, ta gọi vector cột β = ⎜ ⎟ vector tham số tổng thể, cần ước lượng β ⎜ 3⎟ ⎜β ⎟ ⎝ 4⎠ ' Lưu ý rằng, tích vơ hướng hai vector x n β tạo lại phần xu vế phải phương trình hồi quy (4.2): Lê Hồng Nhật Trần Thiện Trúc Phượng 4-4 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ©2007 ⎛ β1 ⎞ ⎜ ⎟ ⎜β ⎟ ' x n β = (1, x n 2, x n 3, x n ) ⎜ ⎟ = β1 + β x n + β x n + β x n , β 1×4 4×1 ⎜ 3⎟ ⎜β ⎟ ⎝ 4⎠ n = 1,2 N ' N Vì vậy, ứng với “cặp” quan sát {x n , y n }n =1 , ta viết lại phương trình hồi quy sau: ' yn = xn β + ε n n = 1,2, , N (4.3) Như vậy, ký hiệu ta sử dụng ước lượng mơ hình hồi quy đơn biến, sử dụng lại cho mơ hình hồi quy đa biến Cụ thể là: ^ ^ ' y n = xn β n = 1,2, , N (4.3) Và sai số ước lượng hay số dư (residual) có dạng: ˆ en = y n − y n (4.4) Việc tiến hành ước lượng tham số mơ hình phương pháp bình phương cực tiểu tương đương với việc giải toán sau: ^ ^ ' S ( β ) = ∑n en = ∑ ( y n − x n β ) → ^ β (4.5) Tương tự hồi quy đơn, đây, ta sử dụng điều kiện cực trị, (first order condition, ^ FOC), để tìm tham số ước lượng β k , k = 1,2,3,4 Nói khác đi, ta giải hệ phương trình sau: ˆ ∂S ( β ) ^ =0 ^ =0 ∂β1 ˆ ∂S ( β ) ∂β2 ˆ ∂S ( β ) ˆ ∂β =0 Lê Hồng Nhật Trần Thiện Trúc Phượng 4-5 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ˆ ∂S ( β ) ^ ∂β4 =0 ©2007 (4.6) Đây hệ gồm phương trình với ẩn số, mà việc giải cho tham số ước lượng ^ ^ ^ ^ ^ β = ( β , β , β , β ) ' Sử dụng phần mềm Eviews, kết tính tốn tham số nêu bảng báo cáo 4.1 ^ Mặc dù dạng biểu diễn giải tích vector β phức tạp Tuy nhiên, chất 4×1 ^ chúng khơng khác trường hợp đơn biến Cụ thể là, tương tự α , phương trình ^ hệ (4.6) để ước lượng β dẫn đến điều là, đường hồi quy qua điểm trung − − ' bình ( y n , x n ) Và vậy, ta nói đến tiêu chuẩn đo lường độ phù hợp đường hồi quy R Cụ thể từ mối quan hệ (4.4): ^ y n = y n + en Hay hệt thế: − ^ − ( y n − y ) = y n − y + en Người ta viết lại sau: − − ^ ' ( y n − y ) = ( x n − x ' ) β + en Tức là, giao động so với trung bình biến Y giải thích phần mơ hình, phần lại sai số en , chưa giải thích mơ hình Sử dụng điều kiện tìm cực trị (4.6), ta viết lại quan hệ sau: ∑ − n ^ − ( y n − y ) = ∑n ( y n − y ) + ∑ n en Hay vậy, TSS = RSS + ESS Vì thế, đưa định nghĩa: Lê Hồng Nhật Trần Thiện Trúc Phượng 4-6 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng R2 = 1− ESS TSS ©2007 ( ≤ R ≤ ) sử dụng làm thước đo mức độ phù hợp đường hồi quy với liệu quan sát Phần tiếp sau đề cập đến chất thống kê mơ hình hồi quy đa biến 4.3 Bản chất thống kê mơ hình hồi quy đa biến Từ bây giờ, sử dụng dạng tổng qt mơ hình hồi quy đa biến: Y = β1 + β X + + β k X k + + β K X K + ε y n = β + β x n + + β k x nk + + β K x nK + ε n ' = xn β + ε n , (4.7) n = 1,2,3, , N Việc hồi quy mơ hình (4.7) cho ta biểu diễn sau: ^ ^ ^ ^ ^ ^ ^ Y = β + β X + + β k X k + + β K X K + e (4.8) ^ y n = β + β x n + + β k x nk + + β K x nK + e n ^ ' = x n β + en , n = 1,2,3, , N Trong đó, N số quan sát, K số biến giải thích Ta phát biểu định lý sau : Định lý 4.1: Phương pháp bình phương cực tiểu, áp dụng cho mơ hình hồi quy đa biến, cho ta tham số ước lượng dạng sau: ˆ β k = β k + ∑n c kn ε n , k = 1,2, , K (4.9) ˆ Cũng trường hợp đơn biến, phương trình (4.9) rằng: β k bị tác động yếu tố ngẫu nhiên ε n , làm giá trị khơng trùng khít với β k tổng thể Và bị tác động Xem chứng minh chi tiết chương 8, phần Maximum likelihood Lê Hồng Nhật Trần Thiện Trúc Phượng 4-7 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ©2007 ˆ yếu tố ngẫu nhiên, β k biến ngẫu nhiên Do đó, độ tốt ước lượng N phụ thuộc trực tiếp vào chất trình ngẫu nhiên {ε n }n =1 Điều dẫn đến việc cần phải khắc họa chất thống kê mơ hình hồi quy, làm cho trường hợp đơn biến Ta tiếp tục sử dụng giả thuyết đưa ε n Cụ thể là: A1 Eε n = 0, với n A2 Varε n = σ , với n iid A3 ε n ~ N (0, σ ) , với n Và: ' ' A4 E ( y n | x n ) = x n β , với n Đối với trường hợp đa biến, đưa thêm đòi hỏi sau: Gọi X = [ X , X , , X k , , X K ] ma trận tạo vector cột K biến giải thích N ×K [xem lại ví dụ minh họa ma trận X bảng 4.2 liệu mơ hình đầu tư] Khi đó, ta địi hỏi rằng: A5 Các cột { X , X , , X k , , X K } độc lập tuyến tính Hay vậy, rank X = K Về mặt hình học, giả thuyết có ý nghĩa sau Hãy xét trường hợp K = 2, phương pháp bình phương cực tiểu biểu diễn lược đồ đây: Lê Hồng Nhật Trần Thiện Trúc Phượng 4-8 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ©2007 Đồ thị Error! No text of specified style in document 1: Biểu diễn hình học hồi quy X1 ^ y ^ β1 X2 ^ β2 ^ ^ ^ ^ Việc ước lượng tham số β giống tìm hệ số β = ( β1 , β ) ' cho 2×1 ^ ^ ^ y = β X + β X Để làm điều đó, điều kiện cần vector X , X khơng trùng khít với Hay vậy, X , X phải độc lập tuyến tính Đây gọi điều kiện xác định (identification condition) Trong trường hợp tổng quát, K ≥ , điều kiện phát biểu dạng giả thuyết A5 Chúng ta sử dụng giả thuyết bàn tới vấn đề đa cộng tuyến (multicollinearity) chương 4.4 Kiểm định giả thuyết thống kê Bây ý đến giả thuyết A1 – A3, sử dụng chúng để đánh giá tính tốt ước lượng theo tiêu chuẩn thống kê ˆ Từ phương trình (4.9), ta có: β k = β k + ∑ c kn ε n Bây giờ, áp dụng toán tử kỳ vọng vào hai vế (4.9) Ta có: ˆ Eβ k = E ( β k + ∑ c kn ε n ) = β k + ∑ c kn Eε n = βk Lê Hồng Nhật Trần Thiện Trúc Phượng (4.10) 4-9 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ©2007 ˆ [ở đây, ta sử dụng giả thiết A1: Eε n = ] Do vậy, β k ước lượng không chệch β k Tiếp theo, sử dụng lại công thức: Var ( x) = Var ( x − Ex) [xem chương 1, phần ôn tập], lưu ý (4.9), (4.10), ta có: ^ ˆ Varβ k = Var ( β k − β k ) = Var (∑ c kn ε n ) Sử dụng giả thiết A3 tính độc lập yếu tố ngẫu nhiên, cuối ta nhận được: ˆ Varβ k = ∑ c knVarε n = σ ∑ c kn , hay ^ Var β k = σ2 S kk , k = 1,2, , K (4.11) (ở đây, ta khơng đưa tính tốn trực tiếp; S kk phương sai mẫu biến X k , tương tự S XX trường hợp đơn biến) Định Lý 4.2 [Gauss – Markov]: Phương pháp bình phương cực tiểu có sai số ước lượng, ^ đo lường Var β k , k = 1,2, , K , nhỏ lớp tất ước lượng tuyến tính khơng chệch Ta nên nhấn mạnh lại rằng, có tính chất tốt: khơng chệch hiệu ước lượng bình phương cực tiểu, mà địi hỏi có trung bình zero, tính độc lập, phương sai giống yếu tố ngẫu nhiên – tức giả thiết A3 σ ˆ Sử dụng (4.9) – (4.11), đến kết luận rằng: β k ~ N ( β k , ) Điều có nghĩa S kk ˆ β − βk là, sau chuẩn hóa, Z k = k ~ N (0,1) Thay σ ước lượng không chệch σ S kk Lê Hồng Nhật Trần Thiện Trúc Phượng 4-10 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng s = N −K ∑ n en , ta có thống kê t k = ©2007 ˆ βk − βk s S kk ^ = β k − βk ^ ~ t ( N − K ) Chúng ta se( β k ) xây dựng khoảng tin cậy cho β k , k = 1,2, , K , tiến hành kiểm định giả thuyết thống kê tham số tổng thể Chẳng hạn muốn kiểm định tính có ý nghĩa biến giải thích X k , k = 1,2, , K , lập giả thuyết sau: H : β k = vs H : β k ≠ Việc kiểm định bao gồm bước sau: Bước 1: Xác định thống kê – t (t-stat): ^ tk = βk ^ se( β k ) ~ t(N − K ) Bước 2: Tra bảng thống kê t-student với (N-K) bậc tự t ( N − K ) để tìm giá trị t-tra bảng (t-critical) t λ ( N − K ) , ứng với mức ý nghĩa (significance) λ [Chẳng hạn, 0.05 (5%); hay 0.1 (10%)] ^ Bước 3: Bác bỏ giả thuyết H (viết tắt RH ), | t k |= βk ^ se( β k ) ≥ t λ ( N − K ) , ^ khơng bác bỏ giả thuyết ( DNRH ), βk ^ se( β k ) ≤ tλ (N − K ) Cũng trường hợp đơn biến, người ta thường hay sử dụng p-value, phải tính tốn tra bảng qua bước đến Cụ thể, ứng với biến giải thích X k , k = 1,2, , K , ta đặt: p − value = Pr ob{| t ( N − K ) |≥| t k |) Lê Hồng Nhật Trần Thiện Trúc Phượng 4-11 Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng ©2007 Cũng hệt đồ thị 3-9, bác bỏ giả thuyết H : β k = , nếu: p − value ≤ λ , [trong trường hợp đó, ta nói X k có ý nghĩa mức λ % ] Và khơng bác bỏ giả thuyết đó, p − value ≥ λ Trong ví dụ 4.1 đầu tư Mỹ (1968-82), p-value biến giải thích: T, G, INT , nhỏ 5% Vì vậy, ta nói tất biến có ý nghĩa mức λ = 5% Lê Hồng Nhật Trần Thiện Trúc Phượng 4-12 ... hình hồi quy đa biến so với trường hợp đơn biến Điều gợi ý rằng, mặt chất, mơ hình hồi quy đa biến mở rộng hồi quy đơn biến Ta thấy rõ điều phần sau 4.2 Biểu diễn đại số mơ hình hồi quy đa biến. .. đưa bảng so sánh dạng hàm mơ hình hồi quy đa biến so với trường hợp đơn biến: Ví dụ Dạng mơ hình Với quan sát Hồi quy đơn biến CONS = β1 + β INC + ε Hồi quy đa biến INV = β1 + β T + β G + β INT... Khoa Kinh tế ĐHQG TP.HCM Kinh tế lượng R2 = 1− ESS TSS ©2007 ( ≤ R ≤ ) sử dụng làm thước đo mức độ phù hợp đường hồi quy với liệu quan sát Phần tiếp sau đề cập đến chất thống kê mô hình hồi quy đa