CHƯƠNG III MƠ HÌNH HỒI QUY TUYẾN TÍNH ĐA BIẾN Mơ hình hồi quy tuyến tính đa biến Trong thực tế, mối quan hệ kinh tế thường phức tạp, số biến số kinh tế chịu tác động nhiều biến số kinh tế khác  mơ hình hồi quy hai biến (hồi quy đơn) tỏ không thỏa đáng VD n/c nhu cầu loại hàng hóa nhu cầu phụ thuộc đồng thời vào nhiều yếu tố: thu nhập người tiêu dùng, giá bán hàng hóa, thị hiếu người tiêu dùng… Vì cần thiết phải mở rộng mơ hình hồi quy hai biến cách đưa thêm nhiều biến vào mơ hình  n/c hồi quy nhiều biến (hồi quy bội hay hồi quy đa biến) Các ý tưởng kết nghiên cứu hồi quy hai biến khái qt cho mơ hình hồi quy nhiều biến Nội Dung 1 Thiết lập mơ hình 2 Ước lượng tham số 3 Khoảng tin cậy kiểm định giả thiết thống kê 4 Phân tích phương sai kiểm định phù hợp mơ hình 5 Một số dạng mơ hình quan trọng Thiết lập mơ hình Mơ hình hồi quy k biến trình bày dạng đại số sau: PRF Yi   1 X 1i   X 2i    k  X k  1,i  ui SRF Y ˆ i  ˆ1 X 1i  ˆ2 X 2i   ˆk  X k  1,i  uˆi β0: hệ số tự do, βj (j=1,…,k-1): hệ số hồi quy riêng ˆ , uˆ ước lượng điểm βj, ui j i [3.01] [3.02] Mô hình PRF dạng ma trận Giả sử ta có n giá trị quan sát (Y, X1, X2,…,Xk-1) (Yi, X1i, X2i,…,Xk-1,i) với i = 1, n Như hàm PRF ngẫu nhiên ứng với quan sát là: Y1 = β0+ β1X11 + β2X21 +…+ βk-1Xk-1,1+ u1 Y2 = β0+ β1X12 + β2X22 +…+ βk-1Xk-1,2+ u2 …………………………………………… Yn = β0+ β1X1n + β2X2n +…+ βk-1Xk-1,n+ un Ta định nghĩa ma trận tương ứng sau :  0   u1   Y1         Y2    1  u  u2  X Y   , , ,           u    Y   k   k *1  n  n*1  n  n*1 1  1   1  X 11 X 21 X 12 X 22 X 1n X n Khi PRF viết dạng ma trận sau: Y= X.β + u [3.03] X k  1,1   X k  1,    X k  1, n  n*k Mơ hình SRF dạng ma trận Kí hiệu:  ˆ0   uˆ1      ˆ  ˆ2  u    ˆ   , uˆ        uˆ   ˆ   n  n*1  k   k *1 Ta có:  SRF Yi  Xˆ  uˆ [3.04] Ước lượng tham số 2.1 Phương pháp bình phương nhỏ OLS 2.2 Các giả thiết PP OLS dạng ma trận 2.3 Các tính chất hệ số ước lượng OLS 2.4 Độ xác hệ số ước lượng OLS 2.5 Tiêu chuẩn hệ số ước lượng OLS 2.1 Phương pháp OLS  Áp dụng phương pháp OLS, ta cần tìm ˆ j cho : n n i 1 i 1   2 ˆ u  i  Yi  (ˆ0  ˆ1 X1i   ˆk  X k  )  n ˆ u  Như học chương II, ta biết  i đạt i 1 cực tiểu  f ' (u ) 0 ↔  f ' ' (u )    Ta xét điều kiện phương pháp ma trận Nhắc lại lý thuyết ma trận Giả sử A ma trận Khi đó, theo lý thuyết ma trận ta có AT.A= A2 với AT ma trận chuyển vị ma trận A Ma trận chuyển vị ma trận hàng thay thể cột ngược lại Ma trận chuyển vị ma trận A ký hiệu AT Ví dụ :  10 A  X X2 X3 X4  X1  X   AT    X3   X4 4.2.2 Hệ số xác định bội hiệu chỉnh Một bất lợi sử dụng nhiều biến độc lập mơ hình hồi quy bậc tự bị giảm đi, đón người ta điều chỉnh hệ số xác định cách đưa thêm bậc tự tổng bình phương vào cơng thức: n RSS n  k 1 k R = 12) + (1- R2) = 1(1-R = R TSS n  n k n k  R gọi hệ số xác định hiệu chỉnh có tính chất sau : Khi k>1 R ≤ R2 ≤ k lớn R nhỏ R2 2 R âm, trường hợp này, quy ước R = 43 4.2.2 Hệ số xác định bội hiệu chỉnh Do ta nên dùng R thay cho R2 để xét xem có nên đưa thêm biến độc lập vào mơ hình khơng Thơng thường biến độc lập đưa thêm vào mơ hình xác đáng làm tăng giá trị R hệ số hồi quy biến phải khác có ý nghĩa thống kê 44 4.2.3 Hệ số tương quan bội  Trong xác suất thống kê ta biết hệ số tương quan đo mức độ kết hợp tuyến tính hai biến Áp dụng cơng thức tính hệ số tương quan cho cặp biến mơ hình hồi quy bội, ta có:  Hệ số tương quan biến phụ thuộc Y Xj là: r0 j  yx y x i ji i [3.15] ji  Hệ số tương quan biến Xt Xj là: rtj   với: 45 x x x x ti ti ji [3.16] ji yi = Yi- Y ; xji = Xji - X j 4.2.3 Hệ số tương quan bội Ma trận hệ số tương quan có dạng:   r 10  R    rk  1, r01 rk  1,1 r0, k   r1, k      Do hệ số tương quan không phân biệt vai trò quan hệ cặp biến nên ma trận tương quan đối xứng qua đường chéo chính, tức ta có rtj = rjt Mặt khác phần tử đường chéo ma trận tương quan hệ số tương quan biến với nên rjj = 46 4.2.4 Hệ số tương quan riêng phần Hệ số tương quan xem xét gọi hệ số tương quan bậc 0, có nghĩa ta xét mối tương quan hai biến mà không quan tâm đến thay đổi biến cịn lại Để đánh giá xác mức độ kết hợp tuyến tính hai biến, ta cần cố định biến cịn lại Từ ta có khái niệm hệ số tương quan riêng phần bậc p, với p>0 Trong hồi quy k biến, để xét mối tương quan riêng phần biến phụ thuộc Y biến độc lập Xj đó, ta phải cố định (k-2) biến độc lập lại, điều dẫn đến việc phải tính hệ số tương quan riêng phần bậc (k-2) 47 4.2.4 Hệ số tương quan riêng phần Thí dụ, ta có mơ hình hồi quy ba biến: Yi = 1   X 2i   X 3i  ui Chúng ta định nghĩa: r12,3 hệ số tương quan biến Y X2 X3 không đổi r13,2 hệ số tương quan biến Y X3 X2 không đổi r23,1 hệ số tương quan biến X2 X3 Y không đổi 48 4.2.4 Hệ số tương quan riêng phần  Ta dễ dàng rằng: r12,3  r12  r13r23 13 23 ; (1  r )(1  r ) r13,  r13  r12r23 12 ;2 (1  r )(1  r23 ) r3,  r13  r12 r23 (1  r122 )(1  r232 )  Hệ số tương quan riêng định nghĩa gọi hệ số tương quan bậc Từ “bậc” ngụ ý số hạng sau dấu phẩy r12,34 hệ số tương quan riêng bậc hai, r 12, r13 hệ số tương quan bậc không  Giữa hệ số xác định bội hệ số tương quan bậc không hệ số tương quan bậc có mối liên hệ sau: 2 2 2 r  r 12 13  2r12 r13r23 ; R r  (1  r ) r R  r  (  r ) r R  12 12 13, 13 13 12 ,  r23  Ma trận R nói gọi ma trận hệ số TQ riêng cấp 49 4.3 Kiểm định phù hợp mơ hình Để kiểm định phù hợp mơ hình hồi quy, ta xây dựng giả thiết sau: H0 : R2 = ↔ H0 : β1 = β2 =…= βk-1 = H1 : R2 ≠ ↔ H1 : Có βi ≠ Các hệ số hồi quy riêng (đứng trước biến độc lập mơ hình hồi quy) đồng thời có nghĩa biến độc lập đồng thời không ảnh hưởng đến biến phụ thuộc, điều cũng có nghĩa hàm hồi quy mẫu khơng giải thích thay đổi biến phụ thuộc, hay nói cách khác, hàm hồi quy mẫu không phù hợp 50 4.3 Kiểm định phù hợp mơ hình  Giả thiết H0 : β1 = β2 =…= βk-1 = gọi giả thiết đồng thời Ta có: ESS (k  1) F = RSS (n  k ) R2 (n  k ) = (1  R ) (k  1) ~ F(k-1, n-k) R2 (n  k ) F0 = (1  R ) (k  1)  Ta áp dụng PP giá trị tới hạn hay mức ý nghĩa để QĐ  Nguyên tắc QĐ: F0 > Fα, (k-1; n-k) p-value = P(F > F0) < α ta bác bỏ H0  Cần lưu ý kiểm định đồng thời kiểm định riêng khơng có ý nghĩa tương đương   1 X  1 X  u  Ví dụ hồi quy ba biến Y=  Giả thiết H0: β1 = H0: β2 = không tương đương với H0: β1 = β2 = 51 4.4 Bảng phân tích phương sai (ANOVA) Đối với hồi quy nhiều biến, ta không vào tổng TSS, ESS, RSS để xét xem mơ hình có phù hợp tốt hay khơng mà ta quan tâm đến bậc tự tổng này, tức cân nhắc đến số biến độc lập sử dụng mơ hình hồi quy Điều dẫn đến ý tưởng khảo sát bảng phân tích phương sai ANOVA (Analysis of variance) 52 Bảng 3.03 Bảng phân tích phương sai ANOVA Bậc tự hiểu số quan sát độc lập để tính tổng bình phương Ví dụ TSS, ta có n giá trị quan sát Y1,…,Yn ngẫu nhiên lấy mẫu, có ràng buộc Yi, giá trị trung bình Y  Yi n Khi đó, mức độ T ( Y  Y )  Y Y  n ( Y ) tự TSS =  i (n-1) 53 4.4 Bảng phân tích phương sai (ANOVA) Bậc tự hiểu số quan sát độc lập để tính tổng bình phương Ví dụ: với TSS, ta có n giá trị quan sát Y1,…,Yn ngẫu nhiên lấy mẫu, có ràng buộc Yi, giá trị trung bình Y  Yi n Khi đó, mức độ tự TSS (n-1), T ( Y  Y )  Y Y  n ( Y ) với TSS =  i T T T ˆ ( Y  Y ) với RSS =  i i = Y Y  ˆ ( X Y ) , ta có n giá trị quan sát ngẫu nhiên Yi, giá trị: Yˆi  ˆ0  ˆ1 X 1i   ˆk  X k  1,i phụ thuộc k tham số mơ hình hồi quy nên mức độ tự RSS (n-k) Bậc tự ESS = TSS- RSS phân tích từ hai bậc tự TSS RSS 54 4.4 Bảng phân tích phương sai (ANOVA) Khi phân tích so sánh hai mơ hình hồi quy với nhau, ta dựa vào bảng ANOVA để đánh giá Cần lưu ý việc so sánh bảng ANOVA mơ hình hồi quy có ý nghĩa có dạng biến phụ thuộc Ngồi ra, mẫu quan sát có cỡ mẫu, ta vào MSS hay SS để so sánh, nhiên cỡ mẫu khác nhau, người ta dựa vào MSS 55 Một số dạng mơ hình quan trọng  Dạng hàm hồi quy vấn đề quan trọng, nhân tố có tính chất định kết nghiên cứu Tuy vậy, vấn đề “dạng hàm hồi quy” lại khơng có sở lý thuyết đủ mạnh để khẳng định dạng hàm hồi quy dạng mà dạng khác Dạng hàm mơ hình hồi quy vấn đề thực nghiệm  Một phương pháp thường dùng biểu diễn số liệu lên hệ tọa độ Nếu đồ thị quan hệ hai biến tuyến tính dạng hàm mơ hình tuyến tính, quan hệ hàm bậc 2, (phi tuyến)…thì dạng mơ hình chọn cách tương ứng Phương pháp sử dụng mơ hình hồi quy giản đơn Nó khơng cịn hữu ích có mơ hình hồi quy bội 56 Một số dạng mơ hình quan trọng 5.1 Mơ hình logarit kép (double- log model) 5.2 Mơ hình bán logarit (semi-log model) 5.3 Mơ hình nghịch đảo (hyperbol) (reciprocal model) 57 ... mơ hình hồi quy hai biến cách đưa thêm nhiều biến vào mơ hình  n/c hồi quy nhiều biến (hồi quy bội hay hồi quy đa biến) Các ý tưởng kết nghiên cứu hồi quy hai biến khái qt cho mơ hình hồi quy. ..Mơ hình hồi quy tuyến tính đa biến Trong thực tế, mối quan hệ kinh tế thường phức tạp, số biến số kinh tế chịu tác động nhiều biến số kinh tế khác  mô hình hồi quy hai biến (hồi quy đơn)... Trong mơ hình hồi quy hai biến, r2 đo độ thích hợp hàm hồi quy Nó tỷ lệ tồn biến đổi biến phụ thuộc Y biến giải thích X gây Trong mơ hình hồi quy bội, tỷ lệ toàn khác biệt biến Y tất biến giải