Đang tải... (xem toàn văn)
Hiện tượng đa cộng tuyến
LỜI MỞ ĐẦU Trong mơ hình phân tích hồi quy bội, giả thiết biến giải thích Xi mơ hình độc lập tuyến tính với nhau, tức hệ số hồi quy biến cụ thể số đo tác động riêng phần biến tương ứng tất biến khác mơ hình giữ cố định Tuy nhiên giả thiết bị vi phạm tức biến giải thích có tương quan khơng thể tách biệt ảnh hưởng riêng biệt biến Hiện tượng gọi đa cơng tuyến.Vậy để đa cộng tuyến gì, hậu tượng nào, làm để phát biện pháp khắc phục Để trả lời câu hỏi trên, sau thảo luận đề tài “ Hiện tượng đa cộng tuyến” Chương Lý luận tượng đa cộng tuyến 1.1 1.1.1 Khái niệm đa cộng tuyến nguyên nhân Khái niệm Khi xây dựng mơ hình hồi quy bội, trường hợp lý tưởng biến Xi mơ hình khơng có tương quan với nhau; biến Xi chứa thông tin riêng Y, thơng tin khơng chứa biến Xi khác Trong thực hành, điều xảy ta không gặp tượng đa cộng tuyến Trong trường hợp lại, ta gặp tượng đa cộng tuyến.Giả sử ta phải ước lượng hàm hồi quy Y gồm k biến giải thích X1, X2, X3,… ,Xk Y1 = β1+ β2 X2i + β3 X3i + Ui , (i 1, n) Các biến X2 , X3 , , Xk gọi đa cộng tuyến hoàn hảo hay cịn gọi đa cộng tuyến xác tồn λ2 , , λk không đồng thời không cho: λ2 X2 + λ3 X3 + + λk Xk = Các biến X2 , X3 , , Xk gọi đa cộng tuyến không hồn hảo tồn λ2 , , λk khơng đồng thời không cho: λ2 X2 + λ3 X3 + + λk Xk + Vi = Vi sai số ngẫu nhiên Trong (1.1) giả sử λi ≠ ta biểu diễn: V Xi = 2 X X 2 i i i i (1.1) Từ (1.2) ta thấy tượng đa cộng tuyến xảy biến tổ hợp tuyến tính biến cịn lại sai số ngẫu nhiên, hay nói cách khác có biến biểu diễn xấp xỉ tuyến tính qua biến cịn lại 1.1.2 Ngun nhân Do phương pháp thu thập liệu: Các giá trị biến độc lập phụ thuộc lẫn mẫu không phụ thuộc lẫn tổng thể Ví dụ: Người thu nhập cao có khuynh hướng nhiều cải Điều với mẫu mà không với tổng thể Trong tổng thể có quan sát cá nhân có thu nhập cao khơng có nhiều cải ngược lại Các dạng mơ hình dễ xảy đa cộng tuyến: - Hồi quy dạng biến độc lập bình phương xảy đa cộng tuyến, đặc biệt phạm vi giá trị ban đầu biến độc lập nhỏ - Các biến độc lập vĩ mô quan sát theo chuỗi thời gian 1.2 Ước lượng có đa cộng tuyến 1.2.1 Ước lượng có tượng đa cộng tuyến hồn hảo Sau có đa cộng tuyến hồn hảo hệ số hồi quy khơng xác định cịn sai số tiêu chuẩn vơ hạn Để đơn giản mặt trình bày xét mơ hình hồi quy biến sử dụng dạng độ lệch đó: y i Yi Y ; x i Xi X ; (i 1, n) (1.3) n Y Yi ; n i 1 n X Xi n i 1 (1.4) mơ hình hồi quy biến viết lại dạng: (1.5) yi x 2i 3i ei Theo tính tốn chương hồi quy bội ta thu ước lượng: 2 3 y x x y x x x x i 2i 2i 2i i 2i 2i 2i (1.6) y x x y x x x x x x i 2i 3i i 3i Giả sử: X 3i X 2i 2i 2i x 3i (1.7) 2 2i 2i 3i số khác không, thay điều kiện vào (1.6) ta được: 2 y x x y x x x x x i 2i 2i 2i i 2i 2i 2i (1.8) 2 2i biểu thức không xác định Tương tự ta 3 khơng xác định Vì lại thu kết (1.8)? Lưu ý đến ý nghĩa 2 giải thích điều cho ta tốc độ thay đổi trung bình Y X2 thay đổi đơn vị cịn X3 khơng đổi Nhưng X 3i X 2i điều có nghĩa khơng thể tách ảnh hưởng X2 X khỏi mẫu cho Trong kinh tế lượng điều phá hủy tồn ý định tách ảnh hưởng riêng biến lên biến phụ thuộc Thí dụ: X 3i X 2i thay điều kiện vào (1.5) ta được: y i x2i (x 2i ) ei ( x2i ei x2i ei Trong đó: ( ) Áp dụng cơng thức tính ước lượng phương pháp bình phương nhỏ thơng thường ta được: ( ) x y x 2i i 2i Như dù ước lượng cách xác định 3 từ phương trình ẩn Như trường hợp đa cộng tuyến hoàn hảo, nhận lời giải cho hệ số hồi quy riêng, ta lại nhận lời giải cho tổ hợp tuyến tính hệ số Chú ý trường hợp đa cộng tuyến hoàn hảo phương sai sai số tiêu chuẩn ước lượng vơ hạn 1.2.2 Ước lượng trường hợp có đa cộng tuyến khơng hồn hảo Đa cộng tuyến hồn hảo trương hợp đặc biệt xảy Trong số liệu liên quan đến chuỗi thời gian, thường xảy đa cộng tuyến khơng hồn hảo Xét mơ hình (1.5) Bây giả thiết X X có cộng tuyến khơng hồn hảo theo nghĩa: x3i x i Vi Trong 0 , nhiễu ngẫu nhiên cho x2iVi Vi 0 Trong trường hợp theo phương pháp bình phương nhỏ ta dễ dàng thu ước lượng 3 Chẳng hạn: y x x V y x y V x x x V x 2 2i i 2i 2i 2 i i 2i 2 2i i i i 2 2i 2i (1.9) Trong trường hợp khơng có lý để nói (1.9) khơng ước lượng 1.3 Hậu tượng đa cộng tuyến Ta xét trường hợp mơ hình có tượng đa cộng tuyến khơng hồn hảo, tức biến độc lập Xi xấp xỉ tuyến tính theo biến X2 , X3 , , Xk Có số trường hợp xảy sau: 1.3.1 Phương sai hiệp phương sai ước lượng bình quân bé lớn Trong chương mơ hình hồi quy bội ta có biểu thức: Var( )= (1.10) Var( (1.11) Và: cov( Trong )= (1.12) hệ số tương quan Từ 1.10 1.11 ta thấy tăng dần tới (nghĩa cộng tuyến tăng) phương sai hai ước lượng tăng dần tới vô hạn 1.12 1.3.2 tăng dần tới cov( ) tăng giá trị tuyệt đối Khoảng tin cậy rộng Giả sử thực hành ta có khoảng tin cậy 95% cho biết là: ) Trong đó: Se( Se( Cho nên ta viết lại khoảng tin cậy 95% cho (1.13) Và cho là: (1.14) (1.13) (1.14) chứng tỏ gần tới khoảng tin cậy cho tham số rộng Do trường hợp có đa cộng tuyến gần hồn hảo số liệu mẫu thích hợp với tập giả thiết khác Vì xác suất chấp nhận giả thiết sai tăng lên (tức tăng sai lầm loại II) 1.3.3 Tỷ số t ý nghĩa Như biết, kiểm định giả thiết : sử dụng tỷ số đem so sánh giá trị t ước lượng với giá trị tới hạn t thong có đa cộn tuyến gần hồn hảo sai số tiêu chuẩn ước lượng cao làm cho số t nhỏ Kết làm tăng khả chấp nhận giả thiết H0 1.3.4 cao tỉ số ý nghĩa Để giải thích điều Ta xét mơ hình hồi quy k biến sau: Trong trường hợp có đa cộng tuyến gần hồn hảo, trên, ta tìm hệ số góc riêng khơng có ý nghĩa khơng có ý nghĩa thống kê sở kiểm định t lại cao, nên kiểm định F bác bỏ giả thiết: Mâu thuẫn tín hiệu đa cộng tuyến 1.3.5 Các ước lượng bình phương bé sai số tiêu chuẩn chúng trở lên nhạy thay đổi nhỏ số liệu 1.3.6 Dấu ước lượng hệ số hồi quy sai Khi có đa cộng tuyến gần hồn hảo thu ước lượng hệ số hồi quy trái với điều mong đợi Chẳng hạn lý thuyết kinh tế cho hàng hố thong thường thu nhập tăng cầu hàng hoá tăng, nghĩa hồi quy thu nhập biến giải thích, biến phụ thuộc lượng cầu hàng hoá, xảy tượng đa cộng tuyến gần hồn hảo ước lượng hệ số biến thu nhập mang dấu âm – mâu thuẫn với điều ta mong đợi 1.3.7 Thêm vào hay bớt biến cộng tuyến với biến khác, mơ hình thay đổi độ lớn ước lượng dấu chúng 1.4 Phát tồn đa cộng tuyến 1.4.1 R cao tỉ số t thấp Trong trường hợp R cao (thường R > 0,8) mà tỉ số t thấp dấu hiệu tượng đa cộng tuyến 1.4.2 Tương quan cặp biến giải thích cao Nếu hệ số tương quan cặp biến giải thích cao (vượt 0,8) có khả có tồn đa cộng tuyến Tuy nhiên tiêu chuẩn thường không xác Có trường hợp tương quan cặp khơng cao có đa cộng tuyến Thí dụ, ta có biến giải thích X , X , X sau: X = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0) X = (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) X = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) Rõ ràng X = X + X nghĩa ta có đa cộng tuyến hoàn hảo, nhiên tương quan cặp là: r 12 = -1/3 ; r 13 = r 23 = 0,59 Như đa cộng tuyến xảy mà khơng có bảo trước cuả tương quan cặp cung cấp cho ta kiểm tra tiên nghiệm có ích 1.4.3 Xem xét tương quan riêng Vì vấn đề đề cập đến dựa vào tương quan bậc không Farrar Glauber đề nghị sử dụng hệ số tương quan riêng Trong hồi quy Y biến X , X ,X Nếu ta nhận thấy r 1, 234 cao 2 r 12,34 ; r 13, 24 ; r 14 , 23 tương đối thấp điều gợi ý biến X , X X có tương quan cao biến thừa 10 2 2 2 m = R - (r 12 + (1- r 12 ) r 13, - r 12 ) - ( r 13 + (1- r 13 ) r 12,3 - r 13 ) 2 2 = R - ((1- r 12 ) r 13, + (1- r 13 ) r 12 ,3 ) (1.16) 2 Đặt 1- r 12 = w ; 1- r 13 = w gọi trọng số Công thức (1.16) viết lại dạng: 2 m = R - (w r 13, + w r 12 ,3 ) Như vây độ đo Theil hiệu hệ số xác định bội tổng có trọng số hệ số tương quan riêng Như biết số độ đo đa cộng tuyến tất có ý nghĩa sử dụng hạn chế Chúng cho ta thông báo việc lý tưởng 1.5 Biện pháp khắc phục 1.5.1 Sử dụng thông tin tiên nghiệm Một cách tiếp cận để giải vấn đề đa cộng tuyến phải tận dụng thông tin tiên nghiệm thông tin từ nguồn khác để ước lượng hệ số riêng Thí dụ : ta muốn ước lượng hàm sản xuất trình sản xuất có dạng : Qt =AL Trong Qt lượng sản phẩm sản xuất thời kỳ t; L t lao động thời kỳ t; K t vốn thời kỳ t; U t nhiễu ; A, , β tham số mà cần ước lượng Lấy ln vế (1.16) ta : LnQt + = LnA + lnLt + βKtlnUt Đặt LnQt = Qt* ; LnA = A* ; LnLt = Lt* 15 Ta Qt* = A* + Lt* + βKt* + Ut (1.17) Giả sử K L có tương quan cao dĩ nhiên điều dẫn đến phương sai ước lượng hệ số co giãn hàm sản xuất lớn Giả sử từ nguồn thơng tin mà ta biết ngành cơng nghiệp thuộc ngành có lợi tức theo quy mô không đổi, nghĩa + β = Với thông tin này, cách xử lý thay β = - vào (1.17) thu : Qt* = A* + Lt* + (1 - ) K*tt + Utt Từ ta Đặt (1.18) Qt* – Kt* = A* + (Lt* – Kt*) + Ut Qt* – Kt* = Yt* Lt* – Kt* = Zt* ta được: Yt* = A* + Zt* + Ut Thông tin tiên nghiệm giúp giảm số biến độc lập mơ hình xuống cịn biến Zt* tính từ điều kiện = – Sau thu ước lượng 1.5.2 Thu thập số liệu lấy thêm mẫu Vì đa cộng tuyến đặc trưng mẫu nên có mẫu khác liên quan đến biến mẫu ban đầu mà đa cộng tuyến khơng nghiêm trọng Điều làm chi phí cho việc lấy mẫu khác chấp nhận thực tế Đôi cần thu thập thêm số liệu, tăng cỡ mẫu làm giảm tính nghiêm trọng đa cộng tuyến 1.5.3 Bỏ biến 16 Khi có tượng đa cộng tuyến nghiêm trọng cách “đơn giản nhất” bỏ biến cộng tuyến khỏi phương trình Khi phải sử dụng biện pháp cách thức tiến hành sau: Giả sử mơ hình hồi quy ta có Y biến giải thích cịn X 2, X3, …, Xk biến giải thích Chúng ta thấy X tương quan chặt chẽ với X3 Khi nhiều thơng tin Y chứa X chứa X Vậy ta bỏ biến X X3 khỏi mơ hình hồi quy, ta giải vấn đề đa cộng tuyến phần thông tin Y Bằng phép so sánh R R phép hồi quy khác mà có khơng có biến định nên bỏ biến biến X2 X3 khỏi mơ hình Thí dụ R hồi quy Y tất biến X 1, X2, X3, …, Xk 0.94; R loại biến X2 0.87 R loại biến X3 0.92; trường hợp ta loại X3 Chúng ta lưu ý hạn chế biện pháp mơ hình kinh tế có trường hợp địi hỏi định phải có biến biến khác mơ hình Trong trường hợp việc loại bỏ biến phải cân nhắc cẩn thận sai lệch bỏ biến cộng tuyến với việc tăng phương sai ước lượng hệ số biến mơ hình 1.5.4 Sử dụng sai phân cấp Mặc dù biện pháp giảm tương quan qua lại biến chúng sử dụng giải pháp cho vấn đề đa cộng tuyến Thí dụ có số liệu chuỗi thời gian biểu thị liên hệ biến Y biến phụ thuộc X2 X3 theo mơ hình sau : 17 Yt = β + β X 2t + β 3X 3t+ U t (1.19) Trong t thời gian Phương trình với t với t-1 nghĩa : Yt-1 = β + β X 2t-1 + β 3X 3t-1 + U t-1 (1.20) Từ (1.19) (1.20) ta : Yt – Yt-1 = β (X 2t - X 2t-1 ) + β (X 3t - X 3t-1) + U t - U t-1 (1.21) Đặt yt = Yt – Yt-1 x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1 Ta : yt = β x2t + β x3t + Vt (1.22) Mô hình hồi quy dạng (1.22) thường làm giảm tính nghiêm trọng đa cộng tuyến dù X X tương quan cao khơng có lý tiên nghiệm chắn sai phân chúng tương quan cao Tuy nhiên biến đổi sai phân bậc sinh số vấn đề chẳng hạn số hạng sai số V t (1.22) khơng thỏa mãn giả thiết mơ hình hồi quy tuyến tính cổ điển nhiễu khơng tương quan Vậy biện pháp sửa chữa lại cịn tồi tệ 1.5.5 Giảm tương quan hồi quy đa thức Nét khác hồi quy đa thức biến giải thích xuất với lũy thừa khác mơ hình hồi quy Trong thực hành để giảm tương quan hồi quy đa thức người ta thường sử dụng dạng độ lệch Nếu việc sử dụng dạng độ lệch mà khơng giảm đa cộng tuyến người ta phải xem xét đến kỹ thuật “đa thức trực giao” 1.5.6 Thay đổi dạng mơ hình 18 Mơ hình kinh tế lượng có nhiều dạng hàm khác Thay đổi dạng mơ hình có nghĩa tái cấu trúc mơ hình 1.5.7 Một số biện pháp khác Ngồi biện pháp kể người ta sử dụng số biện pháp khác sau: - Bỏ qua đa cộng tuyến t > - Bỏ qua đa cộng tuyến R2 mơ hình cao R2 mơ hình hồi quy phụ - Bỏ qua đa cộng tuyến hồi quy mơ hình dùng để dự báo kiểm định - Hồi quy thành phần - Sử dụng ước lượng từ bên Nhưng tất biên pháp trình bày làm giải pháp cho vấn đề đa cộng tuyến phụ thuộc vào chất tập số liệu tính nghiêm trọng vấn đề đa cộng tuyến 19 Chương 2: Bài tập minh họa Dựa sở lý luận ta tìm hiểu, sau phân tích tình kinh tế cụ thể để thấy cách phát khắc phục tượng đa cộng tuyến nào? Theo điều tra mức sống hộ gia đình địa phương, người ta tiến hành thu thập số liệu mẫu tiêu biểu với biến sau: Chi phí tiêu dùng Y (triệu đồng/ năm) Thu nhập X2 (triệu đồng/ năm) Tiền tích lũy X3 (triệu đồng) Ta có bảng số liệu thu thập : Y 70 65 90 95 110 115 120 140 155 150 X2 80 100 120 140 160 180 200 220 240 260 X3 810 1009 1273 1425 1633 1876 2052 2201 2435 2686 B1: Lập mơ hình hàm hồi quy Ta có mơ hình hàm hồi quy tuyến tính thể phụ thuộc chi phí tiêu dùng vào thu nhập tiền tích lũy: Yi = 1 + X2i + 3 X3i + Ui Mơ hình ước lượng hàm hồi quy: 20 ... lập vĩ mô quan sát theo chuỗi thời gian 1.2 Ước lượng có đa cộng tuyến 1.2.1 Ước lượng có tượng đa cộng tuyến hoàn hảo Sau có đa cộng tuyến hồn hảo hệ số hồi quy khơng xác định cịn sai số tiêu... X2 , X3 , , Xk gọi đa cộng tuyến hồn hảo hay cịn gọi đa cộng tuyến xác tồn λ2 , , λk không đồng thời không cho: λ2 X2 + λ3 X3 + + λk Xk = Các biến X2 , X3 , , Xk gọi đa cộng tuyến khơng hồn hảo... 1.2.2 Ước lượng trường hợp có đa cộng tuyến khơng hoàn hảo Đa cộng tuyến hoàn hảo trương hợp đặc biệt xảy Trong số liệu liên quan đến chuỗi thời gian, thường xảy đa cộng tuyến khơng hồn hảo Xét mơ