Kinh tÕ l−îng n©ng cao BÀI 1 (tiếp theo) HỒI QUY VỚI BIẾN GIẢ 3. HỒI QUY VỚI BIẾN PHỤ THUỘC LÀ ĐỊNH TÍNH. Có nhiều hiện tượng kinh tế mà biến phụ thuộc lại là định tính nên phải dùng biến giả để đặc trưng cho chúng. Chẳng hạn , có nhà hay không có nhà, có xe máy hay không có 3.1. Mô hình xác suất tuyến tính - LPM. a. Mô hình: Xét mô hình sau: Y i = β 1 + β 2 X i + u i (1) Trong đó X i là biến giải thích, Y i là biến phụ thuộc rời rạc, chỉ nhận hai giá trị bằng 0 hoặc 1. Mô hình (1) gọi là mô hình LPM. Ký hiệu: P i = P(Y = 1/X i ) 1 - P i = P(Y = 0/X i ) ⇒ Y i ∼ A(P i ) Với giả thiết E(U i ) = 0 E( Y/X i ) = β 1 + β 2 X i Mặt khác do Y i ∼ A(P i ) nên E(Y/X i ) = P i ⇒ P i = β 1 + β 2 X i = E(Y/X i ) ⇒ Do 0 ≤ P i ≤ 1 nên 0≤ E(Y/X i ) ≤ 1 b. Các giả thiết của OLS trong mô hình LPM. • Trong mô hình LPM phương sai của sai số ngẫu nhiên không đồng đều. Thật vậy, u i = Y i - β 1 - β 2 X i ⇒ Var(u i ) = Var( Y i - β 1 - β 2 X i ) = Var(Y i ) Do Y i ∼ A(P i ) ⇒ Var(Y i ) = P i (1 - P i ) ⇒ Var(u i ) = P i (1 - P i ) • Các sai số ngẫu nhiên không phân phối chuẩn. Phương pháp OLS không đòi hỏi u i phân phối chuẩn, song để tiến hành các suy diễn thống kê thì cần đến giả thiết này. Trong LPM thì u i là biến ngẫn nhiên rời rạc với bảng phân phối xác suất như sau: Kinh tÕ l−îng n©ng cao u i - β 1 - β 2 X i 1 - β 1 - β 2 X i P i 1 - P i P i Tuy nhiên dù u i không phân phối chuẩn thì các ước lượng OLS vẫn là không chệch, và với mẫu lớn thì u i sẽ tiệm cận chuẩn. Do đó có thể dùng OLS để ước lượng (1). * Các ước lượng của E(Y/X i ) là Y ˆ i chưa chắc đã thoả mãn điều kiện 0 ≤ Y ˆ i ≤ 1. • Ước Lượng của hệ số xác định R 2 có thể thấp hơn thực tế. c. Ước lượng mô hình. Với các đặc điểm trên, thủ tục ước lượng mô hình LPM như sau Bước 1. Dùng OLS ước lượng (1) thu được Y ˆ i . Bước 2. Do u i có phương sai của sai số thay đổi nên phải khắc phục bằng phép đổi biến số. Do chưa biết P i nên dùng ước lượng của nó là Y ˆ i . Trước hết phải loại đi các quan sát có Y ˆ i < 0 và Y ˆ i > 1 và đặt: W i = Y ˆ i (1 - Y ˆ i ) đổi biến số và ước lượng mô hình sau: Y i / Wi¦ = β 1 (1/ W i ) + β 2 (X i / W i ) + u i / W i (2) Từ kết quả ước lượng (2) suy ra ước lượng của mô hình xuất phát. Ví dụ: điều tra ngẫu nhiên 40 gia đình theo hai chỉ tiêu: Y = 1 nếu có nhà riêng Y = 0 nếu không có nhà riêng X là thu nhập ( ngàn USD/ năm) GD Y X GD Y X 1 0 8 21 1 22 2 1 16 22 1 16 3 1 18 23 0 12 4 0 11 24 0 11 5 0 12 25 1 16 6 1 19 26 0 11 7 1 20 27 1 20 Kinh tÕ l−îng n©ng cao 8 0 13 28 1 18 9 0 9 29 0 11 10 0 10 30 0 10 11 1 17 31 1 17 12 1 18 32 0 13 13 0 14 33 1 21 14 1 20 34 1 20 15 0 6 35 0 11 16 1 19 36 0 8 17 1 16 37 1 17 18 0 10 38 1 16 19 0 8 39 0 7 20 1 18 40 1 17 Hãy ước lượng mô hình LPM và cho nhận xét. 2. Mô hình logit. Như đã phân tích, mô hình LPM có nhiều nhược điểm. Mặc dù các nhược điểm này có thể khắc phục được song nhược điểm lớn nhất là trong mô hình LPM ta đã giả thiết P i phụ thuộc tuyến tính vào X i . Đó là điều không thực tế vì thông thường P i phụ thuộc phi tuyến vào X i . Như vậy cần xây dựng mô hình thoả mãn hai điều kiện: • Khi X i tăng thì P i cũng tăng song P i ∈ [0,1] • P i phụ thuộc phi tuyến vào X i . Có hai loại mô hình thoả mãn được các điều kiện trên là mô hình LOGIT và mô hình PROBIT. 2.1. Mô hình LOGIT và phương pháp Berkson ( Phương pháp moment) Trong mô hình LOGIT ta giả thiết rằng: 1 E(Y/X i ) = P i = (3) 1 + e -(β1 + β2Xi) Nếu đặt Z i = β 1 + β 2 X i thì (11) có dạng 1 P i = (4) Kinh tÕ l−îng n©ng cao 1 + e - Zi Phương trình (4) được gọi là hàm phân bố Logistic. Biểu thức (4) có thể viết dưới dạng: e Zi P i = 1 + e Zi 1 ⇒ 1 - P i = 1 + e Zi Vì vậy P i = e Zi (5) 1 - P i Lúc đó P i /( 1 - P i ) là tỷ lệ cá cược có lợi cho việc chọn Y = 1. Chẳng hạn nếu P i = 0.8 thì có nghĩa là tỷ lệ cá cược là 4 ăn 1 cho việc chọn Y = 1. Từ (5) ta có: Ln(P i /(1 - P i )) = Z i = β 1 + β 2 X i Đặt L i = ln(P i /(1 - P i )) = β 1 + β 2 X i + u i (6) thì lúc đó L i không chỉ tuyến tính đối với biến số mà cả đối với tham số. Với mô hình (6) ta có các nhận xét sau: • Khi Z biến thiên từ -∞ đến +∞ , P biến thiên từ 0 đến 1 và L biến thiên từ -∞ đến +∞ , như vậy dù P phải thuộc [0,1] song L vẫn không bị giới hạn. • Dù L là hàm tuyến tính của X nhưng P không phải là hàm tuyến tính của X. • Các hệ số của mô hình được giải thích như sau: β 2 đo sự thay đổi của L khi X thay đổi một đơn vị, β 1 đo L khi X = 0. * ƯƠC LƯƠNG MÔ HìNH Do chưa biết P i nên ta dùng ước lượng của chúng.Giả sử ứng với giá trị X i trong mấu có N i phần tử, trong đó có n i phần tử(n i ≤ N i ) mà Y i = 1. Khi đó ước lượng điểm của P i là tần suất: n i f i = (7) N i Kinh tÕ l−îng n©ng cao Dùng f i ước lượng được mô hình (6). Tuy nhiên do (6) có phương sai của sai số thay đổi vì f i có phân phối nhị thức với E(f i ) = P i và Var(f i ) = P i (1 - P i )/N i và sẽ hội tụ chuẩn khi N i khá lớn. Từ đó có thể chứng minh rằng u i cũng phân phối xấp xỉ chuẩn với E(u i ) = 0 và Var(u i ) = 1/N i P i (1 - P i ). Như vậy mô hình Logit cũng có phương sai của sai số thay đổi nên phải đổi biến số, trong đó thay Var(u i ) bằng ước lượng: 1 N i f i (1 - f i ) Như vậy thủ tục ước lượng mô hình Logit bằng phương pháp Moment như sau: Bước 1: Với mỗi X i tính f i = n i /N i , L i = Ln(f i /(1 - f i )) Và W i = N i f i (1 - f i ) Bước 2: Dùng OLS hồi quy mô hình Wi¦ L i = β 1 W i + β 2 W i X i + W i u i (8) Ví dụ: Cho các số liệu sau về thu nhập X i ( ngàn USD/năm),N i là số gia đình có thu nhập tương ứng và n i là số gia đình có nhà riêng: X i N i n i 6 40 8 8 50 12 10 60 18 13 80 28 15 100 45 20 70 36 25 65 39 30 50 33 35 40 30 40 25 20 Từ kết quả hồi quy, với mỗi X i có thể tìm được các P i tương ứng( ví dụ, với X i = 10). 2.2 Phương pháp Golberger (phương pháp ước lượng hợp lý tối đa). Phương pháp Berkson có hạn chế là đòi hỏi điều kiện 0 < f i < 1. Nếu có f i = 0 hoặc bằng 1 thì Ln(f i /(1 - f i )) là vô nghĩa. Lúc đó phải áp dụng phương pháp ước lượng hợp lý tối đa. Trước hết viết lại mô hình Logit dưới dạng: exp(β 1 + β 2 X 2i ) P i = Kinh tÕ l−îng n©ng cao 1 + exp(β 1 + β 2 X 2i ) exp(X i ,β) = (9) 1 + exp(X i ,β) Trong đó X i = (1 , X 2i ) β = (β 1 , β 2 ) 1 1 ⇒ 1 - P i = = 1 + exp(β 1 + β 2 X 2i ) 1 + exp(X i ,β) Vì Y i chỉ nhận hai giá trị là 0 hoặc 1 nên nó phân phối A(P) nên với mẫu kích thước n hàm hợp lý có dạng: L = ∏ = −− i iiii YPYP 1 )1exp()1)(exp( n n n = exp(β )/ ,β)) (10) ∑ =i ii YX 1 ∏ = + i i X 1 exp(1( Ký hiệu S(β) = ∂LnL/∂β Và I(β) = E[- ∂ 2 LnL/∂β 2 ] Thì I(β) được gọi là ma trận thông tin. Từ đó phương pháp ước lượng hợp lý tối đa cho kết quả sau: - β = [I(β)] β ˆ -1 S(β) (11) Ta có quá trình lặp để ước lượng như sau: Bắt đầu với một giá trị nào đó của β, chẳng hạn β 0 , tìm được S(β 0 ) và I(β 0 ) sau đó tìm β mới bằng công thức: β 1 = β 0 + [I(β 0 )] -1 S(β 0 ) (12) Quá trình lặp sẽ được tiếp tục cho đến khi hội tụ. Tương ứng với , [I( )] β ˆ β ˆ -1 chính là ma trận hiệp phương sai của và được dùng trong các suy diễn thống kê. β ˆ Sau khi tìm được có thể tính được các ước lượng xác suất P β ˆ i : 1 P ˆ i = (13) 1 + exp(- β ˆ 1 - β ˆ 2 X i ) Như vậy trong mô hình Logit người ta không nghiên cứu ảnh hưởng trực tiếp của X i đến Y i mà là ảnh hưởng của X i đến xác suất để Y = 1. Ảnh hưởng biên của X i đến P i được tính như sau: ∂ P ˆ i /∂X i = exp(-( β ˆ β ˆ 1 + β ˆ 2 X i ))/[1 + exp(-( β ˆ 1 + β ˆ 2 X i ))] 2 Kinh tÕ l−îng n©ng cao = β ˆ 2 P ˆ i (1 - P ˆ i ) (14) Ví dụ: Giải lại bài toán về quan hệ Có nhà - Thu nhập bằng phương pháp Golberger, tìm ảnh hưởng biên khi X = 10. 3. Mô hình Probit. Để mô tả hành vi của biến phụ thuộc, mô hình Logit đã sử dụng hàm Logistic. Trong một số trường hợp khác có thể dùng hàm phân bố chuẩn và sẽ dẫn đến mô hình Probit. ở đây ta sẽ không thay thế ngay hàm phân bố chuẩn vào chỗ của hàm phân bố Logistic mà kết hợp thêm với Lý thuyết về độ thoả dụng ( Utility Theory). Giả sử Y i sẽ nhận giá trị bằng 1 hoặc bằng 0 tuỳ thuộc vào một độ thoả dụng I i được xác định bởi các biến giải thích. Độ thoả dụng càng lớn thì xác suất để Y = 1 càng lớn. I i = β 1 + β 2 X i (15) Giả sử tồn tại một giá trị tới hạn I i * sao cho: Y i = 1 nếu I i > I i * Y i = 0 nếu I i ≤ I i * Cũng giống như I i , I i * không quan sát được song nếu giả thiết chúng cùng phân phối chuẩn với cùng kỳ vọng toán và phương sai thì không những có thể ước lượng được các tham số của mô hình (15) mà còn khai thác được các thông tin liên quan đến chỉ số I. Với giả thiết I i * phân phối chuẩn ta có: P i = P(Y = 1) = P(I i * < I i ) = F(I i ) = Ii = 1/√2π = 1/√2π (16) ∫ − ∞− dUU )2/exp( 2 ∫ − dUU )2/exp( 2 −∞ trong đó U là biến ngẫu nhiênphân phối N(0,1). Từ đó I i = F -1 (P i ) = β 1 + β 2 X i (17) Trong đó F -1 là hàm ngược của hàm phân phối chuẩn hoá. 3.1. Phương pháp Moment. Thủ tục ước lượng bằng phương pháp mô men như sau: Xét mô hình I i = β 1 + β 2 X i + u i (18) Bước 1: Với các số liệu ghép nhóm tìm ước lượng của P i f i = n i /N i Bước 2: Từ f i tra bảng tìm được I i theo bảng giá trị tới hạn chuẩn. Bước 3: Hồi quy mô hình (18) tìm được β ˆ 1 và β ˆ 2 . Kinh tÕ l−îng n©ng cao Chú ý: Mô hình (18) có phương sai của sai số thay đổi: Var(u i ) = P i (1 - P i )/N i f i 2 Với f i là hàm mật độ xác suất của phân phối chuẩn hoá được ước lượng tại F -1 (P i ). Dể khắc phục khuyết tật này có thể thực hiện phép đổi biến bằng cách hồi quy mô hình: W i I i = β 1 W i + β 2 W i X i + W i u i (19) 2 ii fN Với W i = (20) ) ˆ 1( ˆ ii pp − Ví dụ: Tiến hành lại với các số liệu ghép nhóm của mô hình Logit. X i N i n i Pf i I i = F -1 (P i ) Z i = I i + 5 6 40 8 0.2 -0.84 8 50 12 0.24 -0.7 10 60 18 0.3 -0.52 13 80 28 0.35 -0.38 15 100 45 0.45 -0.12 20 70 36 0.51 0.03 25 65 39 0.6 0.25 30 50 33 0.66 0.4 35 40 30 0.75 0.67 40 25 20 0.8 0.84 • Do I i < 0 khi P i < 0.5 nên cộng thêm 5 vào I i và kết quả gọi là Probit ( nếu không cộng thêm 5 thì kết quả gọi là Normit). 3.2. Phương pháp ước lượng hợp lý tối đa. Trước hết viết lại hàm thoả dụng dưới dạng: I i = β 1 + β 2 X 2i (21) Kí hiệu: X i = (1,X 2i ) β = (β 1 , β 2 ) f là hàm mật độ phân phối chuẩn hoá. Lúc đó Hàm hợp lý có dạng: L = ∏ −− = n iiii YXFYXF )1exp()),(1)(exp()),(( ββ i 1 Ký hiệu S(β) = ∂lnL/∂β I(β) = E(-∂ 2 lnL/∂β 2 ) Nếu là nghiệm của S(β) = 0 thì ta có: β ˆ S( ) = ∂lnL/∂β + ∂ β ˆ 2 lnL/∂β 2 ( - β) β ˆ Kinh tÕ l−îng n©ng cao ⇒ ( - β) = -[∂ β ˆ 2 lnL/∂β 2 ] -1 S(β) = [I(β)] -1 S(β) Như vậy quá trình ước lượng bắt đầu với β = β 0 từ đó tính được S(β 0 ) và I(β 0 ). Giá trị tiếp theo của β được tìm theo công thức: β = β 0 + [I(β 0 )] -1 S(β 0 ) (22) Quá trình kết thúc khi hội tụ. Cũng giống như mô hình Logit, mô hình Probit không nghiên cứu sự ảnh hưởng trực tiếp của biến giải thích X i đối với Y i mà xem xét ảnh hưởng của X i đến xác suất để Y = 1, tức là kỳ vọng toán của Y. Ảnh hưởng biên của X i đến P i được tính như sau: iiii ii XX π ii XXf XFP ββββ β )2/)(exp( 1 ),( ),( 2 −== ∂ = 2 ∂∂ Ví dụ: ước lượng lại mô hình Probit với các số liệu của mô hình Logit bằng phương pháp Golberger. ∂ (23) Các mô hình trên có thể mở rộng theo các hướng *Hướng mô hình Tobit, Chuẩn cụt *Các mô hình có nhiều lựa chọn Mô hình LPM, Logit, Probit 4. So sánh các mô hình LPM, Logit và Probit. Trong mô hình Logit các P i được xác định từ hàm phân bố Logistic, còn trong mô hình Probit các P i được xác định từ giả thiết I i phân phối chuẩn. Vì vậy kết quả của các mô hình này không thể so sánh trực tiếp. Amemiya nhận xét rằng nếu lấy các tham số ước lượng được tư mô hình Logit nhân với 0,625 thì sẽ cho kết quả xấp xỉ mô hình Probit. Đồng thời Amemiya cũng chỉ ra rằng mối liên hệ giữa các tham số của mô hình LPM và Logit như sau: β LPM ≈ 0,25β Logit (trừ hệ số chặn) β LPM ≈ β Logit + 0,5 đối với hệ số chặn. Chú ý: Nếu biến phụ thuộc có nhiều hơn hai trạng thái thì có thể sử dụng các lớp mô hình đa thức . 1 0 8 21 1 22 2 1 16 22 1 16 3 1 18 23 0 12 4 0 11 24 0 11 5 0 12 25 1 16 6 1 19 26 0 11 7 1 20 27 1 20 Kinh tÕ l−îng n©ng cao 8 0 13 28 1 18. 6 40 8 0 .2 -0 .84 8 50 12 0 .24 -0 .7 10 60 18 0.3 -0 . 52 13 80 28 0.35 -0 .38 15 100 45 0.45 -0 . 12 20 70 36 0.51 0.03 25 65 39 0.6 0 .25 30 50