Bài 2: Phân tích hồi quy số ý tưởng BÀI PHÂN TÍCH HỒI QUY VÀ MỘT SỐ Ý TƯỞNG CƠ BẢN Mục tiêu Sau kết thúc bài, học viên hiểu vấn đề sau đây: • Khái niệm phân tích hồi quy • Số liệu phân tích hồi quy • Mơ hình hồi quy tổng thể (PRF) • Mơ hình hồi quy mẫu (SRF) • Quan niệm tuyến tính phân tích hồi quy • Ý nghĩa nhiễu ngẫu nhiên mơ hình Nội dung Hướng dẫn học • Khái niệm phân tích hồi quy • Đọc tài liệu để có ý tưởng • Số liệu phân tích hồi quy • Mơ hình hồi quy tổng thể (PRF) • Mơ hình hồi quy mẫu (SRF) • Quan niệm tuyến tính phân tích hồi quy • Ý nghĩa nhiễu ngẫu nhiên mơ hình Thời lựợng • Lấy ví dụ để minh họa cho khái niệm phân tích hồi quy • Tập trung để hiểu rõ phân biệt khái niệm hàm hồi quy tổng thể hàm hồi quy mẫu • Hiểu rõ vai trò nhiễu ngẫu nhiên (sai số ngẫu nhiên) mơ hình • tiết 11 Bài 2: Phân tích hồi quy số ý tưởng TÌNH HUỐNG DẪN NHẬP Tình Ban giám hiệu Viện Đại học Mở quan tâm tới kết học tập năm sinh viên có bị ảnh hưởng điểm thi đầu vào sinh viên hay không Để tiến hành nghiên cứu, họ chọn ngẫu nhiên 100 sinh viên học hết năm trường lấy thông tin điểm thi đầu vào (X) điểm trung bình chung năm thứ (Y) Nhà nghiên cứu sau thực hiên mô tả thống kê để xem xét mối quan hệ X Y định sử dụng mô hình hồi quy tuyến tính dạng E ( Y / X i ) = β1 + β2 X i Với mẫu trên, người ta ước lượng mơ hình hồi quy mẫu có dạng: ˆ Yi = −3.25 + 0.75X i Câu hỏi Với kết này, nhà nghiên cứu kết luận ảnh hưởng điểm thi đầu vào tới điểm trung bình học tập năm thứ sinh viên Viện đại học Mở? Với kết này, ta suy điểm thi đầu vào có ảnh hưởng đến điểm trung bình năm thứ Cụ thể, điểm thi đầu vào tăng lên điểm điểm trung bình chung năm thứ sinh viên tăng trung bình 0,75 điểm 12 Bài 2: Phân tích hồi quy số ý tưởng 2.1 Khái niệm phân tích hồi quy Trong sống hàng ngày, thường gặp tình phải thành lập mối quan hệ hai đại lượng Đơi mối quan hệ hồn hảo Ví dụ, quan hệ chuyển đổi loại tiền tệ loại tiền tệ khác chi phối tỷ suất chuyển đổi chúng Tại thời điểm xác định, đô la Mỹ đổi thành 18000 đồng Việt Nam Vào ngày, không quan trọng người giao dịch, tỷ suất chuyển đổi Quan hệ hồn hảo mơ tả cơng thức tốn học: Di = 18000E i (2.1) Trong công thức (2.1) D giá trị Đồng Việt Nam (VND), E giá trị đô la Mỹ (USD), số i giao dịch thứ i Trong thực tế, người ta cần trả phí cho trình trao đổi, chẳng hạn 2000 VND cho giao dịch cơng thức cần có phí trao đổi đó, cơng thức (2.2) Tuy mối quan hệ hoàn hảo Di = −2000 + 18000E i (2.2) Ví dụ giao dịch tiền tệ mơ tả quan hệ hồn hảo, với la Mỹ đưa cho quầy giao dịch tiền tệ, biết cách xác đồng Việt Nam nhận lại Quan hệ tuyến tính hồn hảo thường mô tả đồ thị đường thẳng tất điểm liệu rơi vào đường thẳng Mơ hình tốn học quan hệ tuyến tính hồn hảo cho cơng thức: Yi = b1 + b X i (2.3) đó, số i dùng để trường hợp thứ i Như vậy, có quan hệ tuyến tính hoàn hảo hai đại lượng X Y, ta hồn tồn dự đốn giá trị Y biết trước giá trị cụ thể X Tuy nhiên mối quan hệ hồn hảo Đơi xảy trường hợp mà đại lượng Y dự báo giải thích cách hồn tồn qua giá trị đại lượng X Phần dư (hoặc nhiễu) thuật ngữ dùng để mô tả đại lượng cịn lại Y mà khơng giải thích X Về mặt toán học, với điểm liệu, phần dư sai khác giá trị quan sát giá trị dự báo qua X Y Quan hệ khơng hồn hảo Y X biểu thị qua công thức (2.4) Công thức gần đồng với công thức (2.3), khác phần dư u cộng thêm vào Yi = b1 + b X i + u i (2.4) Tổng tất phần dư đưa dấu hiệu việc giải thích hiệu lực tác động X Y Khi phần dư nhỏ, X dự báo mạnh Y (hay X Y có quan hệ tuyến tính mạnh) Còn phần dư lớn, X dự báo yếu Y (hay X T có quan hệ tuyến tính yếu) Theo biểu đồ, dấu chấm điểm liệu gần với đường dự báo X dự báo mạnh Y, dấu chấm phân tán xa đường dự báo X dự báo yếu Y Điều mơ tả dạng biểu đồ Hình 2.1 Phương trình (2.4) biểu diễn mơ hình hồi quy tuyến tính đơn, nội dung xuất phát đơn giản nghiên cứu phân tích hồi quy Từ đó, ta bước xây dựng mơ hình phức tạp hơn, thiết kế công cụ đa dạng để giải vấn đề kinh tế lượng 13 Bài 2: Phân tích hồi quy số ý tưởng Quan hệ tuyến tính mạnh Quan hệ tuyến tính yếu Hình 2.1 Mức độ quan hệ tuyến tính hai biến Phân tích hồi quy công cụ kinh tế lượng Phân tích hồi quy mơ tả mối quan hệ phụ thuộc biến (thường gọi biến phụ thuộc hay biến giải thích) vào hay nhiều biến khác (thường gọi biến độc lập hay biến giải thích) Ta ký hiệu biến giải thích (biến phụ thuộc) Y biến giải thích (biến độc lập) X1 , X , , X k Thuật ngữ hồi quy Francis Galton sử dụng ông nghiên cứu mối quan hệ chiều cao Francis Galton đứa trẻ chiều cao bố mẹ chúng Ông thấy (1822-1911) bố mẹ cao thấp có đứa trẻ thấp cao có xu chiều cao đứa trẻ hội tụ chiều cao trung bình phụ thuộc phần vào chiều cao bố mẹ Trường hợp số biến giải thích k = ta gọi hồi quy đơn, số biến giải thích k >1 ta gọi hồi quy bội Ví dụ 1: Mơ hình hồi quy đơn với biến phụ thuộc Y biến độc lập X, Y = mức chi tiêu X = thu nhập Ví dụ 2: Mơ hình hồi quy bội với biến phụ thuộc Y hai biến độc lập X1 X , Y = doanh thu cơng ty X1 = chi phí cho quảng cáo X = lương trả cho nhân viên tiếp thị Trong ví dụ ta xác định mối quan hệ mức chi tiêu Y mức thu nhập X Trong ví dụ ta xác định mối quan hệ doanh thu Y chi phí cho quảng cáo X1 tiền lương trả cho nhân viên tiếp thị X Phân tích hồi quy giải vấn đề sau: 14 Bài 2: Phân tích hồi quy số ý tưởng • Ước lượng giá trị trung bình biến phụ thuộc với giá trị cho biến độc lập Trong ví dụ 1, ta cần ước lượng mức chi tiêu trung bình biết mức thu nhập X • Dự báo giá trị Y biết giá trị biến giải thích X • Kiểm định giả thuyết chất phụ thuộc xác định hiệu tác động biến độc lập lên biến phụ thuộc Khi mô tả mối quan hệ biến phụ thuộc biến độc lập cần phân biệt rõ kiểu quan hệ sau: o Quan hệ tất định hay cịn gọi quan hệ tốn học X Y, quan hệ cho dạng hàm số Y = f (X) , cho giá trị X ta xác định giá trị Y Biểu thức (2.3) mô tả mối quan hệ tất định X Y o Quan hệ thống kê quan hệ mà không xác định giá trị Y cho biết giá trị X mà ta biết giá trị Y theo xác suất đó, hay nói cách khác ta xác định phân bố xác suất Y biết giá trị X Biểu thức (2.4) tương ứng với mối quan hệ X Y Trong phân tích hồi quy ta đề cập tới kiểu quan hệ loại đây, không chọn kiểu quan hệ loại làm đối tượng nghiên cứu Ví dụ 3: Xét ví dụ mối quan hệ chi tiêu Y thu nhập X Giả sử mối quan hệ biểu diễn qua phương trình Y = b1 + b X + u b1 = 1,5 , b = 0,9 , u yếu tố ngẫu nhiên u = 0,2 với xác suất ½ , u = –0,2 với xác suất ½ Khi biết giá trị X giá trị Y Y = 2,6 với xác suất ½ , Y = 2,2 với xác suất ½ Nếu u có phân bố chuẩn N(1; σ2 ) , với giá trị X Y có phân bố chuẩn Ta có đồ thị trường hợp cho Hình 2.2 Y Kỳ vọng có điều kiện E(Y|xi) Phân phối Y với X=x0 X Hình 2.2 Quan hệ ngẫu nhiên X Y với sai số ngẫu nhiên u có phân bố chuẩn 15 Bài 2: Phân tích hồi quy số ý tưởng Trong hình 2.2, đại lượng Y khơng nhận giá trị tất định, giá trị Y xác định cách ngẫu nhiên, phụ thuộc vào giá trị đại lượng ngẫu nhiên u Đường thẳng tất định Y biểu diễn giá trị trung bình Y ứng với giá trị cho trước X Đối với giá trị cố định X Y nhận giá trị khác tập trung xung quanh giá trung bình Y đường thẳng Với giá trị X X, giá trị Y có phân bố chuẩn đường thẳng X = X (song song với trục tung) Mối quan hệ X Y gọi mối quan hệ ngẫu nhiên u gọi sai số nhiễu ngẫu nhiên Tổng quát hơn, quan hệ X Y có dạng Y = α + βX + u với u nhiễu ngẫu nhiên có phân phối xác suất xác định Trong phương trình thành phần α + β X thành phần tất định Y u thành phần ngẫu nhiên Y, tham số α, β gọi hệ số hồi quy, hệ số ước lượng từ liệu quan sát X Y 2.2 Hàm hồi quy tổng thể Cho hai biến X Y, ta biết kỳ vọng có điều kiện Y với điều kiện X, ký hiệu E(Y | X) , hàm biến X, ta có E(Y | X) = f (X) (2.5) f (X) hàm biến giải thích X, cịn gọi hàm hồi quy tổng thể, viết tắt (PRF) (population regression function) Trong phương trình (2.5) hàm f có dạng tuyến tính ta có mơ hình hồi quy tuyến tính đơn Y theo X Khi ta có hàm hồi quy tổng thể (2.5) có dạng E(Y | X) = f (X) = β1 + β2 X , (2.6) β1 β2 tham số chưa biết gọi hệ số hồi quy, β1 : gọi hệ số chặn, β2 : gọi hệ số dốc (hoặc hệ số góc) Phương trình (2.6) gọi phương trình hồi quy tuyến tính đơn Trong phương trình hồi quy, thuật ngữ “tuyến tính” có hai nghĩa sau: • Tuyến tính biến: Ví dụ: Phương trình E(Y | X) = β1 + β2 X tuyến tính biến, phương trình E(Y | X) = β1 + β2 X khơng tuyến tính với biến • Tuyến tính tham số: hàm E(Y | X) tuyến tính theo tham số β Ví dụ: Phương trình E(Y | X) = β1 + β2 X phương trình tuyến tính tham số biến, cịn phương trình E(Y | X) = β1 + β2 X phương trình tuyến tính tham số khơng tuyến tính biến Thơng thường mơ hình hồi quy, ta xét tính tuyến tính theo biến 16 Bài 2: Phân tích hồi quy số ý tưởng 2.3 Hàm hồi quy mẫu Trong thực tế nghiên cứu tồn tổng thể, đưa dạng hàm hồi quy tổng thể xác định hàm cách hồn tồn xác Để ước lượng hàm hồi quy tổng thể phải dựa vào mẫu rút ngẫu nhiên từ tổng thể Giả sử có mẫu ngẫu nhiên (X1 , Y1 ), (X , Y2 ), , (X n , Yn ) , hàm hồi quy xây dựng dựa mẫu gọi hàm hồi quy mẫu, viết tắt SRF (Sample Regression Function) Ví dụ: Để nghiên cứu phụ thuộc suất lúa (Y) với lượng phân bón (X) ta lấy mẫu ngẫu nhiên thu giá trị mẫu sau: X 30 33 37 41 44 46 49 52 57 60 Y 50 55 57 63 64 67 71 75 78 92 Khi X nhận giá trị Xi giá trị E(Y | X) E(Y | X i ) , Y chưa xác ˆ định nên E(Y | X i ) chưa biết Vậy ta ký hiệu Yi ước lượng E(Y | X i ) dựa số liệu mẫu (Y1 , Y2 , , Yn ) Ta thay E(Y | X i ) ước lượng ˆ tương ứng Yi vào phương trình hồi quy tổng thể (PRF) ta thu phương trình: ˆ ˆ ˆ Yi = β1 + β2 X i , (2.7) ˆ ˆ β1 ước lượng β1 , β2 ước lượng β2 , phương trình (2.7) gọi phương trình hồi quy mẫu hàm hồi quy mẫu (SRF) 2.4 Sai số ngẫu nhiên mơ hình hồi quy Giả sử ta có hàm hồi quy tổng thể: E(Y | X) = f (X) Với giá trị X E(Y | X) kỳ vọng Y X nhận giá trị cụ thể, giá trị biến ngẫu nhiên Y dao động quanh giá trị kỳ vọng E(Y | X) Ký hiệu u độ sai lệch Y E(Y | X) u = Y − E(Y | X) Từ ta có Y = E(Y | X) + u (2.8) Khi X nhận giá trị Xi Y nhận giá trị Yi , ta có Yi = E(Y | X i ) + u i (2.9) u i độ sai lệch quan sát thứ i giá trị E(Y | X i ) , gọi sai số ngẫu nhiên (hay nhiễu ngẫu nhiên), bao gồm giá trị mà ta quan sát Nếu E(Y | X i ) có dạng tuyến tính tức E(Y | X i ) = β1 + β2 X i , phương trình (2.9) có dạng: Yi = β1 + β2 X i + u i (2.10) Từ phương trình (2.9) ta lấy kỳ vọng có điều kiện theo ta thu E(Yi | X i ) = E [ E(Y | X i ) + u i | X i ] = E(Y | X i ) + E(u i | X i ) 17 Bài 2: Phân tích hồi quy số ý tưởng Từ ta có: E(u i | X i ) = Phương trình (2.9) cho ta thấy ngồi biến giải thích mơ hình cịn yếu tố khác ảnh hưởng đến biến phụ thuộc mà biến ta quan sát Vì ta gộp chúng lại gọi sai số ngẫu nhiên biểu diễn Y qua biến giải thích X Nhưng mặt trung bình ảnh hưởng nhiễu ngẫu nhiên đến biến phụ thuộc Như vậy, yếu tố ảnh hưởng đến biến phụ thuộc mà khơng có thơng tin cụ thể đưa vào phần sai số ngẫu nhiên Vậy liệu đưa hết yếu tố ảnh hưởng đến biến phụ thuộc hay không loại bỏ có mặt nhiễu ngẫu nhiên u i hay không Câu trả lời sai số ngẫu nhiên ln tồn số lý sau: • Việc xác định hết yếu tố có ảnh hưởng đến biến phụ thuộc Y khó, giống cần nghiên cứu tồn tổng thể; • Do điều kiện kỹ thuật kinh tế nên ta muốn có số mơ hình đơn giản nhất, tức mơ hình mà với lượng vừa đủ biến giải thích ta giải thích cho hành vi biến phụ thuộc Vì cần gộp vào u i thay cho biến giải thích khác mà có ảnh hưởng nhỏ đến hành vi biến phụ thuộc Với lý tồn yếu tố ngẫu nhiên u i tất yếu Giả sử ta có phương trình hồi quy tuyến tính tổng thể có dạng (2.10) Dựa vào thơng tin mẫu ta có phương trình ước lượng cho phương trình ˆ ˆ ˆ Yi = β1 + β2 X i + u i , (2.11) ˆ u i ước lượng u i Từ phương trình (2.7) (2.11) ta có ˆ ˆ Yi = Yi + u i (2.12) Trên đồ thị ta biểu diễn phương trình hồi quy mẫu (SRF) hồi quy tổng thể (PRF) hình 2.3: Đýờng hồi quy mẫu ˆ ˆ y1 = β0 + β1 x1 Đường hồi quy tổng thể y1 = β0 + β1 x1 Hình 2.3 Đường hồi quy tổng thể đường hồi quy mẫu 18 Bài 2: Phân tích hồi quy số ý tưởng Bài tốn đặt cần tìm phương pháp đưa điều kiện để dựa vào thông tin mẫu ta thu (SRF) ước lượng tốt cho phương trình hồi qui tổng thể ˆ ˆ (PRF) Hay nói cách khác, ta cần xác định hệ số ước lượng β , β có độ sai lệch β1 , β2 nhỏ ˆ ˆ Trong chương sau giải thích tốn trên, tìm hệ số β1 , β2 cho tổng ˆ ˆ bình phương sai số nhỏ nhất, đồng thời tìm hệ số β1 , β2 ước lượng không chệch cho β1 , β2 (ước lượng không chệch tham số đảm bảo xấp xỉ tốt giá trị thực tham số cỡ mẫu đủ lớn) 19 Bài 2: Phân tích hồi quy số ý tưởng TÓM LƯỢC CUỐI BÀI • Phân tích hồi quy (Regression Analysis): Phân tích hồi quy nghiên cứu phụ thuộc biến (thường gọi biến phụ thuộc hay biến giải thích) vào hay nhiều biến khác (thường gọi biến độc lập hay biến giải thích) • Hàm hồi quy tổng thể: Giả sử ta cần xem xét phụ thuộc Y vào X Nếu ta biết tồn tổng thể, trung bình có điều kiện Y hàm số X: E(Y/Xi) = β1 + β2Xi (1) β1: hệ số chặn, β2: hệ số góc Mơ hình (1) gọi mơ hình hồi qui tổng thể PRF • Hàm hồi qui mẫu: Có mẫu ngẫu nhiên từ tổng thể ( X1 , Y1 ) , , ( X n , Yn ) Ta ước lượng tham số mơ hình (1), mơ hình ước lượng có dạng: ˆ ˆ ˆ Yi = β1 + β2 X i (2) ˆ ˆ ˆ Yi ước lượng E(Y/Xi ); β1 β2 ước lượng β1 β2 Mơ hình (2) gọi mơ hình hồi quy mẫu (SRF) • Bản chất nhiễu ngẫu nhiên(ui): Là phần chênh lệch giá trị quan sát trung bình có điều kiện Y: Yi – E(Y/Xi) = ui hay Yi = β1 + β2 Xi + ui (3) Mơ hình (3) gọi dạng ngẫu nhiên PRF ui dùng để đại diện cho ảnh hưởng biến ngồi mơ hình lên biến Y Ta giả thiết tổng hợp ảnh hưởng 0, hay E(ui /Xi) = 20 Bài 2: Phân tích hồi quy số ý tưởng CÂU HỎI THƯỜNG GẶP Mục đích kỹ thuật phân tích hồi quy gì? Thuật ngữ hồi quy tuyến tính hiểu phân tích hồi quy? Trong mơ hình hồi quy tuyến tính, khơng sử dụng hệ số chặn hay không? Việc sử dụng hồi quy đơn hồi quy bội thực tế? Tại lại cần đưa khái niệm hàm hồi quy tổng thể? Hàm hồi quy mẫu cho biết điều gì? Có cách thể cho hàm hồi quy mẫu hàm hồi quy tổng thể? Khái niệm sai số ngẫu nhiên phần dư hiểu nào? BÀI TẬP TRẮC NGHIỆM Phân tích hồi quy nghiên cứu quan hệ phụ thuộc lẫn (quan hệ qua lại) biến phụ thuộc biến độc lập A Đúng B Sai Trong phân tích hồi quy, có nhiều biến phụ thuộc nhiều biến độc lập A Đúng B Sai Trong phân tích hồi quy, hồi quy tuyến tính thường muốn nói tới tuyến tính theo biến số A Đúng B Sai Mơ hình hồi quy tổng thể biến (PRF) viết dạng: A Yi = β1 + β2 X 2i ˆ ˆ ˆ B Yi = β1 + β2 X 2i C Yi = β1 + β2 X 2i + u i ˆ ˆ ˆ D Yi = β1 + β2 X 2i + u i Mơ hình hồi quy mẫu biến (SRF) viết dạng: A Yi = β1 + β2 X 2i ˆ ˆ ˆ B Yi = β1 + β2 X 2i C Yi = β1 + β2 X 2i + u i ˆ ˆ ˆ D Yi = β1 + β2 X 2i + u i Trong mơ hình biến Yi = β1 + β2 X 2i + u i , β β2 gọi là: A Hệ số hồi quy riêng B Hệ số góc (độ dốc) hệ số chặn 21 Bài 2: Phân tích hồi quy số ý tưởng C hệ số chặn hệ số góc (độ dốc) D Hệ số chặn hệ số hồi quy riêng Trong mơ hình hồi quy tuyến tính đơn, hệ số góc cho biết: A Hệ số co dãn Y theo X B Thay đổi trung bình Y với đơn vị thay đổi X C Thay đổi trung bình X với đơn vị thay đổi Y D Tỉ số Y/X Sai số ngẫu nhiên mơ hình kinh tế lượng thể điều sau trừ: A Sai số biến thực phép đo B Ảnh hưởng yếu tố ngồi mơ hình lên biến phụ thuộc C Các biến độc lập khơng hồn tồn tương ứng với biến mơ hình lý thuyết D Sai số thực phương pháp OLS để ước lượng mơ hình Từ mẫu ngẫu nhiên, ta ước lượng mơ hình hồi quy mẫu khác A Đúng B Sai 10 Các phần dư mơ hình hồi quy mẫu ước lượng sai số ngẫu nhiên mơ hình hồi quy tổng thể A Đúng B Sai 22 ... gọi là: A Hệ số hồi quy riêng B Hệ số góc (độ dốc) hệ số chặn 21 Bài 2: Phân tích hồi quy số ý tưởng C hệ số chặn hệ số góc (độ dốc) D Hệ số chặn hệ số hồi quy riêng Trong mơ hình hồi quy tuyến... E(ui /Xi) = 20 Bài 2: Phân tích hồi quy số ý tưởng CÂU HỎI THƯỜNG GẶP Mục đích kỹ thuật phân tích hồi quy gì? Thuật ngữ hồi quy tuyến tính hiểu phân tích hồi quy? Trong mơ hình hồi quy tuyến tính,... x1 Đường hồi quy tổng thể y1 = β0 + β1 x1 Hình 2.3 Đường hồi quy tổng thể đường hồi quy mẫu 18 Bài 2: Phân tích hồi quy số ý tưởng Bài toán đặt cần tìm phương pháp đưa điều kiện để dựa vào thông