Đặng Thanh Phong CLB Hỗ Trợ Học Tập CHƯƠNG HỒI QUY TUYẾN TÍNH PHẦN 1: HỒI QUY TUYẾN TÍNH ĐƠN I PHƯƠNG TRÌNH HỒI QUY TUYẾN TÍNH Mơ hình hồi quy tuyến tính đơn giản Y = β0 + β1X + ui β0 tung độ gốc đường hồi quy tổng thể β1 độ dốc đường hồi quy tổng thể ui biến ngẫu nhiên số hạng sai số Phương trình hồi quy tuyến tính đơn ước lượng Y  b0  b1 X b0 tung độ gốc đường hồi quy ước lượng b1 độ dốc / hệ số góc đường hồi quy ước lượng Y giá trị ước lượng Y giá trị X cho trước Phương pháp bình phương tối thiểu (OLS)  a) Tiêu chí:  Yi  Y i  Yi giá trị quan sát biến phụ thuộc quan sát thứ i Y i giá trị ước lượng biến phụ thuộc quan sát thứ i b) Độ dốc phương trình hồi quy ước lượng  X i  X Yi  Y   X iYi  n.X Y b1  2 X  n X X  X i   i      Xi giá trị biến độc lập với quan sát thứ i Yi giá trị biến phụ thuộc quan sát thứ i Y giá trị trung bình biến độc lập X giá trị trung bình biến phụ thuộc n tổng số quan sát c) Tung độ gốc phương trình hồi quy ước lượng b0  Y  b1.X II ĐÁNH GIÁ PHƯƠNG TRÌNH HỒI QUY Mối liên hệ SST, SSR SSE SST = SSR + SSE SST: tổng độ lệch bình phương tồn (tổng bình phương tồn phần) Đặng Thanh Phong SST = CLB Hỗ Trợ Học Tập  Yi  Y   Y 2  Y   n SSR: tổng độ lệch bình phương hồi quy (tổng bình phương hồi quy)  X Y SSR =  Yi  Y  b1   XY       n     SSE: tổng độ lệch bình phương phần dư (tổng bình phương sai số)  Yi  Yi   Y  b1 XY  b0 Y SSE = Hệ số xác định r2 Tính chất: ≤ r2 ≤ SSR SSE r2   1 SST SST Ý nghĩa: thay đổi biến X giải thích 100r2 % biến động biến Y Hệ số tương quan mẫu r Tính chất: – ≤ r ≤ + 𝑟 = (𝑑ấ𝑢 𝑐ủ𝑎 𝑏1 )√𝐻ệ 𝑠ố 𝑥á𝑐 đị𝑛ℎ 𝑟 = (𝑑ấ𝑢 𝑐ủ𝑎 𝑏1 )√𝑟 r dùng để xác định hướng độ mạnh mối quan hệ biến X Y tương quan mạnh r  0,8: r  0,4  0,8: tương quan trung bình r  0,4: tương quan yếu III ĐÁNH GIÁ CÁC KẾT QUẢ CỦA PHÂN TÍCH HỒI QUY Kiểm định hệ số tương quan ρ tổng thể Giả thuyết kiểm định H0 Giả thuyết đối Ha Ha: ρ ≠ H0: ρ = Ha: ρ > Ha: ρ < Hoặc bác bỏ H0 p – value ≤ α Kiểm định ý nghĩa: Kiểm định t Trị thống kê kiểm định Bác bỏ H0 r n2 t 1 r t  tn2, /2 t  tn2, t  tn2, Đặng Thanh Phong CLB Hỗ Trợ Học Tập Sai số bình phương trung bình (MSE), kí hiệu là: se2 hay s2 SSE se2  MSE  n2 se: sai số chuẩn ước lượng SSE se  MSE  n2 Sai số chuẩn hệ số góc: sb1  se X  X  i Sai số chuẩn tung độ góc: sb0  se Giả thuyết kiểm định H0 H0: βi = Giả thuyết đối Ha    n X  Xi  X  Trị thống kê kiểm định Bác bỏ H0 b 0 t i sbi t  tn2, /2 t  tn2, t  tn2, Ha: βi ≠ H0: βi ≤ Ha: βi > H0: βi ≥ Ha: βi < Hoặc: bác bỏ H0 p – value ≤ α Lưu ý: kiểm định t dùng để kiểm định ý nghĩa thống kê biến X (hay kiểm định định phương trình hồi quy có ý nghĩa thống kê hay không?) Kiểm định ý nghĩa: Kiểm định F H :   Giả thuyết:   H a : 1  MSR R  n    Trị thống kê kiểm định: F  MSE 1 R2 Quy tắc bác bỏ: Bác bỏ H0 p – value ≤ α hay F > Fα;1;n – Trong đó: Fα;1;n – – phân phối Fisher với bậc tự tử số n – bậc tự mẫu số Lưu ý: kiểm định F dùng để kiểm định ý nghĩa thống kê biến X (hay kiểm định định phương trình hồi quy có ý nghĩa thống kê hay không?) kiểm định phù hợp mơ hình Ước lượng dự báo a) Khoảng dự báo cho giá trị trung bình Y Đặng Thanh Phong CLB Hỗ Trợ Học Tập Giá trị trung bình Y với giá trị riêng biệt Xp Y p  t /2,n2  se   n  Xp X   Xi  X  b) Khoảng dự báo cho giá trị cá biệt Y Giá trị cá biệt Y với giá trị riêng biệt Xp X  X  1  n  X  X  Y p  t /2,n2  se  p i Lưu ý: sai số khoảng tin cậy cho giá trị trung bình Y lớn sai số khoảng tin cậy cho giá trị cá biệt Y PHẦN 2: HỒI QUY TUYẾN TÍNH BỘI I MƠ HÌNH HỒI QUY BỘI Phương trình hồi quy bội ước lượng Mơ hình hồi quy bội tổng thể: Y  0  1 X1  2 X    p X p   Phương trình hồi quy bội tổng thể: E Y   0  1 X1   X    p X p Phương trình hồi quy ước lượng: Y  b0  b1 X1  b2 X   bp X p Phương pháp bình phương bé (OLS)  Tiêu chuẩn:  Yi  Yi  II ĐÁNH GIÁ PHƯƠNG TRÌNH HỒI QUY BỘI Mối quan hệ SST, SSR SSE SST = SSR + SSE Hệ số xác định bội SSR SSE r2   1 SST SST Ý nghĩa: thay đổi biến X1, X2, … , Xp giải thích 100r2 % biến động biến Y III ĐÁNH GIÁ CÁC KẾT QUẢ CỦA PHÂN TÍCH HỒI QUY Đặng Thanh Phong CLB Hỗ Trợ Học Tập Kiểm định ý nghĩa: Kiểm định t H :   Giả thuyết:  i  H a : i  Trị thống kê kiểm định: t  bi  sbi Quy tắc bác bỏ: bác bỏ H0 t  tn2, /2 p – value < α Lưu ý: kiểm định t dùng để kiểm định ý nghĩa thống kê hệ số hồi quy mơ hình Kiểm định ý nghĩa: Kiểm định F Giả thuyết: H0: 1  2    p  H1: tất  j  (có  j  0) Trị thống kê kiểm định: F  MSR R2  p  MSE  R   n  p  1   Quy tắc bác bỏ: bác bỏ H0 F > Fα p – value < α, Fα dựa phân phối Fisher với p bậc tự tử n – p – bậc tự mẫu số Lưu ý: kiểm định F dùng để kiểm định phù hợp mơ hình hồi quy kiểm định phương trình hồi quy có ý nghĩa thống kê hay không? ... biệt Y PHẦN 2: HỒI QUY TUYẾN TÍNH BỘI I MƠ HÌNH HỒI QUY BỘI Phương trình hồi quy bội ước lượng Mơ hình hồi quy bội tổng thể: Y  0  1 X1  2 X    p X p   Phương trình hồi quy bội tổng... 0,4: tương quan yếu III ĐÁNH GIÁ CÁC KẾT QUẢ CỦA PHÂN TÍCH HỒI QUY Kiểm định hệ số tương quan ρ tổng thể Giả thuyết kiểm định H0 Giả thuyết đối Ha Ha: ρ ≠ H0: ρ = Ha: ρ > Ha: ρ < Hoặc bác bỏ H0... định phương trình hồi quy có ý nghĩa thống kê hay khơng?) Kiểm định ý nghĩa: Kiểm định F H :   Giả thuyết:   H a : 1  MSR R  n    Trị thống kê kiểm định: F  MSE 1 R2 Quy tắc bác bỏ: