Đang tải... (xem toàn văn)
Bài giảng xác suất thống kê, bài tập xác suất thông kê được sử dụng trong trường đại học Bách Khoa Tp. Hồ Chí Minh. Bài giảng Xác suất thống kê chương 8: hồi quy tuyến tính đơn, bài tập xác suất thống kế chương 8 : hồi quy tuyến tính đơn, bài giảng hồi quy tuyến tính đơn, bài tập hồi quy tuyến tính đơn
CHƯƠNG HỒI QUI TUYẾN TÍNH ĐƠN HỒI QUI TUYẾN TÍNH ĐƠN z z z z z z Mơ hồi qui tuyến tính đơn Phương pháp bình phương tối thiểu Hệ số xác định Các giả định mơ hình Kiểm định mức ý nghĩa Sử dụng mơ hình hồi qui ước lượng để ước lượng dự đoán Khái niệm chung X x1 x2 x3 … xi … Y y1 y2 y3 … yi … X: Biến độc lập Y: Biến phụ thuộc Tương quan, hồi qui Y Y X X Y X Hiệp tương quan (Covarian) z z X, Y hai biến X σxy = Cov(X,Y) = E [(X-μx)(Y-μy)] N σ xy = ∑ (x − μ i i =1 i= X )(yi − μ Y ) N Hệ số tương quan tập hợp ρ = Corr ( x, y ) = Cov( x, y ) σ xσ y z z Với σ y2 = i =1 N σ xy σ xσ y N N ∑ ( yi − μ y ) = σ x2 = ∑ (x − μ i =1 i x )2 N Trong σxy hiệp ttương ơng quan q an (covariance) (co ariance) biến Hệ số tương quan tập hợp ρ= E[( X − μ x )(Y − μ y )] E[( X − μ x ) ] * E[(Y − μ y ) ] N ρ= ∑ ( x1 − μ x )( y i − μ y ) i −1 N N i =1 i =1 ∑ (xi − μ x ) *∑ (yi − μ y ) Tính chất chất: - ≤ ρ ≤ z ρ = + : X, Y tương quan tuyến tính dương tuyệt đối z ρ = - : X, Y tương quan tuyến tính âm tuyệt đối z ρ = : X, Y không tương quan tuyến tính Hệ số tương quan mẫu z Hiệp tương quan mẫu (Sample Covariance)) n S X ,Y = Cov ( X , Y ) = ∑ ( x − x)( y i =1 i i − y) n −1 Hệ số tương quan mẫu n r= S xy SxS y = ∑ ( x − x)( y i =1 n i i − y) n ∑ ( x − x) * ∑ ( y i =1 i i =1 i − y )2 n r= ∑ x i y i − nx y i =1 2 ⎛ n ⎞⎛ n ⎞ 2 ⎜ ∑ x i − nx ⎟ ⎜ ∑ y i − ny ⎟ ⎜ ⎟⎜ ⎟ ⎝ i =1 ⎠ ⎝ i =1 ⎠ Hệ số tương quan mẫu -1 ≤ r ≤ r dùng để ước lượng hướng độ mạnh mối quan hệ X,Y z ⏐r⏐ > 0,8 tương quan mạnh z ⏐r⏐ = 0,4 - 0,8 tương quan trung bình z ⏐r⏐ < 0,4 tương quan yếu z ⏐r⏐ ⏐ ⏐ lớn tương quan X Y chặt z Ví dụ z Tính hệ số tương quan biến X X, Y cho tương quan sau: X Y Kiểm định giả thuyết ρ Trường hợp z H0 : ρ = H1 : ρ ≠ R : bác bỏ H0 tn-2 < - tn-2,α/2 hay tn-2 > tn-2, α/2 Với t n −2 = r (1 − r ) /(n − 2) r: hệ số tương quan mẫu n: cỡ mẫu tn-2 : tuân theo phân phối Student t với độ tự n-2 Kiểm định giả thuyết ρ Trường hợp z H0 : ρ = H1 : ρ > R : bác bỏ H0 tn-2 > tn-2, α Với t n −2 = r (1 − r ) /((n − 2) r: hệ số tương quan mẫu n: cỡ mẫu tn-2 : tuân theo phân phối Student t với độ tự n-2 Kiểm định giả thuyết ρ Trường hợp z H0 : ρ = H1 : ρ < R : bác bỏ H0 tn-2 < tn-2, α Với t n −2 = r (1 − r ) /((n − 2) r: hệ số tương quan mẫu n: cỡ mẫu tn-2 : tuân theo phân phối Student t với độ tự n-2 Ví dụ Lấy mẫu ngẫu nhiên biến X, Y giá trị (Xi ,Yi ) cho X 13 18 25 36 19 Y 70 55 100 30 15 20 Tìm hệ số tương quan biến X, Y Kiểm ể định giả thuyết ế cho ằ biến ế X, Y khơng tương quan, với α = 0,05 MƠ HÌNH HỒI QUI TUYẾN TÍNH Phương trình mơ tả y liên hệ với x số hạng sai số gọi mơ hình hồi qui qui Mơ hình hồi qui tuyến tính đơn là:: y = β0 + β1x +ε Với: b0 b1 gọi tham số mơ hình, hình, ε biến ngẫu g nhiên ợ gọ gọi số hạng g sai số số PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ■ Phương trình hồi qui tuyến tính đơn là: E(y) = β0 + β1x • Đồ thị phương trình hồi qui đường thẳng • β0 tung độ gốc đường hồi qui • β1 độ dốc đường hồi qui • E(y) giá trị kỳ vọng y giá trị x cho trước PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ■ Quan hệ tuyến tính đồng biến E(y) Đường hồi qui Tung độ gốc β0 Độ dốc β1 dương x PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ■ Quan hệ tuyến tính nghịch biến E(y) Tung độ gốc β0 Đường hồi qui Độ dốc β1 âm x PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ■ Khơng quan hệ E(y) Đường hồi qui Tung độ gốc β0 Độ dốc β1 Bằng x 10 PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ƯỚC LƯỢNG ■ Phương trình hồi qui tuyến tính đơn ước lượng yˆ = b0 + b1 x • Đồ thị gọi đường hồi qui ước lượng • b0 tung độ gốc đường • b1 độ dốc đường • yˆ giá trị ước lượng y giá trị x cho trước Q TRÌNH ƯỚC LƯỢNG Mơ hình hồi qui y = β0 + β1x +ε Phương trình hồi qui E(y) = β0 + β1x Tham số chưa biết β0, β1 Dữ liệu mẫu x x1 xn y y1 yn b0 b1 Phương trình hồi quii ước lượng l β0 β1 Trị thống kê mẫu Ước lượng yˆ = b0 + b1 x b 0, b 11 PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU z Tiêu chí bình phương tối thiểu i ∑ (y ( i − y$ i ) Với: yi = giá trị quan sát biến phụ thuộc quan sát thứ i yi ^ = giá trị ước lương biến phụ thuộc quan sát thứ I PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU z Độ dốc phương trình hồi qui ước lượng b1 = ∑ (x − x )( y − y ) ∑ (x − x ) i i i n b1 = ∑x y i −1 n i i − nx y ∑ xi2 − n x i =1 12 PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU ■ Tung độ gốc phương trình hồi qui ước lượng b0 = y − b1 x Với: xi = giá trị biến độc lập quan sát thứ i yi = giá trị biến phụ thuộc quan sát thứ i _ x = giá trị trung bình biến ế độc lập _ y = giá trị trung bình biến phụ thược n = tổng số quan sát HỒI QUI TUYẾN TÍNH ĐƠN ■ Ví dụ: Doanh số xe Quảng cáo TV Doanh số xe h i 3 14 24 18 17 27 13 PHƯƠNG TRÌNH HỒI QUI ƯỚC LƯỢNG z Độ dốc phương trình hồi qui ước lượng b1 = ∑ ( x − x )( y − y ) = 20 = ∑ (x − x ) i i i z Tung độ gốc phương trình hồi qui ước lượng b0 = y − b1 x = 20 − 5(2) = 10 z Phương trình hồi qui ước lượng yˆ = 10 + 5x ĐỒ THỊ PHÂN TÁN ĐIỂM VÀ ĐƯỜNG XU HƯỚNG Doanh số xe hơ 30 25 20 y = 5x + 10 15 10 0 Quảng cáo TV 14 ... PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ■ Phương trình hồi qui tuyến tính đơn là: E(y) = β0 + β1x • Đồ thị phương trình hồi qui đường thẳng • β0 tung độ gốc đường hồi qui • β1 độ dốc đường hồi qui •... trước PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ■ Quan hệ tuyến tính đồng biến E(y) Đường hồi qui Tung độ gốc β0 Độ dốc β1 dương x PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ■ Quan hệ tuyến tính nghịch biến... hồi qui Độ dốc β1 âm x PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ■ Khơng quan hệ E(y) Đường hồi qui Tung độ gốc β0 Độ dốc β1 Bằng x 10 PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ƯỚC LƯỢNG ■ Phương trình hồi