ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI PHẠM THỊ HƯƠNG HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - NĂM 2015 ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI PHẠM THỊ HƯƠNG HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG Chuyên ngành: LTXS & TKT Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC Người hướng dẫn khoa học: GS TSKH ĐẶNG HÙNG THẮNG HÀ NỘI - NĂM 2015 MỞ ĐẦU Phân tích hồi quy phương pháp có ứng dụng rộng rãi phương pháp thống kê Hiện nay, mô hình hồi quy sử dụng nhiều quản trị kinh doanh, kinh tế, kỹ thuật xã hội, y tế, khoa học sinh học Các mô hình hồi quy đa dạng bao gồm: hồi quy tuyến tính, hồi quy phi tuyến Các loại mô hình gồm nhiều dạng nhỏ phức tạp Ứng dụng thành công mô hình đòi hỏi hiểu biết sâu lý thuyết vấn đề thiết thực mà gặp phải việc sử dụng mô hình tình thực tế sống Anon viết "Cho người vũ khí: hệ số tương quan, hồi quy tuyến tính bút, người sử dụng 3" Là giảng viên trường cao đẳng, muốn nghiên cứu sâu hồi quy tuyến tính hồi quy phi tuyến nhằm nâng cao chuyên môn phục vụ cho trình giảng dạy, nên chọn đề tài làm luận văn thạc sĩ là: "Hồi quy bội tuyến tính Hồi quy phi tuyến ứng dụng" Mục đích luận văn đưa dạng hồi quy tuyến tính bội, hồi quy phi tuyến, kết phân tích để ứng dụng vào mô hình hữu ích thực tế Bản luận văn chia làm chương: Chương 1: Hồi quy bội tuyến tính Trình bày mô hình hồi quy bội tuyến tính, ước lượng hồi quy bội phân tích ước lượng hồi quy Chương 2: Hồi quy phi tuyến mô hình mạng Nơ ron Chương trình bày số mô hình hồi quy phi tuyến thường gặp, ước lượng mô hình việc phân tích, xây dựng chẩn đoán mô hình Chương 3: Ứng Dụng Đề cập đến ứng dụng mô hình hồi quy bội tuyến tính hồi quy phi tuyến thực tế Trong ứng dụng có nhấn mạnh đến việc xây dựng mô hình, ước lượng tham số đánh giá mô hình Mặc dù có nhiều cố gắng, xong nhiều yếu tố khách quan chủ quan, nên trình chọn lọc tư liệu trình bày nội dung khó tránh khỏi thiếu sót Vì mong nhận ý kiến bảo thầy cô, góp ý chân thành bạn học viên để luận văn hoàn thiện Lời cảm ơn Tôi xin bày tỏ lòng kính trọng lòng biết ơn sâu sắc đến GS TSKH Đặng Hùng Thắng, người thầy tận tình giảng dạy, truyền thụ kiến thức bổ ích tạo điều kiện để hoàn thành luận văn Thầy dành nhiều thời gian hướng dẫn giải đáp thắc mắc suốt trình thực đề tài Tôi xin gửi lời cảm ơn chân thành tới thầy cô Khoa Toán - Cơ - Tin học, Phòng sau đại học Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội; thầy cô tham gia giảng dạy khóa cao học 2013 -2015; Ban giám hiệu đồng nghiệp trường Cao Đẳng Kinh Tế Kỹ Thuật Thương Mại Hà Nội tạo điều kiện thuận lợi cho hoàn thành luận văn Cuối cùng, xin chân thành cảm ơn gia đình động viên suốt trình học tập nghiên cứu khoa học Hà Nội, tháng 12 năm 2015 Học viên Phạm Thị Hương Mục lục HỒI QUY BỘI TUYẾN TÍNH 1.1 Nhắc lại hồi quy đơn tuyến tính 1.2 Các mô hình hồi quy bội 1.2.1 Sự cần thiết phải đưa nhiều biến dự báo 1.2.2 Mô hình bậc với hai biến dự báo 1.2.3 Mô hình bậc với nhiều hai biến dự báo 1.2.4 Mô hình hồi quy tuyến tính tổng quát 1.3 Dạng ma trận mô hình hồi quy tuyến tính tổng quát 1.4 Ước lượng hệ số hồi quy 1.5 Ước lượng mẫu phần dư 1.6 Các kết phân tích phương sai 1.7 Các kết luận tham số hồi quy 1.8 Ước lượng trung bình đáp ứng dự báo quan sát 1.9 Chẩn đoán biện pháp khắc phục HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 2.1 Mô hình hồi quy tuyến tính phi tuyến 2.2 Ước lượng tham số hồi quy 2.3 Ước lượng bình phương cực tiểu hồi quy phi tuyến 2.3.1 Nghiệm phương trình chuẩn 2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton 2.3.3 Các thủ tục tìm kiếm trực tiếp khác 2.4 Xây dựng chẩn đoán mô hình 2.5 Các kết luận tham số hồi quy phi tuyến 2.5.1 Ước lượng phương sai sai số 2.5.2 Định lí mẫu lớn 2.5.3 Khi định lý mẫu lớn dùng được? 6 13 13 14 17 17 23 25 26 26 30 31 35 42 42 47 48 49 50 55 56 57 57 57 58 Phạm Thị Hương Luận văn thạc sỹ khoa học 2.6 2.5.4 Biện pháp khắc phục hậu 2.5.5 Khoảng ước lượng γk 2.5.6 Khoảng tin cậy đồng thời cho số γk 2.5.7 Kiểm tra tính liên quan tham số γk 2.5.8 Kiểm định đồng thời số γk Giới thiệu mô hình mạng Nơ ron 2.6.1 Mô hình mạng Nơ ron 2.6.2 Mạng đại diện 2.6.3 Mạng Nơ ron tổng quát hồi quy tuyến tính 2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized 2.6.5 Một số bình luận cuối mô hình mạng Nơ ron Ứng dụng 3.1 Ứng dụng 1: Dự báo doanh số bán hàng 3.1.1 Đặt toán 3.1.2 Các tính toán 3.1.3 Ước lượng hàm hồi quy 3.1.4 Các ước lượng mẫu phần dư 3.1.5 Phân tích phù hợp mô hình 3.1.6 Phân tích phương sai 3.1.7 Ước lượng tham số hồi quy 3.1.8 Ước lượng trung bình đáp ứng 3.1.9 Giới hạn dự báo cho quan sát 3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau 3.3 Ứng dụng 3: Đường cong học tập 3.4 Ứng dụng 4: Bệnh thiếu máu tim xuất viện 60 60 61 61 61 62 62 65 67 68 69 71 71 71 73 75 76 77 79 81 82 83 84 95 99 KẾT LUẬN 105 Tài liệu tham khảo 106 Chương HỒI QUY BỘI TUYẾN TÍNH 1.1 Nhắc lại hồi quy đơn tuyến tính 1.1.1 Mô hình dạng chuẩn Xét mô hình hồi quy đơn tuyến tính (còn gọi hồi quy tuyến tính đơn hay gọi tắt hồi quy đơn) với biến dự báo hàm hồi quy tuyến tính Mô hình xây dựng sau: Y i = β0 + β1 X i + εi Trong Yi : β0 , β1 : Xi : εi : (1.1) đó: Giá trị biến đáp ứng thử nghiệm thứ i Tham số Hằng số, giá trị biến dự báo thử nghiệm thứ i Sai số ngẫu nhiên với trung bình E{εi } = 0; phương sai σ {εi } = σ ; εi εj không tương quan Mô hình hồi quy (1.1) gọi đơn, tuyến tính với tham số tuyến tính với biến dự báo "Đơn" biến dự báo 1.1.2 Các đặc trưng quan trọng mô hình Giá trị đáp ứng Yi thử nghiệm thứ i tổng hai thành phần: (1) điều kiện số β0 + β1 Xi (2) điều kiện ngẫu nhiên εi Do đó, Yi biến ngẫu nhiên Do E{εi } = nên E{Yi } = β0 + β1 Xi (1.2) Phạm Thị Hương Luận văn thạc sỹ khoa học Vậy hàm hồi quy cho mô hình (1.1) là: E{Y } = β0 + β1 X (1.3) Giá trị đáp ứng Yi thử nghiệm thứ i sai khác với giá trị hàm hồi quy lượng sai số εi Sai số εi giả định có phương sai không đổi σ nên đáp ứng Yi có phương sai không đổi: σ {Yi } = σ (1.4) Do vậy, mô hình hồi quy (1.1) giả định phân phối xác suất Y có phương sai σ Các sai số giả định không tương quan Do εi εj không tương quan nên đáp ứng Yi Yj không tương quan Tóm lại, mô hình (1.1) đáp ứng Yi có phân phối xác suất mà trung bình E{Yi } = β0 + β1 Xi phương sai σ với giá trị X Hơn nữa, hai giá trị đáp ứng Yi Yj không tương quan 1.1.3 Dạng biến đổi mô hình hồi quy Đôi mô hình hồi quy (1.1) viết dạng khác Đặt X0 số có giá trị Khi mô hình (1.1) viết sau: Yi = β0 X0 + β1 Xi + εi X0 ≡ (1.5) dạng ứng với giá trị biến X có hệ số hồi quy Phép biến đổi sau dùng cho độ lệch biến dự báo Xi − X¯ thay cho Xi Từ (1.1) viết: ¯ + β1 X ¯ + εi Yi = β0 + β1 (Xi − X) ¯ + β1 (Xi − X) ¯ + εi = (β0 + β1 X) ¯ + εi = β0∗ + β1 (Xi − X) Phạm Thị Hương Luận văn thạc sỹ khoa học Do dạng mô hình biến đổi là: ¯ + εi Yi = β0∗ + β1 (Xi − X) (1.6) ¯ β0∗ = β1 X (1.6a) đó: 1.1.4 Ước lượng hàm hồi quy Các liệu quan sát thí nghiệm sử dụng cho việc ước lượng tham số hàm hồi quy bao gồm quan sát biến dự báo X biến đáp ứng Y Với thử nghiệm, có giá trị quan sát X tương ứng giá trị quan sát Y Chúng ta biểu diễn quan sát (X, Y ) cho thử nghiệm thứ (X1 , Y1 ), cho thử nghiệm thứ hai (X2 , Y2 ) tổng quát cho thử nghiệm thứ i (Xi , Yi ) i = 1, 2, , n Phương pháp bình phương cực tiểu Để tìm ước lượng "tốt" cho tham số hồi quy β0 β1 thường dùng phương pháp bình phương cực tiểu Đối với quan sát (Xi , Yi ), phương pháp bình phương cực tiểu xem xét độ lệch Yi với kì vọng nó: Yi − (β0 + β1 Xi ) (1.7) Phương pháp đòi hỏi xem xét tổng n độ lệch bình phương Tổng gọi hàm tiêu chuẩn Q: n (Yi − β0 − β1 Xi )2 Q= (1.8) i=1 Theo phương pháp bình phương cực tiểu, ước lượng β0 β1 tương ứng b0 b1 làm cực tiểu hóa hàm tiêu chuẩn Q mẫu quan sát (X1 , Y1 ), (X2 , Y2 ), , (Xn , Yn ) đưa Các ước lượng b0 b1 thỏa mãn hàm tiêu chuẩn bình phương cực tiểu xác định hai cách: Các thủ tục tìm kiếm số sử dụng ước lượng cách có hệ thống ước lượng b0 b1 khác tìm giá trị cực tiểu Phạm Thị Hương Luận văn thạc sỹ khoa học Hình 3.7: biểu đồ chuẩn đoán phần dư Từ bảng 3.3a ta thấy tổng bình phương sai số cuối SSE = 49.4593 Do p = tham số đưa hàm đáp ứng phi tuyến (3.13), ta có: M SE = 49.4593 SSE = = 3.80456 n−p 15 − Bảng 3.3b trung bình bình phương này, bảng 3.3c chứa ma trận hiệp phương sai ước lượng mẫu lớn hệ số hồi quy ước lượng Ma trận (D D)−1 dựa vào ước lượng hệ số hồi quy g đưa mà không tính toán chi tiết Từ bảng 3.3c ta thấy s2 {g0 } = 2.1672 s2 {g1 } = 000002928 Ước lượng độ lệch chuẩn hệ số hồi quy đưa bảng 3.3b Để kiểm tra phù hợp phương sai mẫu lớn hệ số hồi quy ước lượng tính ứng dụng kết luận mẫu lớn trường hợp tổng quát, ta tạo 1,000 mẫu chương trình khởi động với cỡ 15 Thủ tục cố định mẫu X dùng mô hình dạng mũ phù hợp tốt với liệu phương sai sai số không đổi Biểu đồ hình cột phân phối mẫu ứng với g0∗ g1∗ hình 3.8 với vài đặc tính phân phối Ta thấy phân phối g0∗ gần với phân phối chuẩn Phân phối g1∗ phân phối mẫu nghiêng sang trái, độ lệch tính chuẩn dường không 92 Phạm Thị Hương Luận văn thạc sỹ khoa học tốt Các trung bình phân phối ký hiệu g¯0∗ g¯1∗ gần với ước lượng bình phương cực tiểu cuối, nghiêng ước lượng không đáng kể Hình 3.8: Phân phối mẫu bootstrap g¯0∗ = 58.67 g¯1∗ = −.03936 g0 = 58.61 g1 = −.03959 Hơn nữa, độ lệch chuẩn phân phối mẫu chương trình khởi động gần với độ lệch chuẩn mẫu lớn bảng 3.3b s∗ {g0∗ } = 1.423 s∗ {g1∗ } = 00142 s{g0 } = 1.472 s{g1 } = 00171 Tất số đưa phù hợp kết luận mẫu lớn trường hợp này, chí dù cỡ mẫu (n = 15) không lớn Nếu muốn ước lượng γ1 với độ tin cậy 95% ta có t(.975; 13) = 2.160 từ bảng 3.3b có g1 = −.03959 s{g1 } = 00171 Do đó, giới hạn tin cậy −.03959 ± 2.160(.00171), khoảng tin cậy 95% cho γ1 là: −.0433 ≤ γ1 ≤ −.0359 93 Phạm Thị Hương Luận văn thạc sỹ khoa học Như ta kết luận với độ tin cậy 95% γ1 nằm -.0433 -.0359 Để xác định phù hợp khoảng tin cậy mẫu lớn này, ta làm với độ tin cậy chương trình khởi động 95% cho γ1 Ta có: d1 = g1 − g1∗ (.025) = −.03959 + 4207 = 00248 d2 = g1∗ (.975) − g1 = −.03681 + 03959 = 00278 Giới hạn tin cậy là: g1 − d2 = −.03959 − 00278 = −.04237 g1 + d1 = −.03959 + 00248 = −.03711 Do đó, khoảng tin cậy 95% −.0424 ≤ γ1 ≤ −.03711 Khoảng tin cậy gần với khoảng tin cậy mẫu lớn, suy luận mẫu lớn phù hợp Muốn có khoảng ước lượng đồng thời cho γ0 γ1 với hệ số tin cậy 90% Với thủ tục Bonferroni ta cần tách khoảng tin cậy cho hai tham số, loại với hệ số tin cậy 95% Chúng ta thu khoảng tin cậy cho γ1 với hệ số tin cậy 95% Tuyên bố 95% giới hạn tin cậy cho γ0 , sử dụng kết bảng 3.3b, 58.6065 ± 2.160(1.472) khoảng tin cậy cho γ0 là: 55.43 ≤ γ0 ≤ 61.79 Do đó, khoảng tin với hệ số tin cậy đồng thời 90%: 55.43 ≤ γ0 ≤ 61.79 −.0433 ≤ γ1 ≤ −.0359 (3.16) Ta muốn kiểm định: H0 : γ0 = 54 Ha : γ0 = 54 Thống kê kiểm định (2.36b) là: t∗ = 58.6065 − 54 = 3.13 1.472 với α = 01 ta có t(.995; 13) = 3.012 Do |t∗ | = 3.13 > 3.012 chấp nhận giả thuyết Ha γ0 = 54 Giá trị P xấp xỉ hai phía kiểm định 008 94 Phạm Thị Hương Luận văn thạc sỹ khoa học 3.3 Ứng dụng 3: Đường cong học tập Đường cong học tập ứng dụng để minh họa cho mô hình hồi quy phi tuyến Một công ty sản xuất sản phẩm điện tử tiến hành sản xuất sản phẩm hai địa điểm (địa điểm A: mã X1 = địa điểm B: mã X1 = 0) Địa điểm B có sở đại kỳ vọng hiệu địa điểm A, chí sau thời gian học tập ban đầu Một kỹ sư công nghiệp tính toán chi phí đơn vị dự kiến cho địa điểm mà thể phần kỳ vọng giá Đối ứng phần độ đo hiệu tương đối độ đo hiệu tương đối dùng biến đáp ứng Y nghiên cứu Bảng 3.4: liệu cho ứng dụng đường cong học tập 95 Phạm Thị Hương Luận văn thạc sỹ khoa học Biết hiệu tăng theo thời gian sản phẩm sản xuất ra, cải tiến cuối thường giảm trình trở nên ổn định Do dó, ứng dụng định sử dụng mô hình hàm mũ với tiệm cận để diễn tả mối quan hệ hiệu Y thời gian X2 , để kết hợp hiệu ứng liên tục cho khác biệt hai địa điểm sản xuất Mô hình định là: Yi = γ0 + γ1 Xi1 + γ3 exp(γ2 Xi1 ) + εi (3.17) đó, γ2 γ3 âm, γ0 tiêm cận cho địa điểm B X2 lớn, γ0 + γ1 tiệm cận cho địa điểm A Các tham số γ2 γ3 phản ánh tốc độ học tập, mà kỳ vọng hai địa điểm Các liệu hàng tuần hiệu sản xuất liên quan đến địa điểm có sẵn Dể đơn giản cho việc biểu diễn ta dùng quan sát cho tuần lựa chọn 90 tuần đầu việc sản xuất Dữ liệu địa điểm, tuần hiệu suất tương đối biểu diễn bảng 3.4; biểu đồ liệu hình 3.9 Hình 3.9: biểu đồ phân tán đường cong học tập 96 Phạm Thị Hương Luận văn thạc sỹ khoa học Chú ý học tập tương đối nhanh hai địa điểm, hiệu suất tương đối địa điểm B phía cuối 90 tuần chí vượt 1,0; tức là, đơn vị chi phí thực tế giai đoạn thấp so với chi phí đơn vị dự kiến kỹ sư công nghiệp Mô hình hồi quy (3.17) phi tuyến với tham số γ2 γ3 Do đó, thủ tục ước lượng tìm kiếm số thực hiện, với giá trị khởi đầu cho tham số cần thiết Điều phát triển phần từ kinh nghiệm có trước, phần từ phân tích liệu Các nghiên cứu trước γ3 gần với -.5 nên g3(0) = −.5 sử dụng làm giá trị khởi đầu Do khác biệt hiệu suất tương đối địa điểm A B cho tuần có trung bình -.0459 suốt 90 tuần, giá trị khởi đầu g1(0) = −.0459 Hiệu suất tương đối lớn theo quan sát cho địa điểm B 1.028, giá trị khởi đầu g0(0) = 1.025 hợp lý Phần lại chọn giá trị khởi đầu cho γ2 Điều chọn cách lựa chọn quan sát hiệu suất tương đối điển hình khoảng thời kì, Y2 = 1.012, tương ứng X24,1 = 0, X24,2 = 30 giá trị khởi đầu cho hệ số hồi quy khác (bỏ qua sai số): 1.012 = 1.025 − (.5) exp(30γ2 ) (0) γ2 nghiệm phương trình nên giá trị khởi đầu g2 = −.122 Kiểm định cho số quan sát đại diện khác ta có giá trị khởi đầu tương tự, (0) g2 = −.122 xem xét giá trị khởi đầu đáng tin cậy Với bốn giá trị khởi đầu g0(0) = 1.025, g1(0) = −.0459, g2(0) = −.122, g3(0) = −.5, gói tính toán chương trình tìm kiếm số trực tiếp thực để có ước lượng bình phương cực tiểu Các hệ số hồi quy bình phương cực tiểu ổn định sau năm bước lặp Các ước lượng cuối cùng, với độ lệch chuẩn ước lượng mẫu lớn phân phối mẫu biểu diễn bảng 3.5, cột Vậy mô hình hồi quy phù hợp là: Yˆ = 1.0156 − 4727X1 − (.5524) exp(−.1348X2 ) (3.18) Tổng bình phương sai số SSE = 00329 với 30-4=26 bậc tự Hình 3.9 biểu diễn hàm hồi quy phù hợp cho hai địa điểm biểu đồ liệu Sự phù hợp dường tốt, biểu đồ phần dư (không đưa ra) không điểm khởi đầu đáng ý từ mô hình giả định 97 Phạm Thị Hương Luận văn thạc sỹ khoa học Để xem xét tính ứng dụng thủ tục kết luận mẫu lớn đây, chương trình khởi động mẫu X sử dụng Một nghìn mẫu chương trình khởi động cỡ mẫu 30 đưa bảng 3.5: Ước lượng bình phương cực tiểu phi tuyến độ lệch chuẩn Hình 3.10: biểu đồ Histogram phân phối mẫu bootstrap Ước lượng trung bình chương trình khởi động độ lệch chuẩn cho phân phối mẫu biểu diễn bảng 3.5, cột Mỗi bình phương cực tiểu gk cột bảng 3.5 gần với giá trị trung bình g¯k∗ phân phối mẫu chương trình khởi động cột Điều ước lượng có độ lệch nhỏ Mặt khác, độ lệch chuẩn mẫu lớn s{gk } cột bảng 3.5 gần với độ lệch chuẩn chương trình khởi động tương ứng s∗ {gk∗ } cột 4, đưa tính ứng dụng thủ tục suy luận mẫu lớn Hình 3.10 biểu đồ cột MINITAB bốn phân phối mẫu chương trình khởi động Chúng đưa để phù hợp với phân phối mẫu xấp xỉ chuẩn Tất kết cách lấy mẫu ước lượng hồi quy phi tuyến gần với tuyến tính dùng kết luận mẫu lớn 98 Phạm Thị Hương Luận văn thạc sỹ khoa học Đặc biệt quan tâm đến tham số γ1 , tham số phản ánh hiệu địa điểm Cần xây dựng khoảng tin cậy 95% cho tham số Ta có t(.975; 26) = 2.056 độ lệch chuẩn ước lượng từ bảng 3.5 s{g1 } = 004109 Do đó, giới hạn tin cậy 95% cho γ1 là: −.04727 ± 2.056(.004109) Khi đó: −.0557 ≤ γ1 ≤ −.0388 Một khoảng tin cậy 95% cho γ1 phương pháp từ chương trình khởi động đưa để so sánh Đó là: −.0547 ≤ γ1 ≤ −.0400 Kết gần với kết có kết luận mẫu lớn Vì γ1 âm, khoảng tin cậy xác nhận địa điểm A với sở đại dẫn đến có hiệu Bình luận Khi mô hình đường cong học tập phù hợp với liệu cấu thành từ quan sát lặp lại đơn vị, ví dụ hiệu liệu cho đơn vị sản xuất thời điểm khác nhau, sai số hiệu chỉnh Do đó, trường hợp điều quan trọng để xác định có hay không mô hình giả định sai số không tương quan đáng tin cậy Trong ứng dụng đường cong học tập, biểu đồ phần dư thời gian không cho thấy mối tương quan nghiêm trọng sai số Với mô hình đường cong học tập, không thấy phương sai sai số không Vì vậy, điều quan trọng để kiểm tra xem có hay không giả định phương sai không đổi hợp lý Trong ứng dụng đường cong học tập, biểu đồ phần dư giá trị phù hợp thời gian không đưa vấn đề biến ngẫu nhiên nghiêm trọng 3.4 Ứng dụng 4: Bệnh thiếu máu tim Ứng dụng bệnh thiếu máu tim để minh họa việc sử dụng mô hình mạng Nơ ron (2.37) thủ tục phù hợp bình phương cực tiểu penalty, sử dụng tập 99 Phạm Thị Hương Luận văn thạc sỹ khoa học liệu bệnh nhân thiếu máu tim Dữ liệu sưu tập dự án bảo vệ sức khỏe đưa thông tin liên quan đến 788 người phát sinh từ bệnh tim mạch vành Biến đáp ứng Y đối số tự nhiên tổng giá dịch vụ cung cấp biến dự báo nghiên cứu là: biến dự báo Mô tả X1 số lượng can thiệp hay thủ tục thực X2 Số lượng thuốc theo dõi sử dụng X3 Số lượng bệnh kèm - điều kiện khác có làm phức tạp điều trị X4 Số lượng biến chứng - điều kiện khác phát sinh trình điều trị bệnh tim 400 quan sát sử dụng để phù hợp mô hình (2.38) n∗ = 388 quan sát xác nhận (Chú ý quan sát gốc xếp theo thứ tự ngẫu nhiên, việc đưa liệu hoàn toàn ngẫu nhiên) Sử dụng JMP để phù hợp đánh giá mô hình mạng Nơ ron Hình 3.11: JMP control panel cho phù hợp mô hình mạng Nơ ron Hình 3.11 bảng điều khiển JMP cho phép người dùng xác định đặc trưng khác mô hình thủ tục phù hợp Ở đây, ta chọn nút ẩn dùng λ = 05 trọng số penalty Cũng vậy, chọn giá trị mặc định cho số lượng tour (20), số lượng cực đại bước lặp cho thủ tục tìm kiếm (50) tiêu chuẩn hội tụ (.00001) Bằng cách kiểm tra hộp đăng nhập tour, ta 100 Phạm Thị Hương Luận văn thạc sỹ khoa học trì mảng kết tour 20 tour Một đại diện Hình 3.12: sơ đồ mạng Nơ ron JMP JMP mô hình (2.38) hình 3.12 Chú ý rằng, đại diện không bao gồm nút X0 H0 Ta có m = nút ẩn p = nút biến dự báo, cần ước lượng m + p(m − 1) = + 5(6 − 1) = 31 tham số Hình 3.13: kết JMP cho phù hợp mạng Nơ ron Sau 20 phép thử kết phù hợp tốt hình 3.13 Giá trị tiêu chuẩn bình phương cực tiểu penalty 125.31, SSE cho biến đáp ứng tỉ lệ 120.90 JMP SSE ứng với biến đáp ứng không tỉ lệ (gốc) 101 Phạm Thị Hương Luận văn thạc sỹ khoa học 441.30 Sai số dự báo tổng thể cho việc xác nhận liệu là: 788 SSEV AL = (Yi − Yˆi )2 = 407.68 i=401 Sai số dự báo bình phương trung bình có M SP R = SSEV AL /n∗ = 407.68/388 = 1.05 JMP đưa R2 cho huấn luyện liệu (.6962) cho xác nhận liệu (.7024) Sau chẩn đoán có sử dụng: RV2 AL = − SSEV AL SSTV AL SSTV AL tổng bình phương tổng thể cho liệu xác nhận Vì giá trị R2 xấp xỉ bằng, ta kết luận sử dụng trọng số penalty λ = 05 dẫn tới cân tốt chưa phù hợp phù hợp Hình 3.14: tham số ước lượng JMP cho mạng Nơ ron Hình 3.14 đưa 31 tham số ước lượng thực JMP giá trị ước lượng tham số Các kết hiển thị cho đầy đủ không giải thích điều quan tâm tập chung vào dự báo đáp ứng tương lai 102 Phạm Thị Hương Luận văn thạc sỹ khoa học Để so sánh hai bình phương cực tiểu Y bốn biến dự báo X1 , X2 , X3 X4 có, trước tiên dựa vào mô hình bậc bao gồm biến dự báo giá trị chặn; sau dựa vào mô hình bậc hai bao gồm giá trị chặn thêm vào điều kiện tuyến tính, điều kiện bình phương tương tác biến Các kết cho hai mô hình hồi quy bội mô hình mạng Nơ ron tổng kết bảng 3.6 Bảng 3.6: so sánh kết mô hình mạng Nơ ron mô hình hồi quy bội tuyến tính Hình 3.15: biểu đồ ảnh hưởng có điều kiện Từ kết này, ta thấy khả mô hình mạng nơ ron dự báo đáp ứng đưa cao mô hình hồi quy bội bậc M SP R cho mạng nơ ron 103 Phạm Thị Hương Luận văn thạc sỹ khoa học 1.05, thống kê cho mô hình hồi quy bội bậc bậc 1.28 1.09 Giải thích dự báo mô hình Trong tham số riêng biệt dự báo gốc thường khả giải thích, số hiểu biết ảnh hưởng dự báo riêng biệt nhận thông qua sử dụng biểu đồ ảnh hưởng có điều kiện Ví dụ, hình 3.15 biểu đồ dự báo đáp ứng hàm số lượng can thiệp (X2 ) với thời gian (X1 )nhận giá 160 Các yếu tố dự báo lại, bệnh kèm (X3 = 3.55) biến chứng (X4 = 05) cố định trung bình cộng chúng cho giá trị tập hợp huấn luyện Biểu đồ đối số tự nhiên giá tăng nhanh chóng số lượng can thiệp tăng từ tới 25, đạt đỉnh cao ổn định số lượng can thiệp tăng từ 25 đến 50 Biến thời gian dường có ảnh hưởng ít, ngoại trừ khả can thiệp nằm khoảng 10 Ta ý mô hình mạng nơ ron công cụ hiệu cho việc dự báo có tập liệu lớn Điều quan trọng không chắn dự đoán định lượng Các phương pháp cho việc xác định khoảng tin cậy cho ước lượng dự báo phát triển số gói JMP cung cấp khoảng tin cậy 104 KẾT LUẬN Kiến thức hồi quy bội tuyến tính hồi quy phi tuyến nhiều người quan tâm bàn luận Tuy nhiên, luận văn "Hồi quy bội tuyến tính, hồi quy phi tuyến ứng dụng" đạt số kết sau: Trình bày cách hệ thống kiến thức mô hình hồi quy bội tuyến tính hồi quy phi tuyến Trình bày cách ước lượng, chẩn đoán biện pháp khắc phục mô hình Trình bày số ứng dụng thực tế hai loại mô hình hồi quy Một số hướng phát triển tiếp theo: - Nghiên cứu thêm dạng khác mô hình hồi quy bội tuyến tính hồi quy phi tuyến - Ứng dụng mô hình hồi quy bội tuyến tính hồi quy phi tuyến vào số lĩnh vực thực tế khác - Phát triển việc phân tích mô hình phần mềm ứng dụng R Mặc dù cố gắng, trình độ thời gian có hạn, luận văn không tránh khỏi thiếu sót Tác giả luận văn mong muốn nhận góp ý thầy cô bạn đồng nghiệp để luận văn hoàn chỉnh 105 Tài liệu tham khảo [1] Phạm Hữu Đức Dục (2009),Mạng Nơ ron ứng dụng điều khiển tự động, Nhà xuất khoa học kỹ thuật [2] Đào Hữu Hồ - Nguyễn Văn Hữu - Hoàng Hữu Như, Thống kê toán học, Nhà xuất Đại Học Quốc Gia [3] Đặng Hùng Thắng (2005),Thống kê Ứng dụng, Nhà xuất Giáo dục [4] John Neter - William Wasserman - Michael H.Kutner (1983), Applied linear regression models, Richard D.Irwin,INC [5] Kutner- Nachtsheim - Neter (2004), Applied linear regression models 106 [...]... biến dự báo chìa khóa tác động đến biến đáp ứng theo các cách đặc biệt và quan trọng Hơn nữa, trong những tình huống này, chúng ta thường thấy rằng các dự báo của biến đáp ứng dựa vào mô hình chỉ có một biến dự báo riêng lẻ là việc sử dụng không chính xác Vì vậy các mô hình hồi quy bội tuyến tính (còn gọi là hồi quy tuyến tính bội hay gọi tắt là hồi quy bội) được đưa ra Trong mỗi ví dụ vừa đề cập,... giữa Yi và mặt phẳng đáp ứng biểu thị cho sự khác biệt giữa Yi và giá trị trung bình E{Y } Do đó, khoảng cách từ Yi tới mặt phẳng đáp ứng biểu thị cho sai số εi = Yi − E{Yi } Thông thường, trong hồi quy bội, hàm hồi quy được gọi là mặt hồi quy hay mặt đáp ứng Trong hình (1.1), mặt đáp ứng là một mặt phẳng nhưng trong các trường hợp khác mặt đáp ứng có thể phức tạp hơn Ý nghĩa của các tham số hồi quy Với... mô hình hồi quy tuyến tính tổng quát (1.29).(1.34) minh họa một mô hình hồi quy tuyến tính mà hàm đáp ứng là phương trình bậc hai, các mô hình với hàm đáp ứng đa thức bậc cao hơn cũng là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát Biến biến đổi Các mô hình với biến biến đổi liên quan đến hàm đáp ứng là các đường cong phức tạp vẫn là trường hợp đặc biệt của mô hình hồi quy tuyến tính... Phạm Thị Hương Luận văn thạc sỹ khoa học là hàm tuyến tính đối với Yi Ước lượng điểm của trung bình đáp ứng Từ các ước lượng b0 và b1 của các tham số trong hàm hồi quy (1.3): E{Y } = β0 + β1 X ta ước lượng hàm hồi quy như sau: Yˆ = b0 + b1 X (1.11) với Yˆ là giá trị ước lượng của hàm hồi quy ứng với giá trị X của biến dự báo Gọi giá trị của biến đáp ứng là đáp ứng và E{Y } là trung bình đáp ứng nên... hình hồi quy tuyến tính tổng quát Nó chứa các điều kiện bình phương hoặc mũ cao hơn của các biến dự báo, khi đó hàm đáp ứng là một đường cong Đây là mô hình hồi quy đa thức với một biến dự báo: Yi = β0 + β1 Xi + β2 Xi2 + εi (1.34) Mặc dù hàm đáp ứng của mô hình hồi quy (1.34) là đường cong nhưng nó chỉ là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát (1.29) Nếu chúng ta cho Xi1 = Xi và. .. đối với mô hình hồi quy (1.1) E{M SE} = σ 2 Và ước lượng của độ lệch chuẩn đơn giản là s = 12 (1.22) √ M SE Phạm Thị Hương Luận văn thạc sỹ khoa học 1.2 1.2.1 Các mô hình hồi quy bội Sự cần thiết phải đưa ra nhiều biến dự báo Các mô hình hồi quy bao gồm một biến đáp ứng hay biến phản hồi và một số lượng các biến dự báo Ta xét một mô hình mà biến đáp ứng là doanh thu của một công ty và biến dự báo được... hình hồi quy tuyến tính tổng quát (1.29) Ý nghĩa tuyến tính trong mô hình hồi quy tuyến tính tổng quát Ý nghĩa này cần thể hiện rõ ràng từ các ví dụ khác nhau của mô hình tuyến tính tổng quát (1.29) không giới hạn đến mặt đáp ứng tuyến tính Điều kiện mô hình tuyến tính đề cập đến một thực tế là mô hình (1.29) là tuyến tính với các tham số, không phải đề cập đến hình dáng của mặt đáp ứng 22 Phạm Thị Hương. .. = Xh (X X)−1 Xh (1.78) đây là ước lượng không chệch: và phương sai: Phương sai này là một hàm của ma trận hiệp phương sai của các ước lượng hệ số hồi quy: σ 2 {Yˆh } = Xh σ 2 {b}Xh (1.78a) Từ (1.78a) ta thấy phương sai σ 2 {Yˆh } là một hàm của phương sai σ 2 {bk } và của hiệp phương sai σ{bk ; bk }, giống như hồi quy tuyến tính đơn Các ước lượng phương sai s2 {Yˆh } được tính như sau: s2 {Yˆh } = M... của các trường hợp Một mô hình hồi quy có thể có sự kết hợp của một số trường hợp ở trên và ta vẫn có thể đưa được về mô hình hồi quy tuyến tính tổng quát Xét mô hình hồi quy với hai biến dự báo sau có chứa các điều kiện tuyến tính và bình phương cho mỗi biến và một điều kiện tương tác: 2 2 Yi = β0 + β1 Xi1 + β2 Xi1 + β3 Xi2 + β4 Xi2 + β5 Xi1 Xi2 + εi 21 (1.38) Phạm Thị Hương Luận văn thạc sỹ khoa học... X1 + β2 X2 (1.24) Với mô hình hồi quy đơn tuyến tính, hàm hồi quy E{Y } = β0 + β1 X1 là một đường thẳng Ở đây, hàm hồi quy (1.24) là một mặt phẳng Hình (1.1) đưa ra một phần mặt phẳng đáp ứng: E{Y } = 10 + 2X1 + 5X2 (1.25) Chú ý rằng điểm bất kỳ trên mặt phẳng đáp ứng (1.25) tương ứng với giá trị trung bình E{Y } ứng với X1 và X2 Hình (1.1) chỉ ra một quan sát Yi tương ứng với giá trị (Xi1 , Xi2 )