Chương Hồi quy tuyến tính đơn giản Mô hình hồi quy tuyến tính đơn giản Phương pháp bình phương bé Hệ số xác định Các giả định mô hình Kiểm định ý nghóa Công cụ hồi quy Excel Dùng phương trình hồi quy ước lượng để ước lượng dự đoán Phân tích phần dư: Xác nhận tính hợp lệ giả định mô hình Các phần tử bất thường quan sát có ảnh hưởng GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Phân tích hồi quy Phân tích hồi quy nghiên cứu mối liên hệ phụ thuộc biến (gọi biến phụ thuộc hay biến giải thích) vào hay nhiều biến khác (được gọi (các) biến độc lập hay giải thích) với ý tưởng ước lượng dự báo biến phụ thuộc sở giá trị cho (các) biến độc lập Biến phụ thuộc biến ngẫu nhiên, có quy luật phân phối xác suất (Các) biến độc lập biến ngẫu nhiên, giá trị chúng cho trước GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Mối liên hệ tuyến tính Lượng cầu thịt bò, y ∈ (1) Giá thịt bò (x1) (2) Giá mặt hàng thay (x2) (3) Thu nhập người tiêu dùng (x3) (4) Tập quán, thị hiệu, sở thích người tiêu dùng (x4) (5) Quy mô thị trường (x5) Biểu diễn dạng toán học, y = f(x1, x2, x3, x4, x5) + ε GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Mối liên hệ tuyến tính (tiếp theo) Nếu y phụ thuộc vào x theo dạng tuyến tính (dạng đường thẳng) y = β + β1 x1 + β x2 + β3 x3 + β x4 + β5 x5 + ε Neáu y phụ thuộc vào x theo dạng phi tuyến tính (dạng đường cong) y ≠ β + β1 x1 + β x2 + β3 x3 + β x4 + β5 x5 + ε GV: Th.S Traàn Kim Ngọc Đại học Công nghệ Sài Gòn Mô hình hồi quy tuyến tính đơn giản Mô hình hồi quy tuyến tính đơn giản y = β0 + β1x + ε Phương trình hồi quy tuyến tính đơn giản E(y) = β0 + β1x Phương trình hồi quy tuyến tính đơn giản ước lượng ^ y = b0 + b1x GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Mô tả phương trình hồi quy tuyến tính đơn giản Đồ thị hồi quy Y Yi { } Sai số: εi Phương trình hồi quy tuyến tính đơn giản mối liên hệ tuyến tính xác giá trị kỳ E[y]=β0 + β1 x vọng hay giá trị trung bình y, biến phụ thuộc, x, biến độc lập hay biến dự báo: β1 = Hệ số góc E[yi]=β0 + β1 xi β0 = Tung độ gốc Xi GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Các giá trị quan sát thực tế y khác với giá trị kỳ vọng sai số không giải thích hay sai số ngẫu nhiên: X Yi = E[yi] + εi = β0 + β1 xi + εi Quy trình ước lượng hồi quy tuyến tính đơn giản Mô hình hồi quy y = β0 + β1x +ε Phương trình hồi quy E(y) = β0 + β1x Các tham số β0, β1 b0 b1 đưa ước lượng cho β0 β1 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Dữ liệu mẫu: x y x1 y1 xn yn Phương trình hồi quy ước lượng ˆ y = b0 + b1 x Các số thống kê mẫu b0, b1 Tìm đường thẳng “thích hợp” Y Y Dữ liệu X Ba sai số so với giá trị tính theo đường thẳng bình phương bé X Y GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Ba sai số so với giá trị tính theo đường thẳng thích X hợp Các sai số so với giá trị tính theo đường thẳng bình phương bé X cực tiểu hoá Các sai số hồi quy y Điểm liệu quan sát yi ˆ yi Sai soá ˆ ei = yi − yi { xi GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn ˆ y = b0 + b1x Đường hồi quy thích hợp ˆ yi : Giá trị dự báo y ứng với xi x Phương pháp bình phương bé Tiêu chuẩn bình phương bé nhaát n n ˆi ) SSE = ∑ e = ∑ (yi − y i=1 i i=1 đó: yi = giá trị quan sát biến phụ thuộc cho quan sát thứ i ^ yi = giá trị ước lượng biến phụ thuộc cho quan sát thứ i GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 10 Phân tích phần dư cho tính tuyến tính (Linearity) y y x x Phi tuyến tính GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn x Phần dư Phần dư x Tuyến tính 50 Kiểm tra giả định phương sai không đổi Nếu giả định phương sai ε với giá trị x đúng, mô hình hồi quy giả định mô tả hay biểu diễn thích đáng mối liên hệ biến, Biểu đồ phần dư đem lại ấn tượng chung dải điểm nằm ngang GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 51 Phân tích phần dư cho phương sai không đổi y y x x Phương sai thay đổi GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Phần dư Phần dư x x Phương sai không đổi 52 Kiểm tra giả định phương sai không đổi Nếu với nhiều biến giải thích ta vẽ phần dư theo biến giải thích mà ta nghi ngờ gây tượng phương sai thay đổi tốt vẽ phần ^ dư theo y giá trị ước lượng từ mô hình Trêân thực tế phương pháp chắc để phát tượng phương sai thay đổi mà dùng vài công cụ để chẩn đoán Để biết thêm chi tiết, đọc Vũ Thiếu, Nguyễn Quang Dong Nguyễn Khắc Minh, Kinh tế lượng, Nxb Khoa học Kỹ thuật, Hà Nội, 2001 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 53 Kiểm tra giả định phân phối chuẩn phần dư Có hai cách làm: Sử dụng biểu đồ phần dư chuẩn hoá theo x Sử dụng đồ thị xác suất chuẩn (Normal probability plot) GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 54 Các phần dư chuẩn hoá Phần dư chuẩn hoá cho quan sát i ˆ yi − yi syi − yi ˆ đó: s y i − y i = s − hi ˆ ( xi − x ) hi = + n ∑ ( xi − x ) GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 55 Biểu đồ phần dư chuẩn hoá Biểu đồ phần dư chuẩn hoá giúp ta hiểu rõ giả định số hạng sai số ε có phân phối chuẩn Nếu giả định thoả mãn phân phối phần dư chuẩn hoá bắt nguồn từ hay lấy từ phân phối xác suất chuẩn tắc (vì s dùng thay cho σ, phân phối xác suất phần dư chuẩn hoá mặt kỹ thuật không chuẩn Tuy nhiên, hầu hết nghiên cứu hồi quy, cỡ mẫu thường đủ lớn để xấp xỉ chuẩn tốt) Do vậy, xem xét biểu đồ phần dư chuẩn hoá, kỳ vọng nhìn thấy khoảng 95% phần dư chuẩn hoá nằm khoảng từ -2 đến +2 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 56 Biểu đồ phần dư chuẩn hoá Tất phần dư chuẩn hoá khoảng từ –1,5 đến +1,5 cho biết lý để nghi ngờ giả định ε có phân phối chuẩn GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 57 Phân tích phần dư cho tính độc lập Thống kê Durbin-Watson Sử dụng liệu thu thập theo thời gian nhằm phát có tự tương quan (các phần dư thời đoạn có liên quan với phần dư thời đoạn khác) Đo lường vi phạm giả định độc lập n D= (ei − ei −1 ) ∑ i=2 n ∑e i =1 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn i Nên gần Nếu không, xem xét mô hình để tìm tự tương quan 58 Có giá trị tới hạn thống kê Durbin-Watson Bảng 4.6 Tìm giá trị tới hạn thống kê Durbin-Watson α = 0,05 p=1 p=2 n dL dU dL dU 15 1,08 1,36 0,95 1,54 16 1,10 1,37 0,98 1,54 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 59 Sử dụng thống kê Durbin-Watson H : Không có tự tương quan (các số hạng sai số độc lập với nhau) H1 : Có tự tương quan (các số hạng sai số không độc lập với nhau) Bác bỏ H0 (tự tương quan dương) dL GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Không định Chấp nhận H0 (không có tự tương quan) dU 4-dU Bác bỏ H0 (tự tương quan âm) 4-dL 60 Phân tích phần dư cho tính độc lập Phương pháp đồ thị Không độc lập Độc lập e e Thời gian Thời gian Mẫu hình chu kỳ Không có mẫu hình riêng biệt Phần dư vẽ đồ thị theo thời gian để phát tự tương quan GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 61 Bốn tập liệu khác có kết hồi quy Tập A y x 8,04 10 6,95 7,58 13 8,81 8,33 11 9,96 14 7,24 4,26 10,84 12 4,82 5,68 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Tập B y x 9,14 10 8,14 8,74 13 8,77 9,26 11 8,10 14 6,13 3,10 9,13 12 7,26 4,74 Taäp C y x 7,46 10 6,77 12,74 13 7,11 7,81 11 8,84 14 6,08 5,39 8,15 12 6,42 5,73 Taäp D y x 6,58 5,76 7,71 8,84 8,47 7,04 5,25 12,50 19 5,56 7,91 6,89 62 Các biểu đồ phân tán bốn tập liệu xy có đặc tính thống kê giống trông hoàn toàn khác 12 12 y = + ,5 x 10 10 8 6 4 2 y = + ,5 X 0 10 12 14 14 10 12 14 14 12 12 10 10 y = + ,5 X 6 4 y = + ,5 x 0 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 10 12 14 10 12 14 16 18 63 Các phần tử bất thường quan sát có ảnh hưởng Dò tìm phần tử bất thường Một phần tử bất thường quan sát khác thường so sánh với liệu khác Minitab xếp quan sát vào loại phần tử bất thường giá trị phần dư chuẩn hoá < hay > +2 Quy tắc phần dư chuẩn hoá không nhận quan sát lớn khác thường phần tử bất thường Khiếm khuyết quy tắc vượt qua cách dùng phần dư xoá bỏ student hoá |Phần dư xoá bỏ student hoá thứ i| lớn |phầ Ngọc GV: Th.S Trần Kimn dư chuẩn hoá thứ i| Đại học Công nghệ Sài Gòn 64 ... hình hồi quy tuyến tính đơn giản Mô hình hồi quy tuyến tính đơn giản y = β0 + β1x + ε Phương trình hồi quy tuyến tính đơn giản E(y) = β0 + β1x Phương trình hồi quy tuyến tính đơn giản ước lượng... Công nghệ Sài Gòn Mô tả phương trình hồi quy tuyến tính đơn giản Đồ thị hồi quy Y Yi { } Sai số: εi Phương trình hồi quy tuyến tính đơn giản mối liên hệ tuyến tính xác giá trị kỳ E[y]=β0 + β1 x... ngẫu nhiên: X Yi = E[yi] + εi = β0 + β1 xi + εi Quy trình ước lượng hồi quy tuyến tính đơn giản Mô hình hồi quy y = β0 + β1x +ε Phương trình hồi quy E(y) = β0 + β1x Các tham số β0, β1 b0 b1 đưa