CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI 2.1. Phân tích tương quan Xét một đại lượng ngẫu nhiên biến thiên X tương ứng với sự biến thiên của đại lượng Y, ta có: Y = X + Ngẫu nhiên có điều kiện Như vậy: Y = f(x) Y = X + Ngẫu nhiên (không có điều kiện) Độc lập Nếu: Y = X + Ngẫu nhiên có điều kiện + Ngẫu nhiên CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Vậy phải ước lượng dưới dạng tổng quát thống kê và hệ số tương quan là tiêu chí quan trọng. Hệ số tương quan là đại lượng không thứ nguyên: - Đại lượng ngẫu nhiên độc lập r = 0 - Đại lượng ngẫu nhiên có điều kiện càng có thể r = 0 gọi đó là đại lượng không tương quan. YX yx mYmXM r δδ ))([( −− = CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI • Hệ số tương quan đặc trưng cho sự phụ thuộc tuyến tính • Tổng quát hệ số tương quan có giá trị trong giới hạn: - 1 < r x,y < 1 • Khi r x,y > 0 quan hệ X, Y tồn tại tương quan dương • Khi r x,y < 0 quan hệ X, Y tồn tại tương quan âm CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI 2.2. Phân tích hồi qui: 2.2.1. Khái niệm cơ bản: - Sự phụ thuộc các đại lượng ngẫu nhiên được xác định bằng một hàm phân phối có điều kiện. - Phân tích hồi qui là tính các thông số của mô hình trên cơ sở các số liệu thực nghiệm. - Mô hình mục tiêu nghiên cứu phải xác định rõ ràng, hàm mục tiêu được gọi là hàm đáp ứng. CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI - Có thể hiểu diễn hàm mục tiêu dưới dạng. η = f (x 1 , x 2 , …, x n ) Trong đó: x 1 (i = 1, 2…, n) là yếu tố biến thiên độc lập - Hàm mục tiêu được biểu diễn dưới dạng đa thức: η = β o + β 1 x 1 + … + β 12 x 1 x 2 + … + β 11 + … Trong đó β 0 , β 1 … là hệ số hồi qui được xác định bằng các ước lượng b 0 , b 1 , b 2 … qua các số liệu thí nghiệm. CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Phương trình hồi qui trên cơ sở thực nghiệm là ước lượng của hàm mục tiêu η. Y * = b o + b 1 x 1 + … + b 11 x 2 + … - Mặt mô tả bởi phương trình hồi qui gọi là mặt đáp ứng. - Không gian tọa độ trên các trục đặt giá trị các yếu tố gọi là không gian yếu tố - Hiệu giữa giá trị thực nghiệm và giá trị tìm được theo phương trình hồi qui của các thông số tối ưu gọi là độ dư. - Nếu phương sai dư không đáng kể so với phương sai tái hiện thì phương trình hồi qui tương thức với các số liệu thực nghiệm. CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI 2.2.2. Phương pháp bình phương nhỏ nhất. - Phương trình hồi qui gần đúng phụ thuộc vào phương pháp tính dùng để tính các hệ số hồi qui. - Phương pháp bình phương nhỏ nhất xác định hệ số phương trình hồi qui sao cho gần đúng với kỳ vọng toán học của thực nghiệm. CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI - Bài toán xác định hệ số hồi qui là xác định cực tiểu của hàm nhiều biến b o , b 1 , - Trong đó: y i – giá trị thực nghiệm Y * = f (x o , b o , b 1 , …) giá trị tìm được theo phương trình hồi qui. - Nếu Y * = f (x, b o , b 1 ,…) là hàm khả vi thì điều kiện cực tiểu của φ là. CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI min, )]b,b,x(fy[ 2 i 1oii →−=φ ∑ , 0,0 1 = ∂ ∂ = ∂ ∂ bb o φφ Hoặc khai triển ra: ………………… CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI ∑ = ∂ ∂ − i o x oii b f bbxfy 0, )],,([2 )( 1 ∑ = ∂ ∂ − i x oii b f bbxfy 0, )],,([2 1 )( 1 [...]... trình hồi qui mũ và lũy thừa ^ Y =b b ^ x 0 1 Y = b0 x b1 CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI 2. 2.4 Phân tích hồi qui tuyến tính bội k - Nếu thông số tối ưu phụ thuộc vào k biến độc lập ta gọi là hồi qui tuyến tính k Ví dụ: Giả sử có n thí nghiệm với k biến độc lập (x1, x2, …, xK) CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Ta có bảng sau: STT X1 X2 1 X11 X21 2 X 12 - - - - - n X1n - - - Y Y1 XK2 -... khỏi phương trình hồi qui (p – mức ý nghĩa, f – bậc tự do tái hiện) CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI * Kiểm định sự tương thích của phương trình hồi qui: Sự tương thích của phương trình hồi qui được kiểm định theo tiêu chuẩn Fisher 2 tt 2 th s F= s Trong đó: 2 tt s 2 sth - phương sai tương thích - phương sai tái hiện CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Stt s = f tt 2 tt T      ... Ý nghĩa của hệ số hồi qui - Sự tương tích của phương trình hồi qui CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI * Kiểm định của các hệ số qui Việc kiểm định ý nghĩa của các hệ số hồi qui được thực hiện theo tiêu chuẩn Student tj = | bj | Sb j Trong đó: bj – Hệ số thứ J trong phương trình hồi qui Sbj – sai số trong việc xác định của hệ số thứ j CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI * Nếu tj > tp (f)... là: N = 23 = 8 Phương án thí nghiệm và kết quả thí nghiệm được trình bày trên bảng 1 CHƯƠNG III MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM MA TRẬN TYT 23 = 8 Số thí nghiệm 1 2 3 4 5 6 7 8 Biến thực Biến mã hóa Kết quả Z1 Z2 Z3 X1 X2 X3 Y 300 20 0 300 20 0 300 20 0 300 20 0 45 35 35 45 45 35 35 45 1 ,25 1 ,25 1 ,25 1 ,25 0,75 0,75 0,75 0,75 + + + + - + + + + + + + + - 29 6 122 23 9 586 23 2 29 2 339 383 CHƯƠNG III... là: 1 x K1 1 x 21 X K2    1 X= x11 X n1 xKn Bố trí thí nghiệm sao cho ∑x Trong đó: im x ij = 0 m, j = o,k ; m≠ j CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Ý nghĩa: - Tích vô hướng của 2 cột khác nhau của ma trận X = 0 - Tích vô hướng của cột 1 xio = 1, i = 1-n Từ đó: ∑x io x ij = x ij = 0 - Tổng các phần tử của cột bất kỳ trừ cột đầu bằng 0 CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Ma trận cột...CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Sau khi biến đổi ta có hệ phương trình: ∂f ( x i , ) ∑ y i ∂b − o ∂f ( x i , ) ∑ y i ∂b − 1 ∑ f (x , b i o , b1 , ) ∂b1 =0 ∑ f ( x , b , b , ) = 0 i o 1 ∂b1 ……………………… Hệ phương trình trên có bao nhiêu phương trình thì phương trình hồi qui có bấy nhiêu hệ số được gọi là hệ phương trình chuẩn CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI 2. 2.3 Một số... CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI 2. 2.3 Một số dạng phương trình hồi qui: ^ Y - Tối ưu hóa phụ thuộc 1 biến số = f ( x) theo dạng hồi qui thực nghiệm - Phương trình hồi qui tuyến tính: ^ Y = b0 + b1 x - Phương trình hồi qui Parabon: ^ Y = b0 + b1 x + b2 x 2 CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI - Phương trình hồi qui biểu diễn qua đa thức: ^ Y = b0 P0 ( x) + b1 P1 ( x) + + bK PK ( x) -... trận của các hệ số hồi qui bo B= b1  bK CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Ma trận XT là ma trận chuyển vị của ma trận X x o1 .x on X T = x K1 .x Kn Dạng ma trận hệ phương trình chuẩn ta có XT X B = XTY Từ đó ta suy ra B = (XT.X)-1 XT.Y (XT.X)-1 là ma trận nghịch c\đảo của XT.X CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Sau khi xác định được các hệ số của phương trình hồi qui cần tiến hành... - - - Y Y1 XK2 - XK XK1 - Y2 - - - - XKn Yn - CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Giả thiết: 1 Mỗi kết hợp x1, …, xk đại lượng y có phân phối chuẩn 2 Phương sai không đổi 3 Sai số các phép đo biến độc lập không đáng kể 4 Các biến x1, …, xk độc lập tuyến tính Ước lượng kết quả được tính bằng ^ Y = b 0 x 0 + b1x1 + + b K x K + ξ CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI Trong đó : ξ - nhiễu Dạng... Xác lập phương trình hồi qui Nếu dùng phương trình hồi qui tuyến tính dưới dạng: ^ Y = b0 + b1 x1 + b2 x 2 + b3 x 3 CHƯƠNG III MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM Theo phương pháp tính hệ số trong phương trình hồi qui: bo B= b1 = ( X T X ) −1 X T Y b2 b3 Ma trận XTXcó dạng: 8 ∑x i =1 X X= T ∑x ∑ 2 oi 1i x oi i ∑x 2i x oi i ∑x i ∑x ∑x x oi ∑x i oi ∑x 2 1i 2i 1i ∑x x 2i x1i ∑x 2 2i i 3i x 3i ∑x 1i . r x,y > 0 quan hệ X, Y tồn tại tương quan dương • Khi r x,y < 0 quan hệ X, Y tồn tại tương quan âm CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI 2. 2. Phân tích hồi qui: 2. 2.1. Khái niệm. đầu bằng 0 CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI ∑ == 0 ijiji xxx o Ma trận cột của các thông số tối ưu hóa Ma trận của các hệ số hồi qui CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI n y y y. X n ; - Phương trình hồi qui mũ và lũy thừa. CHƯƠNG II PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI )( )()( 1100 ^ xPbxPbxPbY KK +++= x bbY 10 ^ = 1 0 ^ b xbY = 2. 2.4. Phân tích hồi qui tuyến tính bội k. -