Chương 2: Hệ Phương Trình Tuyến Tính Nguyễn Đức Nghĩa, Vũ Văn Thiệu, Trịnh Anh Phúc Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội Ngày tháng 12 năm 2012 Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hà Nội ) 12 năm 2012 Tính TT, Trường Ngày tháng / 68 Giới thiệu Thế hệ phương trình tuyến tính ? Ví dụ chiều Ma trận hoán vị ma trận tam giác Phân tích LU Vai trị phần tử trụ Hiệu ứng sai số làm tròn Hệ xác định tồi số điều kiện ma trận Giải hệ phương trình tuyến tính phân tích ma trận Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hà Nội ) 12 năm 2012 Tính TT, Trường Ngày tháng / 68 Hệ phương trình tuyến tính Định nghĩa a11 x1 + a12 x2 + · · · + a1n xn = b1 a21 x1 + a22 x2 + · · · + a2n xn = b2 ··· am1 x1 + am2 x2 + · · · + amn xn = bm Ký hiệu A = (aij ) với i = 1, · · · , m j = 1, · · · , n ma trận hệ số A b = (b1 , b2 , · · · , bm )T vectơ vế phải x = (x1 , x2 , · · · , xn )T vectơ biến ta viết lại hệ phương trình tuyến tính dạng ma trận Ax = b Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hà Nội ) 12 năm 2012 Tính TT, Trường Ngày tháng / 68 Hệ phương trình tuyến tính Ví dụ : Xét hệ phương trình tuyến tính có Ma trận hệ số A = −1 Vec tơ vế phải b = −1 hệ có nghiệm x = 0.2 −0.8 Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hà Nội ) 12 năm 2012 Tính TT, Trường Ngày tháng / 68 Hệ phương trình tuyến tính Ví dụ : Xét hệ phương trình tuyến tính có Ma trận hệ số A = −5   − 3t   hệ có vơ số nghiệm x = 2 + 5t  với t ∈ R t Vec tơ vế phải b = Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &toán khoa họcĐại Học Bách Khoa Hà Nội ) 12 năm 2012 Tính TT, Trường Ngày tháng / 68 Hệ phương trình tuyến tính Ví dụ : Xét hệ phương trình tuyến tính có     Ma trận hệ số A = 0 1     Vec tơ vế phải b = 2 hệ vơ nghiệm Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hà Nội ) 12 năm 2012 Tính TT, Trường Ngày tháng / 68 Hệ phương trình tuyến tính Đối với hệ phương trình tuyến tính xảy m = n : hệ vng (số phương trình số ẩn, thường có nghiệm nhất) m < n : hệ thiếu (số phương trình số ẩn số, hệ thường vô số nghiệm) m > n : hệ dư (số phương trình nhiều số ẩn số, hệ thường vô nghiệm) Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hà Nội ) 12 năm 2012 Tính TT, Trường Ngày tháng / 68 Giải hệ phương trình tuyến tính Hệ phương trình vng Ax = b A ∈ Rn×n cịn x b vec tơ ∈ Rn Giải hệ phương trình vng Nếu ma trận A khơng suy biến (singular) nghiệm phương trình x = A−1 b Matlab » x=inv(A)*b Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hà Nội ) 12 năm 2012 Tính TT, Trường Ngày tháng / 68 Giải hệ phương trình tuyến tính Ví dụ : Giải hệ phương trình A = (7) b = (21) hay phương trình 7x = 21 Cách : Giải trực tiếp phép chia x = 21/7 = Cách : Nghịch đảo 7−1 nhân với 21 dẫn đến x = 7−1 × 21 = 0.142857 × 21 = 2.99997 Rõ ràng cách tốt cách 2, thêm cách cịn có khối lượng tính tốn lớn xác định nghịch đảo 7−1 Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hà Nội ) 12 năm 2012 Tính TT, Trường Ngày tháng / 68 Giải hệ phương trình tuyến tính Nhận xét Ngay lời giải tổng quát, ta xét hệ gồm nhiều phương trình việc giải thường tạo lời giải trực tiếp mà khơng qua tính giá trị nghịch đảo A−1 Chẳng hạn cách giải : Phân tích LU (LU Factorization) Phân tích Cholesky (Cholesky Factorization) Phân rã QR (QR Decomposition) Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 10 / 68 Hệ xác định tồi số điều kiện ma trận Chuẩn vec tơ Định nghĩa : Hàm v : Rn → R gọi chuẩn vec tơ (vector norm) Rn v (x) ≥ ∀x ∈ Rn v (x) = x = v (αx) = |α|v (x) ∀x ∈ Rn , ∀α ∈ R v (x + y ) ≤ v (x) + v (y ) ∀x, y ∈ Rn bất đẳng thức tam giác Thông thường v (x) ký hiệu ||x|| Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &toán khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 54 / 68 Hệ xác định tồi số điều kiện ma trận Chuẩn vec tơ (tiếp) Một số chuẩn thường dùng ||x||2 = ||x||1 = n i=1 xi n i=1 |xi | (l2 ) hay chuẩn Euclid (l1 ) ||x||∞ = max1≤i≤n |xi | (l∞ ) ||x||p = ( n 1/p i=1 xi ) (lp ) Matlab norm(x,p) dùng cho lp với p = hàm đơn giản norm(x) Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &toán khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 55 / 68 Hệ xác định tồi số điều kiện ma trận Chuẩn ma trận Định nghĩa : Hàm ||.|| : Rn×n → R gọi chuẩn ma trận ||A|| = max ||x||=1,x∈Rn ||Ax|| = max ||x||=1,x∈Rn ||Ax|| ||x|| ||Ax|| chuẩn vec tơ Ax Tất nhiên, ta có bất đẳng thức ||Ax|| ≤ ||A|| ||x|| Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &toán khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 56 / 68 Hệ xác định tồi số điều kiện ma trận Chuẩn ma trận (tiếp) Các tính chất chuẩn ma trận ||A|| ≥ 0;||A|| = A = ||αA|| = ||α||||A||, α ∈ R ||A + B|| ≤ ||A|| + ||B|| ||AB|| ≤ ||A|| × ||B|| ||Ax|| ≤ ||A||||x|| Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &toán khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 57 / 68 Hệ xác định tồi số điều kiện ma trận Chuẩn ma trận (tiếp) Các chuẩn vec tơ sinh chuẩn ma trận tương ứng Chuẩn Euclid : ||A||2 = max||x||2 =1 ||Ax||2 Chuẩn max "tổng dòng" : ||A||∞ = max||x||∞ =1 ||Ax||∞ = max1≤i≤n Chuẩn max "tổng cột" : ||A||1 = max||x||1 =1 ||Ax||1 = max1≤j≤n n j=1 |aij | n i=1 |aij | Chuẩn Frobenius : ||A||F = Tr (AT A)1/2 = n i,j=1 aij 1/2 Trong Matlab norm(A,p) p = 1, 2, inf Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 58 / 68 Hệ xác định tồi số điều kiện ma trận Số điều kiện ma trận Định nghĩa : Số điều kiện (condition number) cond(A), thường ký hiệu κp (A), ma trận vuông A tính chuẩn ma trận p cho trước số cond (A) = ||A|| · ||A−1 || đó, ta quy ước cond (A) = ∞ A suy biến Bởi vì, ||A|| · ||A −1 || = ||Ax|| ||x|| ||Ax|| minx=0 ||x|| maxx=0 nên số điều kiện đo tỷ số độ giãn nở lớn độ co hẹp lớn mà ma trận tác động vec tơ khác không Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 59 / 68 Hệ xác định tồi số điều kiện ma trận Số điều kiện ma trận (tiếp) Số điều kiện cho biết ma trận gần suy biến đến mức độ : ma trận lớn gần suy biến (hệ phương trình tương ứng xác định tồi), trái lại ma trận với số điều kiện gần xa với gần suy biến Chú ý : Định thức ma trận không đặc trưng tốt cho tính gần suy biến Mặc dù det(A) = ma trận suy biến độ lớn hay nhỏ định thức không chứa thông tin việc ma trận có gần suy biến hay khơng Ví dụ, cho ma trận det(αIn ) = αn số nhỏ |α| < ma trận αIn lại có điều kiện tốt với cond (αIn ) = Trong In ma trận đơn vị n chiều Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 60 / 68 Hệ xác định tồi số điều kiện ma trận Một số tính chất số điều kiện ma trận Với ma trận A : cond (A) ≥ Với ma trận đơn vị I : cond (I) = Với ma trận hoán vị P : cond (P) = Với ma trận A số thực khác không α : cond (αA) = cond (A) Với ma trận đường chéo D = diag (di ) : cond (D) = Số điều kiện có ý nghĩa quan trọng việc đánh giá tính xác lời giải hệ phương trình tuyến tính max{di } min{di } Matlab với số điều kiện cond(A,p) để tính κp (A) với p = 1, 2, inf condest(A) để đánh giá κ1 (A) rcond(A) để đánh giá 1/κ1 (A) Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 61 / 68 Hệ xác định tồi số điều kiện ma trận Đánh giá sai số biết số điều kiện ma trận Gọi x lời giải xác Ax = b, cịn x ∗ lời giải hệ Ax ∗ = b + ∆b (chú ý ta coi b bị nhiễu cộng) Đặt ∆x = x ∗ − x, ta có b + ∆b = Ax ∗ = A(x + ∆x) = Ax + A∆x Ax = b vào suy ∆x = A−1 ∆b b = Ax ⇒ ||b|| ≤ ||A||||x|| (13) ∆x = A−1 ∆b ⇒ ||∆x|| ≤ ||A−1 ||||∆b|| (14) Nhân hai bất đẳng thức (13) (14) sử dụng định nghĩa cond (A) = ||A||||A−1 || ta có đánh giá ||∆x|| ||∆b|| ≤ cond (A) ||x|| ||b|| Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 62 / 68 Hệ xác định tồi số điều kiện ma trận Đánh giá sai số biết số điều kiện ma trận (tiếp) tiếp tục ||∆x|| ||∆b|| ≤ cond (A) ||x|| ||b|| Vậy số điều kiện cho phép ta xác định khả biến đổi sai số tương đối lời giải ||∆x|| biết thay đổi tương đối vế phải ||∆b|| ||x|| ||b|| Khi cond (A) lớn hay hệ gần suy biến biến đổi tương đối vế phải ’ép’ thay đổi sai số tương ứng lời giải Ngược lại, cond (A) tiến hay hệ có điều kiện tốt biến đổi tương đương vế phải lời giải Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &toán khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 63 / 68 Hệ xác định tồi số điều kiện ma trận Đánh giá sai số biết số điều kiện ma trận (Kết luận) Nếu liệu vào biểu diễn gần với độ xác máy tính đánh giá sai số tương đối lời giải tính cho cơng thức: ||x ∗ − x|| ≈ cond (A) ||x|| M lời giải tính quãng log10 (cond (A)) chữ số thập phân sai số tương đối so với độ xác liệu Kết luận Hệ phương trình tuyến tính Ax = b có điều kiện tồi cond (A) lớn, thay đổi khơng lớn liệu dẫn đến thay đổi lớn lời giải Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 64 / 68 Hệ xác định tồi số điều kiện ma trận Ví dụ 15 : Xét hệ phương trình 0.789x1 + 0.563x2 = 0.127 0.913x1 + 0.659x2 = 0.254 Kết dùng Matlab » A=[0.789 0.563;0.913 0.659]; » fprintf(’cond(A)=%d ; det(A)=%d ’,cond(A),det(A)) » cond(A) = 2.193219e+006 ; det(A)=1.000000e-006 Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 65 / 68 Hệ xác định tồi số điều kiện ma trận Ví dụ 16 : Xét hệ phương trình 4.1 2.8 9.7 6.6 x1 x2 = 4.1 9.7 Đây hệ có điều kiện tồi cond (A, 1) = 2494.4 đồng thời nghiệm xác hệ x = (1, 0)T Nếu ta thay vế phải b + ∆b = (4.11, 9.70)T nghiệm hệ x ∗ = (0.34, 0.97)T Trong Matlab ta có » A = [4.1 2.8; 9.7 6.6]; b = [4.1 ; 9.7]; b1=[4.11 ; 9.7]; » x = (A \ b)’, x1 = (A \ b1)’ x=10 x1 = 0.3400 0.9700 Trịnh Anh Phúc ( Bộ mơn Khoa Học Máy Tính, Viện CNTT &toán khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 66 / 68 Hệ xác định tồi số điều kiện ma trận Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 67 / 68 Giải hệ phương trình tuyến tính phân tích ma trận Bài đọc thêm nhà Chúng ta sử dụng nhiều phương pháp ngồi phân tích LU để giải hệ phương trình Phân tích Cholesky Khái niệm ma trận bán xác định dương Nếu A ma trận xác định dương tồn ma trận tam giác dương L cho A = LLT Khử xuôi Ly = b, ngược LT x = y Phân rã QR Khái niệm ma trận trực giao Phân rã QR : A có hạng n tồn A = QR Giải tốn bình phương tối thiểu min{||Ax − b||2 |x ∈ R} nghiệm x điểm dừng cực tiểu hóa tốn Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT &tốn khoa họcĐại Học Bách Khoa Hàtháng )12 năm 2012 Tính TT, Trường Ngày Nội 68 / 68 ... Hàtháng ) 12 năm 20 12 Tính TT, Trường Ngày Nội 22 / 68 Giải hệ phương trình tuyến tính vng Ví dụ chiều (tiếp) Hệ phương trình tuyến tính sau thực phép khử x2 10x1 − 7x2 =7 (10) 2. 5x2 + 5x3 = 2. 5 (11)... Nội ) 12 năm 20 12 Tính TT, Trường Ngày tháng / 68 Hệ phương trình tuyến tính Đối với hệ phương trình tuyến tính xảy m = n : hệ vng (số phương trình số ẩn, thường có nghiệm nhất) m < n : hệ thiếu... Máy Tính, Viện CNTT &toán khoa họcĐại Học Bách Khoa Hàtháng ) 12 năm 20 12 Tính TT, Trường Ngày Nội 29 / 68 Giải hệ phương trình tuyến tính vng Ví dụ 12 : Giải hệ phương trình tuyến tính 3x1 + 4x2