LỜI CẢM ƠN Luận văn được hoàn thành tại trường Đại học sư phạm Hà Nội 2 dưới sự hướng dẫn của TS. Khuất Văn Ninh. Tôi xin bày tỏ lòng biết ơn chân thành, sâu sắc tới TS. Khuất Văn Ninh, người đã luôn quan tâm, động viên và tận tình hướng dẫn tôi trong quá trình thực hiện luận văn. Tôi xin được gửi lời cảm ơn chân thành tới ban giám hiệu trường Đạ i học sư phạm Hà Nội 2, phòng Sau đại học, các thầy cô giáo trong nhà trường và các thầy cô giáo dạy cao học chuyên ngành Toán giải tích đã tạo điều kiện thuận lợi cho tôi trong quá trình học tập và nghiên cứu. Tôi xin bày tỏ lòng biết ơn tới gia đình, người thân đã động viên và tạo mọi điều kiện để tôi có thể hoàn thành bản luận văn này. Hà Nội, tháng 6 năm 2011 Lê Thị Hậu LỜI CAM ĐOAN Tôi xin cam đoan luận văn là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn của TS. Khuất Văn Ninh. Hà Nội, tháng 6 năm 2011 Lê Thị Hậu MỤC LỤC Trang MỞ ĐẦU…………………………………………………………… 1 NỘI DUNG………………………………………………………… 2 Chương 1: Kiến thức bổ trợ……………………………………… 2 1.1. Không gian n R …………………………………………………. 2 1.2. Đạo hàm và vi phân Frechet…………………… 6 1.2.1. Khái niệm đạo hàm và vi phân Frechet………………… 6 1.2.2. Các tính chất của đạo hàm và vi phân Frechet …………. 6 1.2.3. Một số ví dụ………………………………………………. 7 1.3. Đạo hàm và vi phân Gateaux………………………………… 9 1.3.1. Khái niệm đạo hàm và vi phân Gateaux………………… 9 1.3.2. Các định lý về mối liên hệ giữa vi phân mạnh và vi phân yếu ……………………………. 10 1.4. Các định nghĩa và định lý về cực tiểu, điểm tới hạn và ánh xạ gradient…………………………………………………… 11 1.5. Các định lý về tính duy nhất ………………………………… 15 1.6. Các định lý về sự tồn tại……………………………………… 18 Chương 2: Phương pháp cực tiểu hoá……………………………. 23 2.1. Phương pháp paraboloid………………………………………. 23 2.2. Phương pháp gốc ……………………………………………… 26 2.3. Thuật toán bước dài……………………………………………. 32 2.3.1. Nguyên lý cực tiểu hoá…………………………………… 32 2.3.2. Nguyên lý Curry và Altman ……………… 33 2.3.3. Cực tiểu hoá gần đúng và tìm kiếm gốc …………………. 35 2.3.4. Nguyên lý Majorization……………………… 37 2.3.5. Nguyên lý bước dài Goldstein……………………………. 40 2.4. Các phương pháp hướng liên hợp …………………………… 43 2.5. Phương pháp Gauss – Newton và các phương pháp liên quan 48 2.6. Phụ lục 1……………………………………………… 52 2.7. Phụ lục 2…………………………… 56 Chương 3: ứng dụng của phương pháp cực tiểu hoá ……………. 61 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 66 BẢNG KÍ HIỆU 1 R không gian các số thực một chiều. n R không gian các số thực n chiều. )(),,( nmn RLRRL không gian tuyến tính các toán tử tuyến tính từ n R vào m R , hoặc từ n R vào n R . n ee , , 1 các vectơ đơn vị của n R . T n xxx ), ,( 1 = vectơ cột với các thành phần i x . { } k x dãy các vectơ . chuẩn bất kì trên n R . () yx, tích vô hướng trong n R . ),( rxS quả cầu mở { } rxyRy <−∈ n . ),( rxS quả cầu đóng { } rxyRy ≤−∈ n . )int(D phần trong của tập hợp D . [] yx, tập [ ] { } 1,0,)1( ∈−+=∈ tyttxzRz n . 1− A ma trận nghịch đảo của ma trận A. T A ma trận chuyển vị của ma trận A. + A ma trận nghịch đảo suy rộng của ma trận A. )(xH g ma trận Hessian của g . mn RRDF →⊂: ánh xạ F có tập xác định D trong n R và tập giá trị m R . )(''),(' xFxF đạo hàm cấp một và đạo hàm cấp hai của F tại x . 1− F hàm ngược của hàm F . ∈ , ⊂ phần tử bao gồm, tập hợp bao gồm. ∩∪, , ∀ hợp, giao, với mọi. ∏∑, tổng, tích. . □ kết thúc chứng minh. MỞ ĐẦU 1. Lý do chọn đề tài Nhiều bài toán trong khoa học tự nhiên, trong kinh tế, kỹ thuật, cuộc sống … có thể dẫn đến việc tìm cực trị của hàm n biến. Có nhiều nhà khoa học nổi tiếng đề cập đến việc tìm cực trị của hàm n biến, và có nhiều phương pháp để tìm cực trị của hàm n biến. Xong để nghiên cứu sâu về phương pháp tìm cực trị của hàm n biến tôi ch ọn phương pháp “cực tiểu hoá”. Đó cũng chính là lý do tôi chọn đề tài: “Phương pháp cực tiểu hoá” 2. Mục đích nghiên cứu Nghiên cứu Phương pháp cực tiểu hoá và ứng dụng của nó. 3. Nhiệm vụ nghiên cứu Ứng dụng của các phương pháp tìm cực tiểu của hàm n biến. 4. Đối tượng và phạm vi nghiên cứu “Các phương pháp tìm cực tiểu của hàm n biến ”. 5. Phương pháp nghiên cứu Phân tích, tổng kết tài liệu.  1 : RRDg n →⊂ 2 CHƯƠNG I: KIẾN THỨC BỔ TRỢ 1.1. Không gian n R . 1.1.1. n R là không gian vectơ. Thật vậy, ta kiểm tra 8 tiên đề về không gian véctơ. 1. ), ,,(),, ,,(,, 2121 n nn yyyyxxxxRyx ==∈∀ ta có: xyxyxyxy yxyxyxyyyxxxyx nn nnnn +=+++= + + + = + =+ ), ,,( ), ,,(), ,,(), ,,( 2211 22112121 2. ), ,,(),, ,,(),, ,,(,,, 212121 n nnn zzzzyyyyxxxxRzyx ===∈∀ ta có: [] () )()(), ,(),( ), ,,( ), ,,(), ,,( ), ,,(), ,,(), ,,()( 222111 222111 212211 212121 zyxzyxzyxzyx zyxzyxzyx zzzyxyxyx zzzyyyxxxzyx nnn nnn nnn nnn ++=++++++= ++++++= ++++= + + =++ 3. n n RxxxxRx ∈=∃=∈∀ )0, ,0,0(),, ,,(, 21 n θ ta có: xxxx xxxxxxx n nn == + + + = + =+ ), ,( )0, ,0,0()0, ,0,0(), ,,( 21 2121 θ 4. ), ,,()(,)(),, ,,(, 2121 n n n n xxxxRxxxxxRx −−−=−∈−∃=∈∀ ta có: θ == −+−+−+=−−−+=−+ )0, ,0,0( ))(), ,(),((), ,,(), ,,()( 22112121 nnnn xxxxxxxxxxxxxx 5. 1 2121 n ),, ,,(),, ,,(,, RkyyyyxxxxRyx nn ∈∀==∈∀ ta có: kykx yyykxxxkkykykykxkxkx kykxkykxkykxyxyxyxkyxk nnnn nnnn += +=+= + + + = + + +=+ ), ,,(), ,,(), ,,(), ,,( ), ,,(), ,,()( 21212121 22112211 6. 1 21 n ,),, ,,(, RlkxxxxRx n ∈∀=∈∀ ta có: () lxkx xxxlxxxklxlxlxkxkxkx lxkxlxkxlxkxxlkxlkxlkxlk nnnn nnn += +=+= + + + = + + +=+ ), ,,(), ,,(), ,,(), ,,( ), ,,()(, ,)(,)()( 21212121 221121 7. 1 21 n ,),, ,,(, RlkxxxxRx n ∈∀=∈∀ ta có: 3 ( ) xklxxxkl klxklxklxlxlxlxklxk n nn )(), ,,)(( ), ,,(, ,,)( 21 2121 == = = 8. ), ,,(, 21 n n xxxxRx =∈∀ ta có: ( ) xxxxxxxx nn = = = ), ,,(, ,,1.1 2121 . 1.1.2. n R là không gian mêtric với mêtric 2 1 )(),( ∑ = −= n j jj yxyxd . Thật vậy, với hai vectơ bất kỳ ), ,,();, ,,(,, 2121 n nn yyyyxxxxRyx ==∈ ta đặt: 2 1 )(),( ∑ = −= n j jj yxyxd . (1.1.1) Dễ dàng kiểm tra hệ thức (1.1.1) thoả mãn các tiên đề 1) và 2) về mêtric. Để kiểm tra hệ thức (1.1.1) thoả mãn tiên đề 3) về mêtric, trước hết ta chứng minh bất đẳng thức Cauchy-Bunhiacopski: với 2n số thực ), 2,1(, njba jj = ta có: ∑∑∑ === ≤ n j j n j j n j jj baba 1 2 1 2 1 . (1.1.2) Thật vậy, 2 11 2 1 2 11 22 11 11 22 1 2 1 2.2 2 )(0 ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = +−= ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ −≤ ∑∑∑ ∑∑∑∑ ∑∑ ∑∑ === ==== == == n j jj n j j n j j n i n j ij n i n j n i n j jjiiji n i n j ijji baba babababa baba Từ đó suy ra bất đẳng thức (1.1.2). Với 3 vectơ bất kì ),, ,,(),, ,,(,,, 2121 n nn yyyyxxxxRzyx ==∈ ), ,,( 21 n zzzz = ta có: 4 [] [] ),(),(),( ,(),( ),(),().,(2),( )())((2)( )()()(),( 2 22 1 2 11 2 1 2 2 1 2 yzdzxdyxd yzdzxd zydyzdzxdzxd yzyzzxzx yzzxyxyxd n j jj n j jjjj n j jj n j jjjj n j jj +≤⇒ += ++≤ −+−−+−= −+−=−= ∑∑∑ ∑∑ === == Do đó hệ thức (1.1.1) thoả mãn tiên đề 3) về mêtric. Vì vậy hệ thức (1.1.1) xác định một mêtric trên không gian n R . Không gian mêtric n R thường gọi là không gian Euclid. Mêtric (1.1.1) gọi là mêtric Euclid. 1.1.3. n R là không gian mêtric đầy. Thật vậy, giả sử ( ) , )2,1(,, ,, )()( 2 )( 1 )( == kxxxx k n kkk là dãy cơ bản tuỳ ý trong không gian Euclid n R . Theo định nghĩa dãy cơ bản εε <≥∀∈∃>∀ ),(),()()0( )()( 0 * 0 lk xxdnlkNn Hay ε <− ∑ = n j l j k j xx 1 2)()( )( njnlkxx l j k j , ,2,1,,, 0 )()( =∀≥∀<−⇒ ε (1.1.3) Các bất đẳng thức (1.1.3) chứng tỏ, với mỗi nj , ,2,1 = dãy { } )(k j x là dãy các số thực cơ bản, nên phải tồn tại giới hạn: ), ,2,1(,lim )( njxx j k j k == ∞→ Đặt ), ,,( 21 n xxxx = , ta nhận được dãy { } nk Rx ⊂ )( đã cho hội tụ theo toạ độ tới x . Nhưng sự hội tụ trong không gian Euclid n R tương đương với sự hội tụ theo toạ độ, nên dãy cơ bản { } )(k x đã cho hội tụ tới x trong không gian n R . Vậy không gian Euclid n R là không gian đầy. 5 Định nghĩa 1.1.1. Cho không gian metric ),( dXM = . Tập X K ⊂ gọi là tập compact trong không gian M , nếu mọi dãy cơ bản các phần tử thuộc K đều chứa dãy con hội tụ tới phần tử thuộc K . Định lý 1.1.2. Cho f là ánh xạ từ không gian metric ),( dXM = vào không gian metric 1 R . Nếu ánh xạ f liên tục trên tập compact X K ⊂ thì f đạt một giá trị lớn nhất và một giá trị nhỏ nhất trên K . Định lý 1.1.3. Trong không gian Euclid n R tập đóng bất kì và bị chặn là tập compact. 1.1.4. n R là không gian định chuẩn. Với các chuẩn: i ni n i i n i i xxxxxx ,1 1 2 2 1 1 max,, = ∞ == === ∑∑ 1.1.5. n R là không gian định chuẩn đủ (không gian Banach). 1.1.6. n R là không gian Hilbert. Thật vậy, ), ,,(),, ,,(,, 2121 n nn yyyyxxxxRyx ==∈∀ ta đặt ∑ = = n j jj yxyx 1 ),( (1.1.4) Dễ thấy hệ thức (1.1.4) thoả mãn tiên đề về tích vô hướng. Chuẩn sinh ra bởi tích vô hướng (1.1.4) n n n j j Rxxxxxxxx ∈=== ∑ = ), ,,(,),( 21 1 2 Không gian vectơ thực n R cùng với tích vô hướng (1.1.4) là một không gian Hilbert. [...]... với y * là cực tiểu địa phương Do đó g có một cực tiểu địa phương, vì cực tiểu toàn cục cũng là cực tiểu địa phương nên g có một cực tiểu toàn cục □ Rõ ràng hàm tựa lồi ngặt và hàm lồi ngặt là hàm liên thông ngặt Hệ quả của Định lý 1.5.6 Giả sử hàm g : D ⊂ R n → R1 là tựa lồi ngặt trên tập lồi D0 ⊂ D , khi đó g có một cực tiểu địa phương trong D0 , và mọi cực tiểu địa phương trong D0 là cực tiểu toàn... tưởng trong các phương pháp cực tiểu hoá ngày càng gần với phương pháp Cauchy, trong đó các phương pháp Gradient và phương pháp dốc gốc cũng như một số các phương pháp bước dài của phần sau lần đầu tiên được đề cập tới + Phương pháp Newton tắt dần được mô tả bởi Crokett và Chernoff, nhưng trước đó có thể đã được sử dụng để tính toán trong thực tế + Cách phân tích (2.2.8) giống như phương pháp dốc gốc... 1.6.8 □ 23 CHƯƠNG II: CÁC PHƯƠNG PHÁP CỰC TIỂU HOÁ 21 Phương pháp paraboloid 2.1.1 Xét hàm bậc hai: g : R n → R 1 , g ( x) = C − b T x + 1 T x Ax 2 (2.1.1) Nếu A ∈ L(R n ) là ma trận đối xứng, xác định dương thì g có duy nhất một giá trị cực tiểu toàn cục x* , đó là nghiệm của hệ phương trình tuyến tính g ' ( x) T = Ax − b = 0 (2.1.2) 2.1.2 Các phương pháp lặp để cực tiểu hoá một hàm không phải bậc... dụng cách tính xấp xỉ (2.1.3) 26 2.2 Phương pháp gốc 2.2.1 Phương pháp gốc Phương pháp lặp làm giảm giá trị các hàm ở từng giai đoạn Nghĩa là, g ( x k +1 ) ≤ g ( x k ), k = 0,1, (2.2.1) được gọi là phương pháp gốc Ta thấy các phương pháp khác không nhất thiết phải thoả mãn (2.2.1) Tuy nhiên có thể thay đổi chúng để trở thành phương pháp gốc Ví dụ: Bằng phương pháp lặp Newton cho hệ F ( x) = g ' (... về cực tiểu, điểm tới hạn và ánh xạ gradient Định nghĩa 1.4.1 Cho g : D ⊂ R n → R1 Điểm x* ∈ D là cực tiểu địa phương của g nếu có một lân cận mở S của x* sao cho với mọi x ∈ S ∩ D g ( x) ≥ g ( x * ) (1.4.1) x* là cực tiểu địa phương thực sự của g nếu bất đẳng thức (1.4.1) đúng ngặt với mọi x ∈ S ∩ D , x ≠ x* Nếu bất đẳng thức (1.4.1) đúng với mọi x thuộc tập con D0 của D chứa x * , thì x* là cực tiểu. .. (hoặc cực tiểu địa phương hoặc cực tiểu toàn cục) trong D0 1.6.Các định lý về sự tồn tại Định lý 1.6.1 Giả sử hàm g : D ⊂ R n → R1 liên tục trên tập đóng D khi đó g có một tập mức bị chặn nếu và chỉ nếu tập các cực tiểu toàn cục của g khác rỗng và bị chặn Chứng minh: Nếu g có một tập mức bị chặn L(γ ) thì vì tính liên tục của g và tính đóng của tập D , tập L(γ ) là compact, cho nên tập các điểm cực tiểu. .. cho ta cách xây dựng hàm g từ hàm F Nguyên lý đối xứng chỉ đưa ra cách giải các hệ phương trình bằng cách cực tiểu hoá một hàm phi tuyến Tuy nhiên, có thể chuyển sang tìm cực tiểu của một hàm bằng cách giải hệ phương trình Fx = 0 , thậm chí F không là toán tử gradient Giả sử f : R n → R 1 là hàm có tính chất: f có cực tiểu toàn cục duy nhất x = 0 Ví dụ f ( x) = x T Ax với ma trận A đối xứng, xác định... của g là lồi Định lý 1.5.6 Giả sử hàm g : D ⊂ R n → R1 là liên thông trên D , thì g có một cực tiểu địa phương thực sự x * , và g ( x * ) < g ( x), ∀x ⊂ D, x ≠ x * Nếu g liên thông nghiêm ngặt thì có một cực tiểu địa phương x * , và g ( x * ) < g ( x), ∀x ⊂ D, x ≠ x * Chứng minh: Giả sử x * là cực tiểu địa phương thực sự và có một phần tử y ≠ x * sao cho g ( y ) ≤ g ( x * ) = γ Vì g là hàm liên... thì p k = g ' ( x k ) T Nghĩa là, hướng của p k là hướng của vectơ gradient của g Các phương pháp đó được gọi là phương pháp gradient Một lớp các phương pháp liên quan chặt chẽ là nếu − p k được chọn làm hướng giảm tối đa địa phương của g Nếu g khả vi tại x k thì hướng này là hướng mà − g'(xk ) p lấy trên cực tiểu của nó như một hàm của p ≠ 0 Vì p g ' ( x k ) p là một hàm liên tục của p và tập {p... cực tiểu địa phương thực sự của g Ngược lại, x* là cực tiểu địa phương của g , giả sử g ' ' ( x * ) không nửa xác định dương Thì tồn tại h sao cho g ' ' ( x * )hh < 0 , và (1.4.2) chứng tỏ rằng với t đủ nhỏ, ta có g ( x * + th) − g ( x * ) < 0 , mâu thuẫn □ Nói chung, không thể hoán vị vai trò xác định dương và nửa xác định dương trong định lý 1.4.4 Ví dụ, g : R1 → R1 , g ( x) = x 4 , có một cực tiểu . phương pháp tìm cực trị của hàm n biến tôi ch ọn phương pháp cực tiểu hoá . Đó cũng chính là lý do tôi chọn đề tài: Phương pháp cực tiểu hoá 2. Mục đích nghiên cứu Nghiên cứu Phương pháp cực. pháp cực tiểu hoá và ứng dụng của nó. 3. Nhiệm vụ nghiên cứu Ứng dụng của các phương pháp tìm cực tiểu của hàm n biến. 4. Đối tượng và phạm vi nghiên cứu “Các phương pháp tìm cực tiểu của. sự tồn tại……………………………………… 18 Chương 2: Phương pháp cực tiểu hoá …………………………. 23 2.1. Phương pháp paraboloid………………………………………. 23 2.2. Phương pháp gốc ……………………………………………… 26 2.3. Thuật toán