ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA TOÁN - CƠ - TIN HỌC Lê Hồng Nguyên BÀI TOÁN QUY HOẠCH PHI TUYẾN KHÔNG RÀNG BUỘC LUẬN VĂN THẠC SĨ KHOA HỌC Chuyên ngành: Toán - Giải tích Mã số: 60.46.01.02 Người hướng dẫn: PGS.TS Nguyễn Hữu Điển Hà Nội - 2014 LỜI CẢM ƠN Để hoàn thành luận văn nhận giúp đỡ to lớn Thầy, Cô giáo, gia đình bạn bè xung quanh Tôi xin bày tỏ lòng kính trọng biết ơn sâu sắc tới thầy giáo hướng dẫn PGS.TS Nguyễn Hữu Điển, Khoa Toán- Cơ- Tin học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội Trong trình giảng dạy hướng dẫn ân cần động viên, giúp đỡ bảo tận tình cho Tôi gửi lời cảm ơn tới thầy cô Khoa Toán- Cơ- Tin học, Phòng sau đại học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội dạy dỗ giúp đỡ nhiều suốt trình học tập nghiên cứu luận văn Đặc biệt thầy cô Seminar môn Toán giải tích có ý kiến đóng góp quý báu giúp cho luận văn hoàn chỉnh Ngoài gửi lời cám ơn chân thành tới bạn bè, đồng nghiệp giúp đỡ nhiều, tạo điều kiện tốt cho có thời gian để hoàn thành luận văn Cuối xin gửi lời cảm ơn tới gia đình nơi sinh thành, nuôi nấng, giúp đỡ, động viên nhiều suốt thời gian qua Dù cố gắng luận văn tránh khỏi thiếu sót hạn chế Mọi ý kiến đóng góp xin đón nhận với lòng biết ơn trân trọng sâu sắc Hà Nội, ngày 14 tháng 10 năm 2014 Học Viên Lê Hồng Nguyên BẢNG KÝ HIỆU Ký hiệu Ý nghĩa DFP Davidon- Fletcher- Powell QHPT Quy hoạch phi tuyến Rn Không gian thực n chiều ∇ f (x) Gradient f x ∇2 f ( x ) Hessian f x o Vô bé ∆ Số gia 0( x, ε) Lân cận x với bán kính ε AT Chuẩn vector Ma trận chuyển vị ma trận A Mục lục Lời mở đầu Chương Một số kiến thức chuẩn bị 1.1 Một số khái niệm giải tích lồi 1.2 Một số khái niệm từ giải tích 11 1.3 Tốc độ hội tụ 14 1.4 Điều kiện tối ưu 19 Chương Phương pháp Davidon- Fletcher- Powell 23 2.1 Giới thiệu phương pháp 23 2.2 Nội dung phương pháp 26 2.3 Sự hội tụ phương pháp DFP 28 2.4 Ví dụ 36 2.5 Chương trình giải ví dụ thuật toán DFP 39 Chương Phương pháp Hooke- Jewes 44 3.1 Thuật toán 44 3.2 Sự hội tụ thuật toán Hooke- Jewes 47 3.3 Ví dụ 48 3.4 Chương trình giải ví dụ thuật toán Hooke- Jeeves 51 Kết luận 57 LỜI MỞ ĐẦU Như L.Euler viết: "Vì giới thiết lập cách hoàn hảo nhất, sản phẩm đấng sáng tạo tinh thông nhất, nên tìm thấy mà không mang theo tính chất cực đại hay cực tiểu đó" Vấn đề đặt là, trạng thái vật thể tự nhiên hoạt động tuân theo quy luật Như biết, thực tế toán quy hoạch xuất từ người biết lao động, biết suy nghĩ để tìm cách làm nhanh hiệu Tuy nhiên hành động thay đổi liên tục buộc người ta phải tìm cách thích ứng Và ngày nay, mô hình tối ưu hóa sử dụng nhiều lĩnh vực như: Quản lý kinh tế tài chính, nghiên cứu khoa học lĩnh vực kỹ thuật thừa hưởng từ thành với nguồn tài nguyên vô vô tận sở kỹ thuật đại Để giải vấn đề ta nghiên cứu toán quy hoạch phi tuyến không ràng buộc có dạng { f ( x ) : x ∈ Rn } , Rn không gian vector , f : Rn → R hàm phi tuyến cho trước gọi hàm mục tiêu Tập nguồn Rn ứng với toán tối ưu không ràng buộc Mục đích khóa luận nhằm tìm hiểu số phương pháp đặc trưng để giải toán quy hoạch phi tuyến không ràng buộc Như biết tìm kiếm theo tia (line search) hay gọi tìm kiếm chiều (one dimensional search) mấu chốt nhiều thuật toán để giải toán quy hoạch phi tuyến Nội dung chiến lược tìm theo tia sau : Xuất phát từ điểm x0 hướng d ∈ Rn cho trước, tìm khoảng ban đầu mà chứa điểm cực tiểu, sau dùng kỹ thuật chia nhỏ hay nội suy để thu hẹp dần khoảng chứa nghiệm độ dài khoảng nhỏ mức dung sai định trước Phương đơn giản để tìm khoảng ban đầu phương pháp tiến lùi (forwardbackward method) Ý tưởng phương pháp là: Cho trước điểm ban đầu độ dài bước ban đầu, ta thử tìm ba điểm ứng với ba giá trị mục tiêu dạng "cao-thấp-cao" Nếu theo chiều tiến (nghĩa điểm sau bên phải điểm trước) không đạt kết lùi lại (tức điểm sau bên trái điểm trước) Tiếp tục trình thế, ta nhận khoảng ban đầu mà chứa điểm cực tiểu cần tìm Thứ hai phương pháp khử liên tiếp với hai phương pháp quen thuộc để tìm cực tiểu hàm đơn mốt: Phương pháp Fibonaci phương pháp lát cắt vàng (golden section method) Ở phương pháp cho phép ta thu hẹp dần khoảng chứa điểm cực tiểu cách tính giá trị hàm điểm chọn khoảng này, nhiên phương pháp lát cắt vàng có ưu điểm hai điểm chia đoạn trùng với điểm chia cũ, bước lặp cần tính thêm giá trị hàm ứng với điểm chia mới, nhờ tiết kiệm thời gian tính toán Tiếp theo phương pháp nội suy, phương pháp dùng giá trị hàm cần tìm cực tiểu điểm định để xấp xỉ hàm đa thức: Tam thức bậc hai (phương pháp Powell) đa thức bậc ba (phương pháp Davidon), sau điểm cực tiểu hàm ban đầu thay điểm cực tiểu đa thức xấp xỉ mà tìm đơn giản Trên số phương pháp tìm cực tiểu hàm biến Chúng ta dùng phương pháp tìm cực tiểu biến để tìm cực tiểu dọc theo trục tọa độ hàm hai biến hàm nhiều biến Tuy nhiên phương pháp giới thiệu có hiệu trường hợp cực tiểu hàm Song thực tế tỏ hiệu Vì thế, người ta đề nhiều phương pháp khác cho phép khai thác nhiều thông tin dựa giá trị hàm nhận được, chúng chia thành hai nhóm là: Phương pháp tìm trực tiếp (chỉ dùng giá trị hàm) phương pháp gradient (sử dụng đạo hàm hàm) Một hai phương pháp tìm kiếm trực tiếp phương pháp Hooke- Jeeves Hooke- Jeeves đề năm 1961 Với nội dung : Xuất phát từ điểm sở tùy ý, việc tìm kiếm bao gồm dãy bước tìm theo tọa độ quanh điểm sở nhằm đạt tới điểm có giá trị hàm nhỏ (điểm tốt hơn) Nếu thành công chuyển sở tới điểm tốt vừa tìm tiếp tục di chuyển theo hướng đến điểm gọi điểm mẫu Tiến hành tìm theo tọa độ quanh điểm mẫu Nếu tìm điểm tốt tiếp tục dò tìm quanh điểm mẫu mới, không thành công quay trở lại điểm sở trước giảm độ dài bước dò tìm Thứ hai phương pháp Neldel- Mead (1965) gọi phương pháp tìm kiếm theo đơn hình biến thiên Neldel- Mead đề nghị cải tiến từ phương pháp đơn hình SpendleyHext- Himsworth để sử dụng cho đơn hình không Từ ý tưởng phương pháp Spendley- Hext- Himsworth so sánh giá trị hàm tất đỉnh đơn hình dịch chuyển đơn hình hướng điểm tối ưu nhờ thủ tục lặp Và phương pháp Neldel- Mead cụ thể đơn hình dịch chuyển nhờ ba thao tác bản: Phép phản xạ, phép dãn phép co Đây phương pháp tìm trực tiếp đáng tin cậy phương pháp tìm cực tiểu tự hiệu không gian có số chiều nhỏ Hai phương pháp đặc biệt thích hợp để tìm cực tiểu hàm có cấu trúc phức tạp, thường không khả vi khó tính đạo hàm Tuy nhiên phương pháp nói chung chậm hội tụ so với phương pháp dùng đạo hàm Cuối phương pháp sử dụng đạo hàm hàm Các phương pháp đòi hỏi sử dụng tới đạo hàm riêng bậc bậc hai hàm Khoảng năm 70 kỷ XX, phương pháp gradient nghiên cứu mạnh thu thành tựu đáng kể Nhiều công trình nghiên cứu công bố Có phương pháp thông dụng để tìm cực tiểu, đơn giản áp dụng cho nhiều lớp hàm rộng, phương pháp hướng dốc (Steepest Descent Method) với nội dung sau: Ta xây dựng dãy điểm x k hội tụ tới điểm z k → ∞ với đặc điểm giá trị hàm chúng giảm dần ∇ f (z) = Giả sử ta có điểm x k nằm lân cận điểm z, để giảm hàm mục tiêu ta dịch chuyển từ x k theo hướng dk tạo với vector gradient ∇ f (z) góc tù, với độ dài bước αk xác định Việc lựa chọn hướng dịch chuyển độ dài bước khác cho ta phương pháp gradient khác Và phương pháp ta chọn hướng dk = −∇ f ( x k ) với k Phương pháp gradient sử dụng xấp xỉ thô hàm cần tìm cực tiểu (nghĩa có số hạng tuyến tính khai triển f ( x ) thành chuỗi Taylor dùng để chọn hướng dịch chuyển) Trong đó, không giống phương pháp gradient thông thường, phương pháp Newton có hướng tìm riêng, gọi hướng Newton, dùng đến đạo hàm riêng cấp hai hàm f ( x ) đòi hỏi hàm f ( x ) hai lần khả vi liên tục hướng xác định sau dk = −[∇ f ( x k )]−1 ∇ f ( x k ) Công việc tính ma trận nghịch đảo [∇ f ( x k )]−1 bước công việc khó khăn Vì thế, phương pháp Newton sử dụng thực tiễn n > 1, phương pháp có tốc độ hội tụ bậc hai Bằng cách sử dụng công thức lặp thay đổi độ dài bước phương pháp tìm kiếm chiều theo hướng cải tiến phép lặp phương pháp Newton thành phương pháp Newton suy rộng Phương pháp có tốc độ hội tụ điểm hội tụ hàm nhanh so với phương pháp gradient, cụ thể xét kỹ phương pháp Davidon- Fletcher- Powell chương sau Và đặc biệt độ dài bước αk = ta có phương pháp Newton Cuối phương pháp gradient liên hợp Fletcher- Reeves tìm cực tiểu tự hàm toàn phương ( hàm lồi bậc hai )bằng phương pháp lặp Như vậy, phương pháp sử dụng đạo hàm có ưu điểm hội tụ nhanh, số biến lớn gặp khó khăn việc tính đạo hàm, mặt khác việc chuẩn bị toán để giải tốn nhiều thời gian Tóm lại phương pháp chung có hiệu để giải toán quy hoạch nói chung quy hoạch phi tuyến nói riêng Mỗi phương pháp có ưu, nhược điểm riêng Nên luận văn tìm hiểu sâu thuật toán, hội tụ ví dụ để làm rõ hai phương pháp: Phương pháp sử dụng giá trị hàm Hooke- Jeeves phương pháp sử dụng đạo hàm hàm DavidonFletcher-Powell thuộc lớp chung phương pháp Newton, việc giải toán tối ưu không ràng buộc Nội dung luận văn bao gồm vấn đề sau đây: • Tổng quan phương pháp tìm cực tiểu tự • Tóm tắt kiến thức liên quan • Trình bày cụ thể hai phương pháp Ví dụ minh họa chạy kiểm tra kết Maple Do thời gian thực khóa luận không nhiều, kiến thức hạn chế nên làm khóa luận không tránh khỏi hạn chế sai sót Tác giả mong nhận góp ý ý kiến phản biện quý thầy cô bạn đọc Xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2014 Học viên Lê Hồng Nguyên Chương Một số kiến thức chuẩn bị 1.1 Một số khái niệm giải tích lồi Định nghĩa 1.1 [Đoạn thẳng][8] Tập tất điểm x = (1 − λ) a + λb với ≤ λ ≤ 1, a, b ∈ Rn gọi đoạn thẳng nối hai điểm a b Ký kiệu [ a, b] Định nghĩa 1.2 [Tập lồi][8] Tập D ⊂ Rn gọi tập lồi chứa trọn đoạn thẳng nối hai điểm thuộc Hay nói cách khác D tập lồi (1 − λ) a + λb ∈ D với a, b ∈ D, ≤ λ ≤ Ví dụ 1.1 Hình 1.1: Tập lồi :a, b, tập không lồi :c Các tính chất tập lồi • Tổng đại số hữu hạn tập lồi tập lồi • Giao họ tập lồi tập lồi Tài liệu tham khảo [1] Nguyễn Hữu Điển (2006), Một số vấn đề thuật toán, NXB Giáo dục [2] Nguyễn Nhật Lệ (2001), Tối ưu hóa ứng dụng, NXB Khoa học kỹ thuật [3] Nguyễn Đức Nghĩa - Vũ Văn Thiệu - Trịnh Anh Phúc (2012), Các phương pháp cực tiểu hóa ràng buộc, Bộ môn KHMT, Viện CNTT trường ĐHBK Hà Nội [4] Bùi Thế Tâm - Trần Vũ Thiệu, Các phương pháp tối ưu hóa, NXB Giao thông vận tải, (1998) [5] Trần Vũ Thiệu - Nguyễn Thị Thu Thủy (2011), Giáo Trinh tối ưu phi tuyến, NXB Đại học Quốc gia Hà Nội [6] Nguyễn Hải Thịnh (2006), Tối ưu hóa, NXB Bách khoa Hà Nội [7] C.J.Price, B.L.Robertson and M.Reale (2009), AMO-advanced Modeling and Optimization, Department of Mathermatics and Statistics, University of Canterbury, Private Bag 4800, Chrischurch, Newzeland [8] Danzig G.B and Thapa M.N, Linear programming - Theory and Extensions,Springer Verlag, New York Berlin, Heideiberg,(2003) [9] David G.Luenberger - Yingu Ye (2008), Linear and Nonlinear programming, Dept of Mgmt, Sience and Engineering Stanford University, Stanford, CA, USA 58 [10] Enrique Dell Castillo - Douglas C.montgomery - Daniel R Mc Carville (1996), Modified Desirability Function for multiple response optimization, University of Texes, Arizana state University Tenpe, AZ 85287 − 5906 [11] Mokhatar S.bazara - Hanif d.Sherali - C.M Shetty (2006), Nonlinear programming Theory and Algorithins, John Wiley and Suns, Inc [12] Wenya sun - Ya-xiang Yuan (2006),Optimization theory and methods , Springer Science Pusiness Media, LLC,23 street NewYork NY 10013, USA 59 [...]... thuật toán, NXB Giáo dục [2] Nguyễn Nhật Lệ (2001), Tối ưu hóa ứng dụng, NXB Khoa học và kỹ thuật [3] Nguyễn Đức Nghĩa - Vũ Văn Thiệu - Trịnh Anh Phúc (2012), Các phương pháp cực tiểu hóa ràng buộc, Bộ môn KHMT, Viện CNTT trường ĐHBK Hà Nội [4] Bùi Thế Tâm - Trần Vũ Thiệu, Các phương pháp tối ưu hóa, NXB Giao thông vận tải, (1998) [5] Trần Vũ Thiệu - Nguyễn Thị Thu Thủy (2011), Giáo Trinh tối ưu phi tuyến,