Đang tải... (xem toàn văn)
Thuật toán Gradient và phương pháp chỉnh lặp song song
Mục lục Mở đầu 1 Một số kiến thức chuẩn bị 1.1 1.2 1.3 1.4 ánh xạ không gi·n ánh xạ hút dÃy đơn điệu Fejer Mô tả thuật toán tổng quát 14 Một số tính chất 15 Mét sè thuËt to¸n chiÕu 2.1 2.2 2.3 2.4 24 Xây dựng thuật toán Mét sè kÕt qu¶ héi tơ Một số điều kiện đảm bảo hội tơ theo chn vµ héi tơ tun tÝnh Mét vµi ví dụ tính quy tuyến tính (bị chặn) ThuËt toán gradient phương pháp chỉnh lặp song song 3.1 Tht to¸n díi gradient 3.1.1 C¬ së 3.1.2 Các kết hội tụ 3.2 Phương pháp chØnh lỈp song song i 24 27 34 39 41 41 41 47 50 3.2.1 Một số kết bổ trợ 3.2.2 Mét sè vÝ dơ minh ho¹ 3.3 Mét vµi thư nghiƯm sè 3.3.1 Bài toán với Ci hình cầu 3.3.2 Bài toán với Ci tập mức hàm lồi 3.3.3 Phương pháp chỉnh lặp không gian vô hạn chiều 50 51 55 55 57 61 Kết luận 62 Tài liệu tham khảo 63 Phơ lơc 65 A Mét sè ®iĨm lu ý tính vi phân 65 1.1 Một vài tính chÊt cđa díi vi ph©n 65 1.2 Mét sè vÝ dô 66 ii Lêi cảm ơn Bản luận văn hoàn thành hướng dẫn tận tâm nhiệt tình thầy- GS.TSKH Phạm Kỳ Anh Qua em xin bày tỏ lòng biết ơn chân thành sâu sắc tới thầy Cũng này, em xin gửi lời cảm ơn đến anh nghiên cứu sinh Cao Văn Chung, Vũ Tiến Dũng tập thể cán bộ, cộng tác viên, nhân viên Trung tâm tính toán hiệu cao trường ĐH Khoa học Tự nhiên giúp đỡ tận tình hiệu trình thực luận văn Em xin gửi lời cảm ơn tới thầy Bộ môn Toán học tính toán toàn thể thầy giáo, cô giáo Khoa Toán-Cơ-Tin học trường ĐH Khoa học Tự nhiên-ĐH Quốc gia Hà Nội đà nhiệt tình giảng dạy, tạo điều kiện giúp em thu nhiều kiến thức bổ ích suốt trình học tập Hà Nội, ngày 29 tháng 11 năm 2009 Học viên Vũ Anh Mỹ iii Mở đầu Nhiều vấn đề khoa học công nghệ đưa toán tìm điểm giao số tập lồi Bài toán gọi Bài toán chấp nhận lồi: Cho X không gian Hilbert vµ C1, C2, , CN tập lồi đóng với giao tập C khác rỗng: C = C1 CN = Tìm điểm x C Chúng ta xét hai trường hợp thường gặp sau: ã ã Các tập Ci đơn giản theo nghĩa phép chiếu (trực giao) lên Ci tính toán tường minh Ci trường hợp siêu phẳng, nửa không gian, không gian đóng hay hình cầu Không thể tính phép chiÕu lªn Ci, nhiªn cã thĨ thay nã b»ng phép chiếu lên tập xấp xỉ Ci Ci trường hợp tập mức hàm lồi Hướng tiếp cận thường dùng sử dụng thuật toán chiếu Sử dụng phép chiếu lên tập Ci tập xấp xỉ Ci để xây dựng dÃy phần tử hội tụ đến nghiệm toán chấp nhận lồi Một số ứng dụng toán chấp nhËn låi cã thĨ kĨ nh sau: • • ã ã Bài toán xấp xỉ tốt nhất, tập Ci không gian đóng Khôi phục ảnh (mô hình rời rạc): Mỗi tập Ci nửa không gian siêu phẳng, X không gian Euclid Khôi phục ảnh (mô hình liên tục): X không gian Hilbert vô hạn chiều Các thuật toán gradient: Một số tập Ci thuộc loại thø 2, tøc lµ tËp møc díi cđa mét hµm lồi Trong luận văn nghiên cứu tht to¸n chiÕu tỉng qu¸t: N x (n+1) (n) (n) =A x (n) (n) (n) (n) λi [(1 − αi )I + αi Pi ] x(n) , = (1.1) i=1 Pi(n) phép chiếu lên tập xấp xỉ Ci(n) bước lặp thứ n, i, i tương ứng trọng tham số nới lỏng, thuật toán chỉnh lặp song song giải hệ phương trình đặt kh«ng chØnh ë Ai (x) = 0, i = 1, , N d¹ng: Ai x(n) + αn + γn x(n) = γn x(n) , i i N N (n) x(n+1) = xi N i=1 Trong n tham số hiƯu chØnh, γn lµ tham sè song song hãa Ngoµi phần Mở đầu, Kết luận Tài liệu tham khảo, cấu trúc luận văn gồm chương: Chương mang tên "Một số kiến thức chuẩn bị", trình bày khái niệm bản, số kết phụ trợ thuật toán dạng tổng quát với ánh xạ không giÃn vững với kết tính hội tụ thuật toán tổng quát Chương mang tên "Một số thuật toán chiếu", trình bày thuật toán chiếu giải toán chấp nhận lồi kết hội tụ Chương mang tên "Thuật toán gradient phương pháp chỉnh lặp song song", trình bày toán chấp nhận lồi tập lồi Ci cho díi d¹ng tËp møc díi cđa mét phiÕm hàm lồi, thuật toán gradient Cuối chương số ví dụ số minh họa thuật toán gradient phương pháp hiệu chỉnh song song áp dụng cho toán chấp nhận lồi thử nghiệm số cho thuật toán trình bày Chương 2 Chương Một số kiến thức chuẩn bị 1.1 ánh xạ không giÃn Định nghĩa Cho X không gian Hilbert, ánh xạ T : D D, D tập lồi, đóng, khác rỗng X gọi không giÃn nÕu T x − T y ≤ x − y ∀x, y ∈ D NÕu T x − T y = x − y ∀x, y ∈ D, ta nãi T phép đẳng cự Ngược lại, T x − T y < x − y víi mäi x, y khác D ta nói T ánh xạ không giÃn chặt Nếu T ánh xạ không giÃn tập điểm bất động T , ký hiệu Fix T định nghĩa bởi: Fix T = {x ∈ D : x = T x} lµ tËp låi ®ãng MƯnh ®Ị (Nguyªn lý tÝnh nưa ®ãng) NÕu D tập lồi đóng X , T : D X ánh xạ không giÃn, (xn ) lµ mét d·y D vµ x ∈ D, xn x xn T xn → th× x ∈ Fix T Chøng minh: Từ giả thiết xn x ta có lim inf xn − x0 > lim inf xn − x n với x0 = x Thật vậy, từ đẳng thøc xn − x0 = xn − x + x − x0 n→∞ + xn x, x x0 giả thiết xn Bây giả sử xn x, số hạng cuối tiến tíi x vµ xn − T xn −→ 0, T kh«ng gi·n ta cã lim inf xn − x ≥ lim inf T xn − T x = lim inf xn − T x , n→∞ n→∞ n→∞ từ bất đẳng thức chứng minh ta suy x = T x hay x ∈ Fix T Định nghĩa Nếu N ánh xạ không giÃn ánh xạ trung bình (1 )I + N với [0, 1) ánh xạ không giÃn Một ánh xạ không giÃn vững ánh xạ trung bình có dạng I + N với N 2 ánh xạ không giÃn Tính vững hiểu tính kh«ng gi·n T x − T y ≤ x − y , ánh xạ thỏa mÃn bất đẳng thức chặt Tx Ty + (Id T )x − (Id − T )y ≤ x y Điều tương đương với bất đẳng thức (ii) mệnh đề Mệnh đề Nếu D tập lồi đóng X T : D X ánh xạ, mệnh đề sau tương đương: (i) T ánh xạ không giÃn vững (ii) Tx Ty ≤ T x − T y, x − y (T 1ngược đơn điệu mạnh ) (iii) 2T I ánh xạ không giÃn Định nghĩa Một ánh xạ gọi không giÃn vững nới lỏng biểu diễn dạng (1 )I + F với F ánh xạ không giÃn vững Hệ Giả sử D tập đóng X T : D X ánh xạ, T ánh xạ trung bình hóa ánh xạ không giÃn vững nới lỏng Mệnh đề Giả sử C tập lồi đóng khác rỗng X với phép chiếu tương ứng PC Khi đó: (i) Nếu x X PC x đặc trưng tÝnh chÊt: PC x ∈ C vµ C − PC x, x − PC x ≤ (tiªu chuÈn Kolmogorov) (ii) PC ánh xạ không giÃn vững Chứng minh: (i): Ta sÏ chøng minh x − PC x = min{ x − z : z ∈ C} ⇐⇒ x − PC x, PC x − z ≥ ∀z ∈ C Ta cã x−z = x − PC x + P C x − z = x − PC x + x − PC x, PC x − z + PC x − z ≥ x − PC x 2 + x − PC x, PC x − z Nh vËy, tõ x−PC x, PC x−z ≥ ta suy x−PC x = min{ xz : z C} Ngược lại tõ x − PC x = min{ x − z : z ∈ C} Chän ®iĨm λz + (1 − λ)PC x ∈ C, λ > 0, ta cã ≥ x − PC x − x − (λz + (1 − λ)PC x) = x − PC x − x − PC x − λ(z − PC x) = x − PC x − λ(z − PC x), λ(z − PC x ⇔ ≥ x − PC x − λ(z − PC x), z − PC x Cho λ → 0 ≥ x − PC x, z − PC x ⇔ x − PC x, PC x − z ≥ (ii): Để chứng minh PC ánh xạ không giÃn vững, dựa vào mệnh đề 2, ta cần PC x − PC y, x − y ≥ PC x PC y Bất đẳng thức tương đương với x y (PC x PC y), PC x − PC y ≥ §Ĩ chứng minh điều này, từ tiêu chuẩn Kolmogorov áp dụng cho PC y vµ PC x ta cã x − PC x, PC x − PC y ≥ 0, PC y − y, PC x − PC y ≥ Cộng vế ta có điều cần chứng minh Định nghĩa Hàm tương ứng d(Ã, C) : X R : x −→ inf x−c = x−PC x c∈C gọi hàm khoảng cách tới tập C Dễ thấy với tập C lồi đóng d(Ã, C) hàm lồi liên tục (và nửa liên tục yếu) Định nghĩa Một dÃy (xn ) X gọi hội tụ tuyến tÝnh tíi giíi h¹n x víi cÊp β nÕu β [0, 1) tồn số cho xn − x ≤ αβ n ∀n MÖnh đề Giả sử (xn ) dÃy X , p số nguyên dương x điểm X Nếu (xpn )n hội tơ tun tÝnh tíi x vµ ( xn − x )n dÃy giảm toàn dÃy (xn )n hội tụ tuyến tính tới x 1.2 ánh xạ hút dÃy đơn điệu Fejer Định nghĩa Giả sử D tập lồi đóng khác rỗng, T : D D ánh xạ không giÃn F tập lồi đóng khác rỗng D Ta nói T ánh xạ hút tËp F nÕu víi mäi x ∈ D \ F, f ∈ F Tx − f < x − f Ta nói T hút mạnh với tập F nÕu tån t¹i mét sè κ > cho víi mäi x ∈ D, f ∈ F κ x − Tx ≤ x−f − Tx f Khi cần nhấn mạnh ta nói T hút tập F Bổ đề (Dạng ánh xạ hút mạnh) Giả sử D tập lồi đóng khác rỗng, T : D D ánh xạ không giÃn vững có điểm bất động, (0, 2) Đặt R = (1 )I + T cố định x D, f ∈ Fix T Khi ®ã: (i) Fix R = Fix T (ii) (iii) x − f, x − T x ≥ x − T x x−f − Rx − f vµ x − T x, T x − f ≥ = 2α x − f, x − T x − α2 x − T x (iv) R lµ (2 − α)/α-hót: x − f − Rx − f ≥ (2 − α)/α x − Rx = 2 (2 − α)α x − T x (i) lµ hiển nhiên (ii): Do T ánh xạ không giÃn v÷ng, ta cã Chøng minh: Tx − f ≤ T x − f, x − f ⇐⇒ T x − x + x−f + T x − x, x − f ≤ T x − f, x − f ⇐⇒ T x − x + x−f + T x − x, x − f ≤ T x − x, x − f + x − f ⇐⇒ T x − x ≤ x − T x, x − f = x − T x, T x − f + x − T x ⇐⇒0 ≤ x − T x, T x − f (iii): B»ng tÝnh to¸n trùc tiÕp x−f − Rx − f = x−f − (1 − α)(x − f ) + α(T x − f ) = x−f − [1 − α)2 x − f =2α x − f 2 − α2 x − f 2 + α2 T x − f − α2 T x − f 2 + 2α(1 − α) x − f, T x − f ] + 2α2 x − f, T x − f − 2α x − f, T x − f =2α x − f, x − f − (T x − f ) − α2 [ x − f + Tx − f − x − f, T x − f ] =2α x − f, x − T x − α2 x − T x tr×nh αn ˜ n Ai (xi ) + + γ n xi = γ n xn n N i ˜ Ai (xi ) = xn −ai −rx+| xin −ai −ri | (xi − ) = κi (xi − ) n n n n n −a 2.5 phương trình tuyến tính xin tính dễ dàng (2.5) Phương trình Bổ đề 10 Giả sử (n ), (n ) hai d·y sè d¬ng cho αn → 0; γn → +∞; γn (αn+1 −αn ) αn → n → ∞ vµ ∞ n=1 αn γn = +∞; αn γn → +∞ Gi¶ sư xÊp xØ thø n đà tính, y0 cho trước, phép lặp sau héi tơ tíi nghiƯm cã chn nhá nhÊt x† Ai (y i ) + ˜ n y n+1 = N αn N N i=1 i + γn yn = γn yn , (i = 1, 2, , N ); i yn (2.6) ; n = 0, 1, 2, C¸c d·y (n) (n) thỏa mÃn điều kiện định lý 18 nên phép lặp (2.1) hội tụ Để chứng minh phÐp lỈp 2.6 héi tơ, ta chøng minh hai dÃy (xn ) (yn ) có giới hạn b»ng c¸ch chØ yn − xn → ThËt vËy, ta cã Chøng minh: yn+1 − xn+1 = N N i (yn − ≤ N xi ) n i=1 N i y n − xi n (2.7) i=1 i i Tiếp theo ta đánh giá yn xin Trừ vế phương trình tìm yn xin ta i i i i Ai(yn) − Ai(yn) + Ai(yn) − Ai(xin) + α + γn (yn − xin) = γn(yn − xn) N i Nhân vô hướng hai vế với (yn xin) sử dụng tính chất ngược đơn điệu mạnh toán tử Ai ta n n i i i i γn yn − xn , yn − xi ≥ Ai (yn ) − Ai (yn ), yn − xi + + γn n n N i yn − xi , n tõ ®ã suy αn + γn N hay i yn − xi n αn + γn N ≤ γn yn − xn i i i ˜ i yn − xi + Ai (yn ) − Ai (yn ) yn − xi n n i i ˜ i yn − xi ≤ γn yn − xn + Ai (yn ) − Ai (yn ) n 54 Từ suy i i y n xn ≤ − αn N γn y n − xn + N i ˜ i Ai (yn ) − Ai (yn ) αn + N γn i i i Có thể chứng minh được: Ai(yn) Ai(yn) M yn yn i Với bất đẳng thức ta có đánh giá sau cho yn yn i i i Từ phương trình (2.6), ta cã yn − yn = γ1 Ai(yn) + α yn N i Ai (yn ) bị chặn n dÃy yn bị chặn Kết hợp lại ta n n i y n xi ≤ − n αn N γn y n − xn + ≤ K γn v× dƠ thÊy L N n Kết hợp với đẳng thức (2.7) ta cã yn+1 − xn+1 ≤ N N αn αn + N γn i y n − xi ≤ − n i=1 y n − xn + L γn α , pn = α +N γ bn = L , sử dụng điều kiện cho hai d·y (αn) vµ γn ta thÊy an, bn, pn thỏa mÃn điều kiện bổ đề Do ®ã yn − xn → ¸p dơng bỉ ®Ị víi an = yn − xn n n n n 3.3 Mét vµi thư nghiƯm sè 3.3.1 Bµi toán với Ci hình cầu Ta xét ví dụ sau: Cho tập ã C1 = {x R2 | f1 (x) = (x1 − a)2 + (x2 − a)2 − a2 ≤ 0} • C2 = {x ∈ R2 | f2 (x) = x2 + x2 − a2 ≤ 0} • C3 = {x ∈ R2 | f3 (x) = x1 − a 2 + x2 − 55 a 2 − a2 ≤ 0} • C4 = {x ∈ R2 | f4 (x) = (x1 + a)2 + (x2 − a)2 − (a + )2 0} Ta thấy bốn tập hình cầu, số dương nhỏ Khi = 0, toán chấp nhận lồi có nghiệm (x1, x2) = (0, a) Khi > toán có vô số nghiệm Bảng sau cho kết thuật toán gradient lập trình MATLAB 7.4 chạy máy tính laptop HP-Dv2613TU với xử lý Core Duo T5250 1.5GHz dung lượng RAM 3GB Điều kiện dừng thuật toán fi(z) , i = 1, 2, 3, 4; Nmax số vòng lặp đà thực đến dừng thuật toán số vòng lặp tối đa a 100 0.1 z0 Nmax 1000 113 1000 1000 0.1 10000 110 10000 100 0.01 1000 1e-8 368396 1000 1000 0.01 10000 1e-8 107 10000 time(s) f1 0.078 -19.9 f2 f3 33.67 900 -15.7 z 0.1 99.9421 -0 -16847 -8423 -57 0.0358 991.5405 1e-8 -199 -99 1e-8 0.00500025 98.99998749 2e-8 -6314 -3517 1e-8 0.0005000025 996.8377 0.03 -11.6 f4 B¶ng 1: ThuËt toán gradient cho toán với hình cầu Từ bảng ta nhận thấy nhỏ dÃy lặp hội tụ chậm Bảng cho ta kết thuật toán kiểu xét tập xa cho toán Trong bước, ta tính khoảng cách từ x(n) đến tập chọn tập xa x(n) để chiếu Như mặt khối lượng tính toán, phương pháp giống với phương pháp đồng Ký hiệu tương tự thêm tham số nới lỏng, RelErr sai số tương đối kết quả; điều kiện dừng thuật toán z xi ri + δ hc max{d(z, Ci ) | i = 1, 2, 3, 4} ≤ δ α 1.0 a ε z0 1000 1 1.5 1000 1 1.9 1000 1 1.99 1000 1 δ 1e-10 Nmax 105 1e-10 105 1e-20 105 1e-20 3750 time(s) 7.9 z RelErr 0.0022407 0.002499964 997.763949 7.9 0.002499 0.001292 998.70919 7.9 0.00000002 0.00000152 999.998479 0.3594 0.00000000 0.682181e-15 999.9999999 B¶ng 1A: Tht to¸n díi gradient xÐt tËp xa nhÊt cho toán với hình cầu 56 3.3.2 Bài toán víi Ci lµ tËp møc díi cđa mét hµm låi Ví dụ Các hàm fi hàm khả vi Ta xét toán chấp nhận lồi với tập • C1 = {x ∈ R2 | f1 (x) = x2 + x2 − ≤ 0} • C2 = {x ∈ R2 | f2 (x) = x4 + 3x2 x2 + 2x4 − ≤ 0} 1 2 • C3 = {x ∈ R2 | f3 (x) = 3x2 − 2x1 x2 + x2 − 0} Các hàm fi hàm lồi Hessian cấp xác định dương Trong thử nghiệm số, tham số nới lỏng trọng chọn ngẫu nhiên vòng lặp Trong bảng sau, x0 vector xuất phát, Nmax số lần lặp đến tìm nghiệm, time thời gian chạy máy tính giây; f1, f2, f3 giá trị hàm tính nghiệm; lµ tham sè kiĨm tra tÝnh chÊp nhËn cđa nghiƯm NÕu fi(x) ≤ ε; i = 1, 2, th× x chấp nhận dừng thuật toán Bảng sau cho kết thuật toán gradient lập trình MATLAB 7.4 chạy máy tính laptop HP-Dv2613TU víi bé xư lý Core Duo T5250 1.5GHz vµ dung lỵng RAM 3GB x0 Nmax (10, 10) (100, 100) (1000, 1000) 69 28 25 time(s) f1 f2 f3 1e-16 0.0625 -0.845056 0, g = (gi ); gi = −1 nÕu xi < 0, ±1 nÕu xi = Xem phơ lơc A Víi f (x) = x ∞ ta cã thĨ tÝnh nh sau: Tríc hÕt, hµm x ∞ = max{|xi| : i = 1, 2, , n} cã thÓ xem nh max{fi (x) : i = 1, 2, n} fi (x) = |xi | lại coi max s(i) , x s(i) = 1; s(i) = (j = i) áp dụng phương ph¸p phơ lơc A ta cã i j thĨ tính vi phân fi(x) Chứng minh: 0 1 (i) gj (x) = −1 ±1 nÕu j = i nÕu xi > nÕu xi < nÕu xi = Do ®ã díi vi ph©n cđa f (x) = x ∞ tÝnh nh sau: T×m chØ sè i cho fi(x) = |xi| = x , chọn fi(x) đạo hàm cần tìm Trong ví dụ ta xét hàm f1(x) f2(x) có dạng f1 (x) = A x + b1 c1 , x + d1 f2 (x) = A x + b2 c2 , x + d2 2 + x − b1 , |d1 | + x ∞ − b2 |d2 | Trong A1, A2 Mnìm; b1, b2 Rn; c1, c2 ∈ Rm; d1, d2 ∈ R vµ xét toán chấp nhận lồi: Tìm x Rm | f1(x) ≤ 0; f2(x) ≤ Dùa vµo bổ đề nêu trên, vi phân chuẩn à à dễ dàng tính được, hàm à hàm khả vi có đạo hàm lµ xx víi x = Víi x = 0, tËp díi vi ph©n cho bëi {g ∈ Rn | g, z ≤ z ∀z ∈ Rn} Tõ bÊt ®¼ng 59 thøc Bunyakovsky | g, z | ≤ g z ≤ z 2, nÕu g ta thấy tập vi phân chứa hình cầu đơn vị; chọn vector độ dài đơn vị Thử nghiệm sè cho vÝ dô sau f1 (x) = A1 x + b1 c1 , x + d1 f2 (x) = A2 x + b2 c2 , x + d2 f3 (x) = A3 x + b3 c3 , x + d3 f4 (x) = A4 x + b4 c4 , x + d4 2 2 + x − b1 ≤0 |d1 | + x ∞ − b2 ≤0 |d2 | + x − b3 ≤0 |d3 | + x ∞ − b4 |d4 | Trong ma trận Ai Rm×n; bi ∈ Rm; ci ∈ Rn; di ∈ R, i = 1, 2, 3, Trong thư nghiƯm sè ta ký hiƯu: n sè chiỊu cđa vector x, Nmax số lần lặp đến thỏa mÃn điều kiện dõng fi(x) ≤ ε, i = 1, 2, 3, Để đơn giản ta coi Ai , i = 1, 2, 3, ma trận vuông Chú ý toán có nghiệm vector Kết tính toán cho bảng đây, thuật toán gradient lập trình phần mềm MATLAB 7.4, chạy máy laptop HP-Dv2613TU, xử lý Core Duo T5250 1.5GHz, RAM 3GB Các vector bi, ci số thực di lấy ngẫu nhiên, ma trận A1, A2 ma trận Hilbert chuyển vị nó, A3 ma trận toàn phần tử (cho lệnh gán A3 = ones(n, n)), A4 tỉng cđa ma trËn Hilbert cÊp n vµ ma trËn toàn phần tử n Nmax time(s) f1 f2 f3 f4 3000 127 205.6 1e − 20 −58562 −44581 < ε −12077 1000 126 21.9 1e − 16 −13643 −30560 < ε −1394 4000 151 434.4 1e − 16 12383 573986 < 6821 Bảng 4: Bài toán chấp nhận lồi với tập mức hàm có vi phân 60 3.3.3 Phương pháp chỉnh lặp không gian vô hạn chiều Trong phần ta xét không gian vô hạn chiều L2([0, 1]) với tích v« híng f, g = f (x)g(x) dx Xét hai hình cầu C1 = B(f1 , 0.5) với f1 (x) ≡ vµ C2 = B(f2 , 0.5) với f2 (x) Bài toán có nghiệm hàm f (x) 1.5 Hình chiếu lên hình cầu tính theo công thức (1 λ)fi + λy λ ≤ Pi (y) = y λ>1 ®ã λ = 0.5 y − fi L2 Chọn hàm xuất phát x(0) = sin t Chuẩn tính gần tích phân theo công thức Simpson với số điểm chia N tùy chọn Các tham sè αn = n , γn = n0.5+φ víi φ = 10−6 0.5−φ RelErr time(s) Nmax 2000 0.026078 289.875 200000 1500 0.026001 343.797 300000 Bảng 5: Thuật toán chỉnh lặp song song không gian vô hạn chiều N 61 Kết luận Qua ba chương, luận văn đà trình bày khái quát toán chấp nhận lồi thuật toán song song để giải toán ứng dụng phương pháp chỉnh lặp song song Đối với toán chấp nhận lồi tập lồi cho dạng tập mức hàm lồi, tác giả chưa áp dụng phương pháp chỉnh lặp song song cách hiệu Ngoài việc tính toán vi phân cần thiết cho thuật toán gradient hàm fi đạo hàm mà có vi phân thực cho số hàm đặc biệt Hướng phát triển cho đề tài là: Tìm cách áp dụng hiệu phương pháp chỉnh lặp song song cho toán chấp nhận lồi Chứng minh hội tụ cho trường hợp toán chịu nhiễu ã Tính toán vi phân cho thuật toán gradient cho trường hợp hàm f cho dạng phức tạp ã Do thời gian trình độ có hạn, nên dù đà cố gắng đà học thêm nhiều kiến thức song chắn luận văn có nhiều hạn chế Tác giả mong nhận góp ý, nhận xét, phê bình thầy cô, đồng nghiệp người quan tâm đến đề tài để tiếp tục hoàn thiện 62 Tài liệu tham khảo [1] Y.Alber, I.Ryazantseva,"Nonlinear ill-posed problems of monotone type", Springer, 2006 [2] P.K.Anh, N.Bêng , "Bài toán đặt không chỉnh", NXB ĐH Quốc gia Hà Néi, 2007 [3] P K.Anh, C.V.Chung, "Parallel iterative regularization methods for solving systems of ill-posed equations ", Applied Mathematics and Computation, (2009) [4] H.H.Bauschke, J.M.Borwein, "On projection algorithms for solving convex feasibility problems", SIAM Review , Vol.38, (1996), 367-426 [5] S.Boyd, L.Vandenberghe,"Convex Optimization", Cambridge, 2004 [6] S.Boyd, L.Vandenberghe,"Subgradients",Notes for EE364b, Stanford University, Winter 2006-07, April 13, 2008 [7] N.Buong, P.V.Son, "An explicit iteration method for convex feasibility problems in Hilbert spaces", Applied Mathematical Science 2, 15, (2008), 725734 [8] Y.Censor , "On sequential and parallel projection algorithms for feasibility and optimization"; Proceedings of the SPIE, Vol.4553, 2001, 1-9 [9] Y.Censor, D.Gordon, R.Gordon, "Component averaging: An efficient iterative parallel algorithm for large and sparse unstructured problems", Parallel Computing 27 , 2001, pp 777-808 63 [10] N Q Hùng, ''Hàm khoảng cách số ứng dụng", Luận văn thạc sỹ khoa häc, 2009 [11] T.Lu, P.Neittaanmaki, X.-C Tai, "A parallel splitting up method for partial differential equations and its application to Navier-Stokes equations", RAIRO Mathematical Modelling and Numerical Analysis 26 6, 1992, pp 673-708 [12] A.W.Roberts, D.E.Varberg, "Convex Functions", Academic Press, New York, (1973) [13] R.Tyrrell Rockafellar, "Convex Analysis", Princeton University Press,1970 [14] M.Tsukada, "Convergence of best approximations in a smooth Banach space", J Approx Theory 40, (1984) 64 Phô lôc A Mét sè ®iĨm lu ý tÝnh díi vi phân Trong mục ta đưa số quy tắc tính vi phân Ta phân biệt hai mức độ tính toán vi phân Mức độ I: Với x int dom f ta tính phần tử nằm tập vi phân f Trong thực hành ta cần đến mức Mức độ II: Với x int(dom f ) ta mô tả toàn tập vi phân f (x) Mức độ cần dùng khảo sát lý thuyết, chẳng hạn cần mô tả đầy đủ xác điều kiện tối ưu 1.1 Một vài tính chất vi phân Tính không âm Với ta có ∂(αf )(x) = α∂f (x) TÝnh chÊt Díi vi phân tổng tích phân Giả sử f = f1 + f2 + · · · + fm, ®ã fi (i = 1, 2, , m) hàm lồi Khi Tính chất ∂f (x) = ∂f1 (x) + + fm (x) Tính chất mở rộng cho tổng vô hạn, tích phân kỳ vọng(nếu tồn tại) Tính chất Phép hợp thành với ánh xạ affine Giả sử f hàm lồi h(x) = f (Ax + b) Khi ®ã ∂h(x) = AT ∂f (Ax + b) 65 1.2 Mét sè vÝ dơ Hµm lồi nhận cách lấy maximum điểm Giả sử f hàm maximum điểm f1, f2, , fm tøc lµ VÝ dơ A.1 f (x) = max{f1 (x), f2 (x), , fm (x)}, hàm fi khả díi vi ph©n Tríc hÕt ta tÝnh díi vi ph©n với mức độ I Giả sử k số cho fk (x) = f (x) vµ g − k(x) ∈ ∂fk (x) Khi ®ã gk (x) ∈ ∂f (x) Nói cách khác muốn tìm vi phân hàm maximum điểm, ta tìm số hàm đạt maximum lấy phần tử nằm vi phân hàm Điều suy tõ f (z) ≥ fk (z) ≥ fk (x) + gk (x), z − x = f (x) + gk (x), z x Tổng quát ta cã ∂f (x) = co( {∂fk (x) | fk (x) = f (x)}) Hàm maximum điểm hàm kh¶ vi Gi¶ sư f (x) max fi (x), fi hàm lồi khả vi Khi i=1,2, ,m VÝ dô A.1.1 = ∂f (x) = co{ fi (x) | fi (x) = f (x)} T¹i x đó, có hàm đạt max f (x) điểm, đạo hàm hàm Nếu có nhiều hàm đạt max f (x) đa diện lồi Ví dơ A.1.2 Chn · Gi¶ sư f (x) = x = |x1 | + |x2 | + · · · + |xn | Hµm nµy lµ hµm lồi không khả vi Để tìm gradient nó, chó ý r»ng f (x) cã thĨ xem nh maximum cđa 2n hµm tun tÝnh f (x) = x = |x1 |+|x2 |+· · ·+|xn | = max{sT x | s = (si )i=1, ,n ; si ∈ {−1, 1}} 66 Ta cã thĨ ¸p dơng vÝ dơ để tìm vi phân f Trước hết ta t×m s ∈ {−1, 1}n cho sT x = x Ta cã thÓ chän si = nÕu xi > 0, si = −1 nÕu xi < 0; nÕu xi = th× cã thĨ chän tïy ý si = hay -1 vµ cã Ýt nhÊt hai hàm đạt maximum Từ chọn đạo hàm gi = −1 ±1 nÕu xi > 0, nÕu xi < 0, nÕu xi = TËp vi phân bao lồi đạo hàm có dạng f (x) = {g | g ∞ ≤ 1; g T x = x } Hµm supremum Ta më réng vÝ dơ 1, xÐt hµm f supremum tập vô hạn hàm VÝ dô A.2 f (x) = sup fα (x), α∈A hàm f khả vi phân Ta tìm vi phân f với mức độ I Giả sử supremum đạt số A đó, tức f (x) = f (x) vµ g ∈ ∂fβ (x) Khi g f (x) Nếu supremum không đạt hàm f có không khả vi phân x tùy thuộc vào tập A Giả sử thêm tập A compact (theo metric đó) hàm f(x) hàm nửa liên tục với x Khi f (x) = co {∂fα (x) | fα (x) = f (x)} Ví dụ A.2.1 Giá trị riêng lớn ma trËn ®èi xøng XÐt f (x) = λmax (A(x)), ®ã A(x) = A0 + x1A1 + · · · + xnAn, Ai ∈ Sm Ta cã thÓ biÓu diễn hàm f hàm maximum điểm họ hàm lồi fy (x) = yT A(x)y, f (x) = sup y T A(x)y y =1 Trong biĨu thøc nµy tËp A = {y metric Rm ∈ Rm | y 67 = 1} lµ mét tập compact theo Mỗi hàm fy (x) = yT A(x)y = yT A0y + x1yT A1y + · · · + xnyT Any lµ mét hµm affine theo x víi y cố định có vi phân gradient fy (x) = (y T A1 y, , y T An y) Hµm fy (x) đạt giá trị supremum với x hàm ứng với y vector riêng ứng với giá trị riêng lớn A(x) Do đó, để tìm đạo hàm, ta tìm vector riêng ứng với giá trị riêng max sau chuẩn hóa ký hiệu yx Khi đạo hàm f t¹i x cho bëi T T g = (yx A1 yx , , yx An yx ) Tập số trường hợp A = {y ∈ Rn | y −→ fy (x) dÔ thÊy liên tục; y = 1} compact, ánh xạ f (x) = co{ fy (x) | A(x)y = λmax (A(x))y; y 68 = 1} ... "Thuật toán gradient phương pháp chỉnh lặp song song", trình bày toán chÊp nhËn låi c¸c tËp låi Ci cho díi dạng tập mức phiếm hàm lồi, thuật toán gradient Cuối chương số ví dụ số minh họa thuật. .. gọi thuật toán chiếu thuật toán gradient Mỗi số i gọi số gradient Chú ý số i số gradient Nhận xét Thuật toán chiếu thuật toán gradient có mèi liªn hƯ mËt thiÕt theo nghÜa sau: Mäi tht toán gradient. .. Ci ngược lại gọi nón chuẩn tắc Ci Tương tự thuật toán tổng quát, tính tụ thuật toán đòi hỏi bắt Định lý 13 (Dạng thuật toán gradient tụ) Cho thuật toán gradient, giả sử vi phân hàm fi khác rỗng
