Đang tải... (xem toàn văn)
MỘT SỐ PHƯƠNG PHÁP DÒ TÌM NGẪU NHIÊN VÀ ỨNG DỤNG
GIÁO DC VÀ ÀO TO TRNG I HC À LT TRNG CHÍ TÍN T S PHNG PHÁP DÒ TÌM NGU NHIÊN VÀ NG DNG TÀI KHOA HC CP B (B2005-29-34) À LT, 2006 GIÁO DC VÀ ÀO TO TRNG I HC À LT T S PHNG PHÁP DÒ TÌM NGU NHIÊN VÀ NG DNG TÀI KHOA HC CP B (B2005-29-34) Ch nhim tài: Trng Chí Tín Các thành viên: ng Phc Huy Trn Ngc Anh À LT, 2006 C LC i mu _______________________________________________________ 1 PHN I. Mt s kt qu v thut gii di truyn và mng nron ____________ 4 1. ng dng chin lc ng trong thut gii di truyn gii mt lp bài toán i u toàn cc … ……………………………………………………… 5 2. Ci thin kh nng hc ca mng n ron truyn thng nhiu lp ……… 19 PHN II. Mt s kt qu v nung luyn mô phng ___________________ 30 1. S hi t ca thut toán nung luyn mô phng trong trng hp ri rc …………………………………………………………………………. 31 2. Nung luyn mô phng: mt s nhn xét v s hi t ca xích Metropolis …………………………………………………………………………. 51 3. Áp dng phng pháp nung luyn mô phng vào bài toán lp lch dòng công vic ………………………………………………………………. 63 t lun _______________________________________________________ 97 1. Các kt qu chính v lý thuyt, ng dng và sn phm ca tài ………… . 97 2. Các hng m rng ca tài ……………………………………………… 99 1 i Mu Thut gii di truyn (Genetic Algorithms - GA) và nung luyn mô phng (Simulated Annealing - SA) là hai trong s các phng pháp tìm kim ngu nhiên khá hiu qu và c ng dng rt nhiu trong thc t. T nhng nm 50, th k XX, A.S. Fraser ã a ra ý nim v thut gii di truyn da trên s tin hóa và di truyn ca sinh vt. Nhng phi n nhng nm 70, th k XX, J. H. Holland mi trin khai thành công ý tng và phng thc gii quyt vn bng thut gii di truyn. Sau ó, ngày càng nhiu kt qut n tng lý thuyt cho GA t c bi các tác gi khác nh Kenneth De Jong, David E. Goldberg, … Cho n nay, GA c áp dng trong rt nhiu lnh vc, c bit là trong khoa hc t nhiên và k thut. t trong nhng ng dng ca GA là bài toán ti u hoá. Khi áp dng các thut gii di truyn cn vào bài toán ti u hoá toàn cc, ta thng gp hn ch là tc hi t và chính xác ca li gii ti u không cao. Vic ci tin các thut gii di truyn tng tc hi t và chính xác ca li gii, c bit khi chiu không gian tìm kim ln, là rt có ý ngha thc t. khc phc hn ch trên, trc ht, chúng tôi i tin phng pháp lai o ng theo xác sut và ng quát hóa phng pháp hiu chnh tuyn tính ca D. E. Goldberg trong GA nhm nghiên cu t s tính cht hi t ca phân phi xác sut chn cá th bin hóa (lai hoc t bin) hoc tái to qun th mi. Trên c ó, chúng tôi áp dng chin lc ng vào GA, ngha là vic bin hoá và chn cá th s thc hin theo các cách khác nhau tùy thuc vào tui ca th h tin hoá i các xác sut thích hp, tùy vào mc tiêu khoanh vùng cc tr toàn cc hay tng c hi tn li gii ti u toàn cc ó. Cui cùng, tng hn na tc hi và chính xác ca li gii ti u, chúng tôi áp dng phng pháp leo i trên nhng lân cn bé dn ca li gii ti u ca bc trc. Các kt qu thc nghim trên mt lp các bài toán ti u toàn cc, vi c trng có rt nhiu cc tra phng, cho thy thut gii di truyn ng (Dynamic Genetic Algorithms - DGA) ci tin có tc hi t và chính xác ca li gii cao hn hn thut gii di truyn cn. Ngoài ra, chúng tôi còn so sánh vic áp dng GA và DGA vào bài toán hc lut qua mng nron nhân to (Artificial Neural Network - ANN), sau khi i tin thut toán hc các tham s trong mng n ron. Trên bài toán mi, chúng tôi cng thu c các kt qu tng t nh trên. Phng pháp dò tìm ngu nhiên th hai chúng tôi cp trong tài này là nung luyn mô phng - SA. ây là các thut toán ti u toàn cc ngu nhiên c xây dng t vic bin th ca các thut toán mô phng kiu Metropolis da vào các tham su khin bin thiên theo chu trình tin hóa ca thut toán. Thut toán c gii thiu mt cách c lp bi S. Kirkpatrich, C. D. Gellatt, M. P. Vecchi (1983) và Cerny (1985). Tên gi “simulated annealing” xut phát t s 2 ng t vi quá trình nung luyn ca c th trong mt b nhit ca vt lý cht n. Các tên gi khác cho thut toán, chng hn là: nung luyn Monte Carlo (Monte Carlo annealing- Jepsen và Gelatt, 1983), thut toán xác sut leo i (Probabilistic hill climbing- Romeo và Sangiovanni- Vincentelli, 1985), làm ngui thng kê (Statistical cooling- Aarts và Van Laarhoven, 1985; Storer, Becker và Nicas, 1985) . nhng nm u ca thp niên 80 ca th k 20 cho n nay, thut toán SA ã và ang thu hút s quan tâm ca nhiu ngi nghiên cu c v lý thuyt và ng dng. S phát trin v lý thuyt ca thut toán gn vi các công trình ca các tác gi nh: B. Gidas (1985), S. Anily và A. Federgruen (1985, 1986), D. Mitra, F. Romeo và A. Sangiovanni- Vincentelli (1986), B. Hajek (1988), C. R. Hwang và S. J. Sheu (1987, 1992), R. Holley, S. Kusuoka và D. Stroock (1989), O. Catoni (1992, 1998), D. Marquez (1997), P.D. Moral và L. Miclo (1999) . . Bên cnh ó SA cng ã c áp dng gii nhiu bài toán ti u t hp c ln thuc lp NP - khó, các bài toán thc trong công ngh và kinh t - xã hi. Trong các áp dng ca SA vào các bài toán thc tin, có nhng áp dng th hin tính hiu qu ca phng pháp SA nhng cng có không ít các áp dng SA không em li hiu qu mt cách áng k. Tình hung u thng xy ra i vi các th hin bài toán mà u kin áp dng kh thi là phù hp vi các u kin lý thuyt cho s hi t. Tình hung sau phn ln là do c thù riêng ca các bài toán không hi các u kin vn dng c các kt qu hi tã bit. Vic áp ng thut toán thun túy là da vào các phán oán rút ra t s phân tích d liu thc nghim mà cha bo m lý thuyt cho s hi t ca thut toán. Qua ó cho thy nhiu vn v s hi t ca SA cn phi c tip tc nghiên cu. Góp phn vào các vn quan tâm trên i vi SA, trong phm vi tài này, chúng tôi tp trung nghiên cu hi t ca thut toán nung luyn mô phng trong trng hp ri rc. C th, chúng tôi trình bày mt s kt qu liên quan n hi t ca thut toán SA thun nht vi các hàm xác sut sinh và chp nhn có ng tng quát. Nghiên cu nh hng ca tham sóng vai trò nhit trong quy trình nung luyn và tác ng ca vic gim nhanh nhit vào s hi t ca thut toán SA. Mt s khía cnh v tc hi tn trng thái cân bng, xem xét dáng u tim cn n phân b cân bng và vic xp x tùy ý gn phân b cân ng i vi các xích nung luyn thun nht. M rng kt qu ca D. Mitra, F. Romeo và A. Sangiovanni-Vincentelli v tính ergodic yu ca thut toán nung luyn không thun nht nhn c các kt qu v s hi t ca thut toán không thun nht. Nhm th nghim, chúng tôi ã áp dng thut toán SA vào mt p bài toán ti u t hp n hình là lp “bài toán lp lch thc hin công vic- JSS”. i dung chính ca tài: Phn I trình bày mt s kt qu lý thuyt và ng dng ca thut gii di truyn ci tin theo xác sut ng ph thuc vào th h tin hoá (DGA) và mng ron (ANN). 3 Phn II trình bày mt s kt qu lý thuyt v phng pháp nung luyn mô phng (SA) và ng dng ca SA vào bài toán lp lch dòng công vic. Nhng thiu sót v mt hình thc ln ni dung trong tp báo cáo tng kt tài này s khó tránh khi. Nhóm tác gi rt mong c s góp ý ca ngi c và trân trng cm n. Chúng tôi cm n trng i hc à Lt, Khoa Toán - Tin ã to nhiu u kin thun li chúng tôi tin hành và hoàn thành tài này. à Lt, tháng 3 nm 2007 Nhóm tác gi 4 PHN I t s kt qu v thut gii di truyn và mng nron 5 ng dng chin lc ng trong thut gii di truyn gii mt lp bài toán ti u toàn cc Trng Chí Tín, Trn Ngc Anh Khoa Toán Tin, i hc à Lt E-mail:chitin@hcm.vnn.vn Tóm tt: Khi áp dng các thut gii di truyn (GA) cn cho bài toán ti u toàn cc, quá trình tìm kim li gii ti u thng gp hn ch là tc hi t chm và chính xác ca li gii không cao. khc phc hn chó, chúng tôi ngh áp dng chin lc ng theo xác sut vào phép lai ci tin và phng pháp hiu chnh tuyn tính a D.E Goldberg c tng quát hóa. Kt qu thc nghim, khi gii t lp bài toán ti u toàn cc vi c trng có rt nhiu cc tra phng, cho thy phng pháp mi có u m ni bt là tc hi nhanh và chính xác ca li gii ti u rt cao. khóa: i u toàn cc, GA, hiu chnh tuyn tính, lai. 1. MU Trong bài này chúng tôi áp dng chin lc ng vào toán t lai và vào phân phi xác sut chn tp con bin hóa và tái to qun th mi trong thut gii di truyn nhm gii bài toán ti u toàn cc sau ây: Bài toán: Cho hàm s n bin thc f : D → R, vi ∏ = = n i ii baD 1 ],[ ⊆ R n . Tìm x opt ∈D: f(x opt ) = min{f(x), x ∈ D}. Khi áp dng các phép bin hoá (lai, t bin) và phân phi xác sut chn tp con bin hóa và tái to qun th mi cn trc ây thng gp hn ch là c hi tn li gii ti u chm và cho chính xác ca li gii không cao. khc phc hn chó, chúng tôi áp dng chin lc ng vào phép lai to và phng pháp hiu chnh tuyn tính ca D. E. Goldberg ([GOL]) c tng quát hoá cho phân phi xác sut chn tp con bin hóa và tái to qun th mi, nhm c tiêu khoanh vùng cc tr toàn cc giai n u tin hoá và tng tc hi n li gii ti u giai n cui theo tui ca th h tin hoá. 2. CHIN LC NG TRONG THUT GII DI TRUYN 2.1. Toán t lai to ng 6 i t, T ln lt là th h hin ti và th h cui cùng ca q trình tin hố; F 0 : D → [0; 1] là hàm thích nghi chun hóa ca cá th. Cho 2 cá th tin bi p 1 , p 2 ∈ D, khơng gim tng qt, ta có th g s p 1 là cá th tri (p 1 có thích nghi F 0 cao hn p 2 : F 0 (p 1 ) ≥ F 0 (p 2 )). Trong phép lai cn theo kiu s hc thì: ch 1 = p 1 + *δ’, (2.0) ch 2 = p 1 + (1-)*δ’, trong ó: δ’ = (p 2 – p 1 ), = random(0;1) là mt s ngu nhiên thuc khong (0; 1). Chúng tơi ngh tốn t lai ng theo xác sut s to ra 2 cá th con ch 1 , ch 2 nh sau: ch 1 = p 1 + θ(t)*δ(t) (2.1) ch 2 = p 2 - θ(t)*δ(t) i: − = )(p,),'min().( )(p-1,' )( 021 tppsign t t suấtxácvới suấtxácvới δδ δ δ (2.2) trong ó: δ’ = (p 2 – p 1 ), ≤− >− = 121 121 0 if, if, pppb ppap δ a = (a 1 , …, a n ), b = (b 1 , …, b n ), δ’ = (δ’ 1 , …, δ’ n ), p(t) = End_pLai_Dong + θ(t)*(Beg_pLai_Dong - End_pLai_Dong), θ(t) = g(t, r), (2.3) Beg_pLai_Dong và End_pLai_Dong thuc [0; 1], p(t) là xác sut ng lai ngồi n tin bi, r = random(0; 1) là mt s ngu nhiên thuc khong (0; 1); các phép tốn “+”, “-”, min và quan h hai ngơi “>” trên các vectc thc hin theo các phép tốn và quan h tng ng trên tng ta . Hàm g: [0; T]x[0; 1] →[0;1], ph thuc tui tin hố t, c chn sao cho: g(t, .) ↓ 0 khi t → T, chng hn ta thng chn: g(t, r) = r*(1 – t/T) γ hoc γ t/T)-(1 r-1r)g(t, = nh trong [2], vi γ là hng dng nào ó. Khi ó: ch 1 , ch 2 ln lt s gn cá th tri hoc ln tng ng khi t → T (giai n cui ca q trình tin hóa). 2.2. Phng pháp hiu chnh tuyn tính ng Gi s qun th ban u gm N cá th. F 0 = { } N i i F 1 ,0 = là thích nghi chun hố ca các cá th th i (i = 1 n): 1 1 .0 = ∑ = N i i F , do ó { } N i i F 1 ,0 = là mt phân phi xác sut (PPXS). i P là thích nghi chun hố mi (hoc PPXS mi) bng cách hiu chnh tuyn tính (HCTT) thích nghi chun hố F 0 : P = a*F 0 + b, (2.4) sao cho: E(P) = E(F 0 ): (E là tốn t trung bình) (2.5) 7 P Max = C*E(F 0 ), (2.6) i C ∈ (1; C 0 ], C 0 là mt hng s ln hn 1 (trong phng pháp HCTT truyn thng, D.E. Goldberg ln chn C 0 ng 2), a và b là các hng s. Trong phn này, chúng tơi s kho sát tính cht co, giãn ca PPXS mi P so vi PPXS c F 0 ph thuc vào tham s C 0 tng qt. Gi s dãy { } N i i F 1 ,0 = không đồng nhất là hằng, gi: ., 1 ,1, )1( , 11 }, 1,min{}, 1,{ min2 0 0 ,1 min min 0 min0 1 .0,0min,0 0 0 F C FCF FF FF F F A C FCF TB N F N FNiFFNiFMaxF Max C MaxMaxMax C N i iiiMax −= − − = − − =∆≤=< −+ = ====== ∑ = ββ (2.7) Chn ≥ < = )B(if, )(if, 0 00 2 ,1 caseTBF AcaseTBF C CC β β β . (2.8) dàng chng minh hai khng nh sau: nh 1: Gi s dãy { } N i i F 1 ,0 = không đồng nhất là hằng. (2.9) Nu chn: )( β+ = F F a , b = aβ, (2.10) thì PPXS mi P xác nh theo (2.4) s tha các u kin (2.5) và (2.6). n t ra là nu áp dng liên tip phép HCTT (2.4) qua các th h tin hóa, thì vi các u kin xác nh nào, dãy các PPXS mi s hi tn PPXS gii n ? t: =≥∀+== ≡≡ −− NimbYaYFY FXY m i m i m i iii 1,1,.)( )1()1()( ,0 )0( (2.11) nay v sau, ta ln gi s các gi thit (2.9) và (2.10) ca mnh 1 c tha mãn. nh 2 di ây ch ra mi liên quan gia vic chn các h s a, β vi tính cht co hoc giãn ca PPXS mi. nh 2: Vi mi m > 0, a) Nu a > 1 ⇔ β < 0 [...]... F nào ó vào các thành ph n khác ( u vào) Ta th ng khơng bi t quy lu t F mà ch bi t các th hi n c a nó thơng qua t p m u ã có Bài tốn t ra là tìm m t quy lu t G x p x quy lu t F a vào t p m u S và dùng các tiêu chu n phù h p ánh giá t t, tin c y a G Trong tốn h c, ng i ta th ng dùng các ph ng pháp n i suy hay th ng kê tìm G M t c m chung th ng th y trong các ph ng pháp này là ta áp t tr c m t d ng quy... MPN) th ng c s d ng tìm quy lu t G i v i các t p d li u có mi n tr u ra v a ph i, quy lu t G tìm c b ng MPN th ng có kh n ng d báo t t Tuy nhiên, i v i các t p d li u có mi n tr u ra l n, quy lu t tìm c khơng có kh n ng d báo th t t t và th i gian h c c a MPN th ng r t l n kh c ph c h n ch ó, chúng tơi ngh các ph ng pháp sau c i thi n kh n ng h c c a m ng n ron: (1) áp d ng ph ng pháp h c các tham s... cao và c i t nhanh n h n so v i thu t gi i di truy n c n; khi áp d ng thêm ph ng pháp leo i vào giai n cu i c a q trình gi i, chính xác c a l i gi i s r t cao và t c r t nhanh; - Áp d ng thu t gi i DGA i u hố s b các tham s trong m ng n ron, tr c khi q trình h c c a m ng c b t u; 97 Các t qu th c nghi m cho th y các ph ng pháp c i ti n và t ng qt hố nêu trong tài có u m h n h n so v i các ph ng pháp. .. 4.0), t là th h hi n t i và T là th h ti n hóa t i a; các phép tốn “+”, “-”, min và quan h hai ngơi “>” trên 26 các vect c th c hi n theo các phép tốn và quan h t ng ng trên t ng t a dây, chúng tơi áp d ng hai mơ hình GA khác nhau vào MPN: dùng phép lai s h c (GA-SH) và phép lai ng c i ti n (GA-L ) * t bi n: t bi n thay i (có h ng: t ng, gi m; ho c vơ h ng: t ng, gi m ng u nhiên) các n-v (là tham s... ph ng pháp h c tham s c a hàm nén thơng tin Ph n 2.3 ngh ph ng pháp co phi tuy n mi n tr u ra b ng hàm l y th a Ph n 3 áp d ng GA tìm tham s ban u cho MPN Ph n 4 a ra k t q a th nghi m 2 H C THAM S C A HÀM NÉN THƠNG TIN VÀ CO L Y TH A MI N TR U RA n Cho t p S g m m b d li u m u {< x1n , , xDimIn, y n >}m=1 , DimIn là s chi u n u vào c a m u d li u 2.1 Mơ hình MPN p nh p X(0) nh n các giá tr u vào trên... pháp nung luy n mơ ph ng vào bài tốn l p l ch dòng cơng vi c’, s g i ng t p chí Tốn ng d ng, Vi t Nam C ch ng trình th nghi m các k t qu lý thuy t 98 2 M t s h ng m r ng c a tài - M t s k t qu v lý thuy t c a tài ch m i c ch ng minh trên m t tính ch t, khía c nh và ch ng t có hi u qu qua k t qu th c nghi m trên m t l p bài tốn Tuy nhiên, m t s khía c nh quan tr ng khác v m t tốn h c c a các ph ng pháp. .. chính v lý thuy t, ng d ng và s n ph m c a tài 1.1 Lý thuy t A Thu t gi i di truy n (GA) và m ng n ron (ANN) i ti n phép lai n biên a mi n tr theo ng xác su t ng (ph thu c vào tu i th h c a q trình ti n hóa) trong GA nh m ch ng u khi n vi c khoanh vùng c c tr tồn c c trong giai n u và t ng t c h it nl i gi i t i u trong giai n cu i c a q trình ti n hóa; - ng qt hố ph ng pháp hi u ch nh tuy n tính c... trình nung luy n và tác ng c a vi c gi m nhanh nhi t vào s h i t c a thu t tốn SA Trình bày m t s khía c nh v t c h it n tr ng thái cân b ng c a thu t tốn Metropolis và cho m t ánh giá v dáng u ti m c n n phân b cân b ng và vi c x p x tùy ý g n phân b cân b ng i v i các xích nung luy n thu n nh t; t s k t qu liên quan n s h i t c a thu t tốn SA thu n nh t v i các hàm xác su t sinh và ch p nh n có d... i
