1 Më ®Çu Dù b¸o d÷ liÖu lµ bµi to¸n quan träng mang l¹i nhiÒu lîi Ých thiÕt thùc phôc vô con ngêi, nã gióp con ngêi n¾m b¾t ®îc c¸c quy luËt vËn ®éng trong tù nhiªn vµ trong ®êi sèng kinh tÕ x· héi Trong nh÷ng n¨m gÇn ®©y, c¸c m¹ng n¬ ron truyÒn th¼ng nhiÒu líp ®îc thùc tiÔn chøng minh lµ kh¸ m¹nh vµ hiÖu qu¶ trong c¸c bµi to¸n dù b¸o vµ ph©n tÝch sè liÖu, ®Æc biÖt trong c¸c bµi to¸n dù b¸o sö dông n¨ng lîng, dù b¸o kinh tÕ, dù b¸o trong tù nhiªn… C¸c m¹ng n¬ ron truyÒn th»ng ph¶i ®îc huÊn luyÖn tríc khi sö dông ®Ó thùc thi mét bµi to¸n dù b¸o trong thùc tÕ Víi mét cÊu tróc m¹ng ®îc chän, qu¸ tr×nh huÊn luyÖn m¹ng lµ qu¸ tr×nh hiÖu chØnh c¸c träng sè cña m¹ng vµ thêng ®îc ph¸t biÓu díi d¹ng mét bµi to¸n tèi thiÓu ho¸ hµm sai sè huÊn luyÖn Thñ tôc huÊn luyÖn cÇn mét gi¶i thuËt t×m kiÕm cã kh¶ n¨ng t×m lêi gi¶i toµn côc, kh«ng phô thuéc vµo qu¸ tr×nh khëi ®éng c¸c trong sè ban ®Çu Ngoµi ra, c¸c gi¶i thuËt nµy ph¶i cã kh¶ n¨ng t×m kiÕm hiÖu qu¶ trong kh«ng gian nhiÒu chiÒu do sè lîng träng sè trong c¸c m¹ng n¬ ron lµ kh¸ lín Gi¶i thuËt GA lµ gi¶i thuËt t×m kiÕm dùa trªn qu¸ tr×nh chän läc tù nhiªn, di truyÒn vµ tiÕn hãa C¸c nguyªn lý c¬ b¶n cña gi¶i thuËt ®îc t¸c gi¶ J.H.Holland ®Ò xuÊt lÇn ®Çu vµo n¨m 1962, nÒn t¶ng to¸n häc cña gi¶i thuËt GA ®îc t¸c gi¶ c«ng bè trong cuèn s¸ch “Sù thÝch nghi trong c¸c hÖ thèng tù nhiªn vµ nh©n t¹o” xuÊt b¶n n¨m 1975 Gi¶i thuËt GA ®îc xem nh mét ph¬ng ph¸p t×m kiÕm cã bíc chuyÓn ngÉu nhiªn mang tÝnh tæng qu¸t ®Ó gi¶i c¸c bµi to¸n tèi u ho¸ Víi nh÷ng ®Æc thï riªng cña m×nh, gi¶i thuËt GA ®îc sö dông kh¸ hiÖu qu¶ trong thñ tôc huÊn luyÖn m¹ng n¬ ron Tuy nhiªn, gi¶i thuËt GA gÆp khã kh¨n vÒ sù héi tô Gi¶i thuËt GA ®¬n gi¶n do Holland ®Ò xuÊt ®· ®îc chøng minh lµ kh«ng b¶o ®¶m sù héi tô hoÆc kh«ng héi tô tíi lêi gi¶i toµn côc Ngoµi ra, c¸c gi¶i ph¸p c¶i tiÕn chiÕn lîc thay thÕ hoÆc to¸n tö ®ét biÕn tuy gióp cho gi¶i thuËt GA héi tô, nhng sù héi tô nµy dÔ dÉn ®Õn hiÖn tîng héi tô sím, nghÜa lµ gi¶i thuËt kÕt thóc t¹i mét cùc trÞ ®Þa ph¬ng mµ kh«ng cã kh¶ n¨ng t×m thÊy cùc trÞ toµn côc 2 Gi¶i thuËt huÊn luyÖn kinh ®iÓn lan truyÒn ngîc cña sai sè (gi¶i thuËt BP) ®îc sö dông réng r·i nhÊt trong viÖc huÊn luyÖn m¹ng n¬ ron truyÒn th¼ng Gi¶i thuËt nµy ®¶m b¶o sù héi tô nhng dÔ héi tô t¹i mét cùc trÞ ®Þa ph¬ng mµ kh«ng cã kh¶ n¨ng t×m kiÕm cùc trÞ toµn côc MÆt kh¸c, kÕt qu¶ huÊn luyÖn cña gi¶i thuËt nµy phô thuéc vµo nhiÒu yÕu tè, ®Æc biÖt lµ qu¸ tr×nh khëi ®éng c¸c träng sè ban ®Çu Do nhu cÇu cÊp thiÕt ph¶i x©y dùng mét gi¶i thuËt võa cã kh¶ n¨ng t×m kiÕm lêi gi¶i toµn côc, võa ph¶i ®¶m b¶o sù héi tô ®Ó huÊn luyÖn cho m¹ng n¬ ron truyÒn th¼ng thùc thi mét bµi to¸n dù b¸o trong thùc tÕ, luËn v¨n tËp trung nghiªn cøu gi¶i ph¸p tÝch hîp gi¶i thuËt GA víi gi¶i thuËt BP trong viÖc huÊn luyÖn m¹ng n¬ ron truyÒn th¼ng Trªn c¬ së ®ã, luËn v¨n tr×nh bµy c¸c bíc chÝnh ®Ó x©y dùng m« h×nh m¹ng n¬ ron dù b¸o d÷ liÖu vµ øng dông m« h×nh ®ã trong bµi to¸n dù b¸o ®Ønh lò s«ng Trµ Khóc t¹i tr¹m khÝ tîng S¬n Giang Nh÷ng ®ãng gãp chÝnh cña luËn v¨n • LuËn v¨n tr×nh bµy c¸c vÊn ®Ò lý thuyÕt vÒ m¹ng n¬ ron, m¹ng n¬ ron truyÒn th¼ng nhiÓu líp vµ thuËt to¸n BP d¹ng tæng qu¸t ®Ó huÊn luyÖn m¹ng, mét sè vÊn ®Ò vÒ sö dông gi¶i thuËt BP ®Ó huÊn luyÖn m¹ng thùc thi mét bµi to¸n trong thùc tÕ • LuËn v¨n tr×nh bµy c¸c vÊn ®Ò lý thuyÕt vÒ gi¶i thuËt SGA vµ nh÷ng c¶i tiÕn cña gi¶i thuËt SGA • LuËn v¨n x©y dùng gi¶i ph¸p tÝch hîp gi¶i thuËt GA víi gi¶i thuËt BP thµnh mét gi¶i thuËt lai GA - BP dÓ huÊn luyÖn m¹ng n¬ ron truyÒn th¼ng nhiÓu líp • LuËn v¨n tr×nh bµy øng dông gi¶i thuËt lai GA - BP trong m« h×nh m¹ng n¬ ron dù b¸o Gi¶i thuËt lai GA - BP ®· ®îc cµi ®Æt vµ thö nghiÖm ®Ó huÊn luyÖn m¹ng n¬ ron truyÒn th¼ng trong bµi to¸n dù b¸o khÝ tîng thuû v¨n CÊu tróc cña luËn v¨n PhÇn më ®Çu cña luËn v¨n giíi thiÖu néi dung nghiªn cøu, tÝnh cÊp thiÕt cña ®Ò tµi vµ nh÷ng ®ãng gãp chÝnh cña luËn v¨n Ch¬ng 1 giíi thiÖu c¸c kh¸i niÖm c¬ b¶n vµ ph¹m vi øng dông cña m¹ng n¬ ron Ch¬ng 2 giíi thiÖu vÒ gi¶i thuËt SGA vµ 3 c¸c c¶i tiÕn cña gi¶i thuËt SGA Ch¬ng 3 giíi thiÖu vÒ m¹ng n¬ ron truyÒn th¼ng nhiÒu líp, gi¶i thuËt BP, c¸c vÊn ®Ò vÒ sö dông gi¶i thuËt BP vµ x©y dùng gi¶i ph¸p tÝch hîp gi¶i thuËt GA víi gi¶i thuËt BP trong viÖc huÊn luyÖn m¹ng n¬ ron truyÒn th¼ng nhiÒu líp Ch¬ng 4 tr×nh bµy m« h×nh thuËt to¸n vµ cµi ®Æt gi¶i thuËt lai GA BP Ch¬ng 5 tr×nh bµy c¸c bíc x©y dùng m« h×nh m¹ng n¬ ron dù b¸o vµ thö nghiÖm gi¶i thuËt GA - BP trong viÖc huÊn luyÖn m¹ng n¬ ron ®Ó thùc thi bµi to¸n dù b¸o ®Ønh lò s«ng Trµ Khóc t¹i tr¹m S¬n Giang PhÇn kÕt luËn nªu ra c¸c kÕt luËn tõ luËn v¨n vµ c¸c híng nghiªn cøu tiÕp theo PhÇn phô lôc ®a ra mét sè chøc n¨ng cña ch¬ng tr×nh ®îc viÕt b»ng Visual Basic 4 Ch¬ng 1 C¸c kh¸i niÖm c¬ b¶n vÒ m¹ng n¬ ron Ch¬ng nµy ®Ò cËp ®Õn c¸c vÊn ®Ò sau: 1.1 N¬ ron sinh häc vµ m¹ng n¬ ron sinh häc 1.2 N¬ ron nh©n t¹o 1.3 M¹ng n¬ ron nh©n t¹o 1.4 Thñ tôc häc cña m¹ng n¬ ron 1.5 Ph¹m vi øng dông cña m¹ng n¬ ron 1.1 N¬ ron sinh häc vµ m¹ng n¬ ron sinh häc HÖ thÇn kinh ë ngêi cã kho¶ng 1010 tÕ bµo thÇn kinh ®îc gäi lµ c¸c n¬ ron [24] Mçi n¬ ron gåm cã ba phÇn: th©n n¬ ron víi nh©n ë bªn trong, mét ®Çu thÇn kinh ra vµ mét hÖ thèng h×nh c©y c¸c ®Çu thÇn kinh vµo §é lín cña c¸c tÝn hiÖu vµo cã thÓ bÞ thay ®æi khi ®îc truyÒn qua c¸c khíp thÇn kinh cã trªn c¸c nh¸nh thÇn kinh vµo Tû lÖ biÕn ®æi tÝn hiÖu ë khíp thÇn kinh ®îc gäi lµ ®é khuyÕch ®¹i khíp vµ ®îc gäi lµ c¸c träng sè trong c¸c n¬ ron nh©n t¹o Theo c¸c nghiªn cøu vÒ sinh häc, chøc n¨ng cña hÖ thÇn kinh kh«ng phô thuéc nhiÒu vµo vai trß cña tõng n¬ ron ®¬n lÎ mµ phô thuéc vµo c¸ch mµ toµn bé c¸c n¬ ron ®îc nèi víi nhau, gäi lµ m¹ng n¬ ron sinh häc [24] 1.2 N¬ ron nh©n t¹o N¬ ron nh©n t¹o lµ m« h×nh to¸n häc m« pháng n¬ ron sinh häc Mçi n¬ ron nh©n t¹o ®îc gäi lµ mét ®¬n vÞ xö lý víi chøc n¨ng: nhËn tÝn hiÖu vµo tõ c¸c ®¬n vÞ phÝa tríc (hay mét nguån bªn ngoµi), tÝnh tÝn hiÖu ra tõ c¸c tÝn hiÖu vµo vµ lan truyÒn tÝn hiÖu ra sang c¸c ®¬n vÞ kh¸c 5 x0 x1 xn θj wj0 wj1 j aj Σ wjn n aj = ∑wjixi +θj g(aj) zj zj = g ( a j ) i =1 H×nh 1.1 : §¬n vÞ xö lý thø j Mçi tÝn hiÖu ®Çu vµo n¬ ron thø j ®îc ký hiÖu lµ xi víi träng sè t¬ng øng lµ wji §¹i lîng ®o tÝn hiÖu tæng céng ®i vµo n¬ ron thø j, ký hiÖu lµ aj, ®îc x¸c ®Þnh mét c¸ch ®¬n gi¶n nh sau : • aj lµ hµm cña c¸c tÝn hiÖu xi vµ c¸c träng sè wji, gäi lµ Hµm kÕt hîp • Hµm kÕt hîp lµ tæng c¸c tÝch cña tÝn hiÖu xi vµ träng sè t¬ng øng wj : n aj = ∑ wjixi + θj i =1 Trong ®ã θ lµ mét tham sè ®îc gäi lµ ngìng cña n¬ ron NÕu wji>0, n¬ ron ®îc coi lµ ë trong tr¹ng th¸i kÝch thÝch NÕu wji < 0, n¬ ron ë tr¹ng th¸i kiÒm chÕ Qu¸ tr×nh biÕn ®æi gi¸ trÞ aj thµnh tÝn hiÖu ®Çu ra zj ®îc thùc hiÖn bëi hµm kÝch ho¹t (hµm chuyÓn) phi tuyÕn zj= g(aj) Hµm kÝch ho¹t ph¶i tho¶ m·n c¸c ®iÒu kiÖn sau: • TÝn hiÖu ®Çu ra zj lµ kh«ng ©m víi bÊt kÓ gi¸ trÞ nµo cña aj • g lµ hµm liªn tôc vµ bÞ chÆn trong kho¶ng [0,1] Nh÷ng hµm tháa m·n ®iÒu kiÖn trªn cßn ®îc gäi lµ c¸c hµm nÐn theo nghÜa chóng nÐn tÝn hiÖu ®Çu ra vµo mét kho¶ng nhá Cã kh¸ nhiÒu hµm tho¶ m·n c¸c ®iÒu kiÖn trªn, song trong thùc tÕ chØ cã mét sè hµm thêng ®îc sö dông trong c¸c m¹ng n¬ ron nh sau 1) Hµm tuyÕn tÝnh (Linear) : g ( x) = x 2) Hµm ranh giíi cøng (Hard-Limiter) : Hµm nµy chØ cã hai gi¸ trÞ lµ 0 vµ 1, ngoµi ra hµm cßn cã mét gi¸ trÞ ngìng θ TÝn hiÖu ®Çu ra phô thuéc tæng tÝn hiÖu ®Çu vµo vµ gi¸ trÞ ngìng 1 g ( x) =  0 if( x ≥ θ ) if( x < θ ) 6 V× hµm nµy rÊt thuËn tiÖn khi ®a c©u tr¶ lêi cã hay kh«ng nªn nã thêng xuyªn ®îc sö dông cho c¸c tÝn hiÖu ra cuèi cïng cña m¹ng 3) Hµm ngìng logic: if( x ≥ θ ) if( x < θ ) 1 g ( x) =  0 4) Hµm sigmoid (Sigmoid function (logsig)) g ( x) = 1 1 + e−x Hµm nµy ®Æc biÖt thuËn lîi khi sö dông cho c¸c m¹ng ®îc huÊn luyÖn b»ng gi¶i thuËt BP, bëi v× nã dÔ lÊy ®¹o hµm, do ®ã cã thÓ gi¶m ®¸ng kÓ tÝnh to¸n trong qu¸ tr×nh huÊn luyÖn MÆt kh¸c, hµm nµy ®îc øng dông cho c¸c bµi to¸n mµ ®Çu ra mong muèn r¬i vµo kho¶ng [0,1] 1.3 M¹ng n¬ ron nh©n t¹o Kh¸i niÖm M¹ng n¬ ron nh©n t¹o lµ hÖ thèng bao gåm nhiÒu n¬ ron nh©n t¹o kÕt hîp víi nhau HÖ thèng nµy cã kh¶ n¨ng häc sè liÖu vµ tæng qu¸t hãa tõ c¸c sè liÖu ®îc häc CÊu tróc M¹ng n¬ ron nh©n t¹o ®îc biÓu diÔn b»ng mét ®å thÞ gåm mét tËp c¸c nót vµ c¸c cung cã híng, mçi nót t¬ng øng víi mét n¬ ron, c¸c cung biÓu diÔn c¸c liªn kÕt gi÷a c¸c n¬ ron CÊu tróc m¹ng n¬ ron gåm c¬ cÊu tæ chøc vµ s¬ ®å kÕt nèi C¬ cÊu tæ chøc thêng ®îc x¸c ®Þnh bëi sè líp m¹ng vµ sè n¬ ron trong mçi líp: • Líp vµo : C¸c n¬ ron trong líp vµo gäi lµ c¸c n¬ ron vµo, chóng kh«ng xö lý th«ng tin mµ chØ m· hãa mÉu ®a vµo m¹ng ®Ó xö lý Th«ng thêng, sè thuéc tÝnh cña mÉu ®a vµo m¹ng b»ng sè n¬ ron vµo, chÝnh lµ sè ®Çu vµo cña m¹ng • Líp Èn : C¸c n¬ ron trong líp nµy gäi lµ c¸c n¬ ron Èn v× chóng kh«ng thÓ 7 quan s¸t trùc tiÕp ®îc M¹ng cã thÓ cã mét hay nhiÒu líp Èn Chóng cung cÊp c¸c m« h×nh to¸n häc phi tuyÕn cho m¹ng • Líp ra : C¸c n¬ ron ë líp nµy gäi lµ c¸c n¬ ron ra, c¸c n¬ ron nµy m· ho¸ gi¸ trÞ hay kh¸i niÖm cña c¸c mÉu ®a vµo m¹ng VÝ dô, trong bµi to¸n ph©n líp, mçi ®Çu ra lµ ®¹i diÖn cho mét líp c¸c ®èi tîng S¬ ®å kÕt nèi x¸c ®Þnh bëi ph¬ng thøc kÕt nèi gi÷a c¸c n¬ ron trong m¹ng [21]: • M¹ng truyÒn th¼ng : Luång d÷ liÖu ®i tõ c¸c n¬ ron vµo ®Õn c¸c n¬ ron ra chØ ®îc truyÒn th¼ng Kh«ng cã c¸c liªn kÕt tõ c¸c n¬ ron ra tíi c¸c n¬ ron vµo trong cïng mét líp hay cña c¸c líp tríc ®ã x0 bias h0 x1 bias y1 h1 x2 y2 h2 … … xl w Líp vµo (1 ) ji hm Líp Èn … yn w (2) kj Líp ra H×nh 1.2: M¹ng n¬ron truyÒn th¼ng nhiÒu líp (Feed-Forward Neural Network) • M¹ng håi quy: Cã chøa c¸c liªn kÕt ngîc, nghÜa lµ c¸c liªn kÕt tõ n¬ ron líp ra tíi n¬ ron líp vµo trong cïng mét líp hoÆc c¸c líp tríc ®ã h0 x0 h1 x1 … xl Líp vµo y0 … y1 … yn hm Líp Èn Líp ra H×nh 1.3: M¹ng håi quy (Recurrent Neural Network) 8 C¸c th«ng sè cÊu tróc cña m¹ng Díi ®©y lµ c¸c th«ng sè cÊu tróc cña m¹ng n¬ ron nh©n t¹o: • S¬ ®å kÕt nèi (m¹ng truyÒn th¼ng hay håi quy) • Sè t×n hiÖu vµo vµ sè tÝn hiÖu ra • Sè líp m¹ng • Sè n¬ ron trªn mçi líp • Sè lîng c¸c träng sè cña mçi líp 1.4 Thñ tôc häc cña m¹ng n¬ ron Thµnh phÇn quan träng nhÊt vµ kh«ng thÓ thiÕu cña c¸c m¹ng n¬ ron lµ c¸c thñ tôc häc (gi¶i thuËt huÊn luyÖn m¹ng) Cã thÓ chia c¸c thñ tôc nµy thµnh hai nhãm chÝnh lµ häc tham sè vµ häc cÊu tróc C¶ hai thñ tôc häc nµy cã thÓ ®îc thùc hiÖn ®ång thêi hoÆc t¸ch biÖt C¸c thñ tôc häc tham sè l¹i cã thÓ ®îc chia thµnh ba líp nhá h¬n lµ häc cã thÇy [24], häc t¨ng cêng [6] vµ häc kh«ng cã thÇy [16] Häc tham sè Víi mét cÊu tróc m¹ng cho tríc, c¸c träng sè cña m¹ng (gäi lµ c¸c tham sè cña m¹ng) ph¶i ®îc x¸c ®Þnh tríc khi sö dông m¹ng ®Ó thùc thi mét nhiÖm vô cô thÓ Ngo¹i trõ trêng hîp c¸c m¹ng n¬ ron mét líp Hopfield (c¸c träng sè ®îc tÝnh to¸n mét c¸ch gi¶i tÝch), th«ng thêng, c¸c träng sè cña m¹ng ®îc khëi t¹o ngÉu nhiªn trong mét kho¶ng nhÊt ®Þnh Häc tham sè lµ qu¸ tr×nh ®iÒu chØnh c¸c träng sè ®Ó m¹ng nhËn biÕt ®îc mèi quan hÖ gi÷a ®Çu vµo vµ ®Çu ra mong muèn RÊt nhiÒu c¸c thuËt to¸n häc ®îc ®Ò xuÊt ®Ó t×m tËp träng sè tèi u ®èi víi mçi bµi to¸n, c¸c thuËt to¸n ®ã cã thÓ chia thµnh hai nhãm chÝnh : Häc cã thÇy (Supervised learning) vµ Häc kh«ng cã thÇy (Unsupervised Learning) • Häc cã thÇy M¹ng ®îc häc b»ng c¸ch cung cÊp cho nã c¸c cÆp mÉu ®Çu vµo vµ ®Çu ra mong muèn Sai sè gi÷a c¸c ®Çu ra thùc tÕ so víi c¸c ®Çu ra mong muèn ®îc thuËt to¸n sö dông ®Ó hiÖu chØnh c¸c träng sè trong m¹ng 9 TËp mÉu lµ tËp c¸c cÆp vÐc t¬ vµo - ra mong muèn M = {x i,yi)} ®îc sö dông ®Ó luyÖn m¹ng n¬ ron §èi víi mçi vÐc t¬ tÝn hiÖu vµo xi, m¹ng n¬ ron tÝnh to¸n tÝn hiÖu ra out vµ so s¸nh tÝn hiÖu nµy víi tÝn hiÖu ra mong muèn yi ®Ó t¹o ra tÝn hiÖu sai sè TÝn hiÖu sai sè nµy x¸c ®Þnh bÒ mÆt sai sè lµ hµm cña c¸c träng sè, cã thÓ dïng nh hµm môc tiªu ®Ó hiÖu chØnh c¸c träng sè C¸c gi¶i thuËt t×m kiÕm ®îc ¸p dông trong thñ tôc häc ®Ó hiÖu chØnh c¸c träng sè sao cho m¹ng n¬ ron cã thÓ s¶n sinh ra c¸c tÝn hiÖu ra out víi mét sai sè chÊp nhËn ®îc so víi tÝn hiÖu ra mong muèn [13] D÷ liÖu huÊn luyÖn §Çu vµo §Çu ra mong muèn §Ých M¹ng Vµo Sai sè + Ra Thay ®æi Träng sè - Hàm Môc tiªu Gi¶i thuËt luyÖn (Ph­¬ng ph¸p tèi ­u) H×nh 1.4 S¬ ®å häc cã thÇy • Häc kh«ng cã thÇy Víi ph¬ng ph¸p häc kh«ng cã thÇy, kh«ng cã th«ng tin ph¶n håi tõ m«i trêng bªn ngoµi ®Ó chØ ra r»ng ®Çu ra out cña m¹ng lµ ®óng hay sai M¹ng n¬ ron ph¶i tù kh¸m ph¸ c¸c ®Æc trng, c¸c mèi t¬ng quan, tÝnh c©n xøng cña c¸c mÉu häc mét c¸ch tù ®éng §èi víi phÇn lín c¸c biÕn thÓ cña häc kh«ng cã thÇy, c¸c ®Ých trïng víi ®Çu vµo Nãi mét c¸ch kh¸c, häc kh«ng cã thÇy lu«n thùc hiÖn mét c«ng viÖc t¬ng tù nh mét m¹ng tù liªn hîp, c« ®äng th«ng tin tõ d÷ liÖu vµo Häc cÊu tróc Trong phÇn häc tham sè, gi¶ ®Þnh lµ ®· cã mét cÊu tróc m¹ng Thñ tôc häc tham sè tinh chØnh c¸c gi¸ trÞ träng sè sao cho m¹ng ho¹t ®éng nh mong muèn Thñ tôc häc cÊu tróc t×m kiÕm c¸c tham sè cÊu tróc cña m¹ng ®Ó t¹o ra mét m¹ng ho¹t 10 ®éng tèt nhÊt Thùc chÊt, häc cÊu tróc lµ viÖc t×m ra sè líp Èn vµ sè n¬ ron trªn mçi líp Èn v× sè ®Çu vµo vµ sè ®Çu ra cña m¹ng lµ x¸c ®Þnh ®èi víi mét bµi to¸n cô thÓ KÕt qu¶ häc cÊu tróc phô thuéc nhiÒu vµo kÕt qu¶ häc tham sè Do ®ã, viÖc x©y dùng mét gi¶i thuËt t×m kiÕm cho thñ tôc häc tham sè lµ cÇn thiÕt Gi¶i thuËt t×m kiÕm nµy ph¶i cã kh¶ n¨ng t×m kiÕm lêi gi¶i toµn côc, t×m kiÕm hiÖu qu¶ trong kh«ng gian nhiÒu chiÒu vµ cã thÓ sö dông cho nhiÒu cÊu tróc m¹ng kh¸c nhau Trong nh÷ng n¨m gÇn ®©y, mét sè gi¶i thuËt tèi u toµn côc mang tÝnh tÊt ®Þnh vµ mét sè gi¶i thuËt mang tÝnh x¸c suÊt ®· ®îc ®Ò xuÊt C¸c gi¶i thuËt mang tÝnh x¸c suÊt bao gåm c¸c gi¶i thuËt tiÕn hãa{3] mµ gi¶i thuËt GA lµ mét vÝ dô ®iÓn h×nh Gi¶i thuËt GA sÏ ®îc tr×nh bµy trong ch¬ng 2 cña luËn v¨n 1.5 Ph¹m vi øng dông cña m¹ng n¬ ron M¹ng n¬ ron thêng ®îc øng dông trong c¸c lÜnh vùc nh ph©n lo¹i (classification), m« h×nh hãa (modeling), biÕn ®æi (transformation and mapping) vµ dù b¸o c¸c sù kiÖn phô thuéc thêi gian Ph©n lo¹i Ph©n lo¹i lµ c¸ch s¾p xÕp c¸c ®èi tîng vµo c¸c tËp hoÆc vµo c¸c líp con cña c¸c líp lín h¬n ViÖc ph©n lo¹i thêng ®îc tiÕn hµnh nhiÒu møc gièng nh phÐp to¸n ra quyÕt ®Þnh, ph©n líp ®èi tîng vµo nhãm, nhãm con; vµo chñng lo¹i, chñng lo¹i con hoÆc vµo líp, líp con Mét ®èi tîng cã thÓ ®ång thêi thuéc vµo nhiÒu líp kh¸c nhau, do ®ã kÕt qu¶ cña viÖc ph©n lo¹i lµ tÝch cña hai hay nhiÒu quyÕt ®Þnh M« h×nh hãa HÖ thèng ph©n lo¹i thêng ®a ra c©u tr¶ lêi rêi r¹c nh cã, kh«ng hoÆc mét sè nguyªn ®Þnh danh ®èi tîng ®Çu vµo thuéc líp nµo Tuy nhiªn, viÖc m« h×nh hãa yªu cÇu hÖ thèng ph¶i s¶n sinh ra c¸c c©u tr¶ lêi mang tÝnh liªn tôc Mét sè lîng nhá c¸c sè liÖu thùc nghiÖm ®îc sö dông ®Ó x©y dùng m« h×nh, m« h×nh nµy cã thÓ ®a ra c¸c dù b¸o cho tÊt c¶ c¸c ®èi tîng ®Çu vµo cã thÓ ViÖc t×m ra ®êng cong phï hîp víi c¸c sè liÖu thùc nghiÖm lµ mét vÝ dô øng dông thuéc d¹ng nµy C¸c øng dông thuéc d¹ng nµy phÇn lín lµ thñ tôc cña mét biÕn vµo vµ mét biÕn ra nh sau: y = f (x, a, b,…, p) 52 Ph©n hÖ 1.1 • Chøc n¨ng : - §èi víi chuçi c¸ mçi i=1 thÓ trong quÇn thÓ i=i+1 Tập luyện OldPop gi¶i m· thµnh tËp träng Giải mã chuỗi thứ i sè, sau ®ã lan thành tập trọng số W truyÒn toµn bé (Thủ tục 1.1.1) tËp luyÖn qua m¹ng, tÝch luü sai sè theo hµm gi¸ 3.3 ë ch¬ng 3 - ChuyÓn ®æi gi¸ trÞ hµm thµnh gi¸ gi¸ trÞ søc kháe QuÇn thÓ OldPop - TËp luyÖn • Ra : - lưu vào bảng Objective (Thủ tục 1.1.2) i< Gen Tính bảng Fitness từ bảng Objective (Thủ tục 1.1.3) • Vµo : - Tính giá trị hàm giá và Ra Hình 4.2 Sơ dồ khối giải thuật Phân hệ 1.1 Gi¸ trÞ søc khoÎ toµn quÇn thÓ ®îc chøa trong b¶ng Fitness( ) • Gi¶i thuËt - LÆp i = 1 ®Õn PopSize + Gi¶i m· chuçi thø i trong quÇn thÓ oldPop thµnh tËp träng sè W (Thñ tôc 1.1.1) + TÝnh gi¸ trÞ hµm gi¸ cho m¹ng n¬ ron cã tËp träng sè võa ®îc gi¶i m· vµ lu gi¸ trÞ ®ã vµo b¶ng obiective( ) (Thñ tôc 1.1.2) 53 - TÝnh b¶ng søc kháe Fitness( ) tõ b¶ng gi¸ trÞ hµm gi¸ objective( ) (Thñ tôc 1.1.3) Thñ tôc 1.1.1 • Chøc n¨ng : - Gi¶i m· chuçi nhÞ ph©n thµnh b¶ng tuyÕn tÝnh c¸c träng sè W • Vµo : - Chuçi nhÞ ph©n ®é dµi Lchrom - Tæng sè träng sè M • Ra : - B¶ng W( ) cña c¸c träng sè (sè thùc) • Gi¶i thuËt : - LÆp i =1 ®Õn M + C¾t liªn tiÕp mét chuçi con ®é dµi 20 bÝt tõ chuçi c¸ thÓ + TÝnh gi¸ trÞ x cña chuçi nhÞ ph©n (x lµ sè nguyªn dµi) + Gi¸ trÞ W(i) = (20.x / (220 - 1)) – 10 Thñ tôc 1.1.2 • Chøc n¨ng : - TÝnh sai sè cho mét cÊu tróc m¹ng m, n, a vµ bé träng sè W víi mét tËp luyÖn cho tríc • Vµo : - CÊu tróc m¹ng m, n, a vµ bé träng sè - TËp sè liÖu huÊn luyÖn gåm P mÉu (hai vÐc t¬ vµo vµ ra X, y) • Ra : - Sai sè e sinh ra sau khi lan truyÒn toµn bé c¸c mÉu qua m¹ng • Gi¶i thuËt - G¸n e = 0 - LÆp i = 1 ®Õn P + G¸n c¸c tÝn hiÖu ra cña c¸c bias = 1 + G¸n tÝn hiÖu ra ë líp vµo out0 b»ng tÝn hiÖu vµo X 54 + LÆp ®èi víi mäi n¬ ron thø j ë trªn líp Èn vµ líp ra m l l l TÝnh tæng tÝn hiÖu vµo theo c«ng thøc Net j = ∑ w ji xi i =1 1 l TÝnh tÝn hiÖu ra Out j = 1 + exp( − Net l ) j + TÝch luü sai sè vµo e: E = E + ( 1 n i y j − Out last ∑ j 2 j =1 ) 2 Thñ tôc 1.1.3 • Chøc n¨ng : - TÝnh b¶ng gi¸ trÞ søc kháe Fitness( ) cña quÇn thÓ oldPop tõ b¶ng gi¸ trÞ hµm gi¸ objective( ) • Vµo : - B¶ng gi¸ trÞ hµm gi¸ objective( ) - Sè c¸ thÓ trong quÇn thÓ PopSize • Ra : - B¶ng gi¸ trÞ hµm søc kháe Fitness( ) • Gi¶i thuËt : - TÝnh gi¸ trÞ Max cña b¶ng gi¸ trÞ hµm gi¸ objective( ) - LÆp j = 1 ®Õn Popsize : Fitness[i] = Max – objective(i) - TÝnh gi¸ trÞ Max, gi¸ trÞ trung b×nh ave cña b¶ng Fitness - NÕu Max > 2*ave th× a = ave / (Max - ave), b = (Max – 2*ave)*a Kh«ng th× a = 1, b = 0 - LÆp j = 1 ®Õn PopSize Fitness[j] = Fitness[j]*a + b 55 Ph©n hÖ 1.2 OldPop, Fitness( ) • Chøc n¨ng : - S¶n sinh quÇn thÓ míi Chọn lọc (Thủ tục 1.2.1) NewPop tõ quÇn thÓ cò OldPop - ThÕ quÇn thÓ cò b»ng i=1 quÇn thÓ míi • Vµo : Tạp lai (Thủ tục 1.2.2) - QuÇn thÓ cò OldPop - B¶ng gi¸ trÞ søc kháe Đột biến (Thủ tục 1.2.3) cña quÇn thÓ cò • Ra : - i=i+2 QuÇn thÓ OldPop ®· ®îc thÕ bëi thÕ hÖ i< Gen OldPop := NewPop míi • Gi¶i thuËt : - To¸n tö chän läc (Thñ tôc 1.2.1) - Hình 4.3 Sơ dồ khối giải thuật Phân hệ 1.2 LÆp i = 1 ®Õn khi i lín h¬n hoÆc b»ng PopSize, bíc nh¶y 2 + To¸n tö t¹p lai (Thñ tôc 1.2.2) + To¸n tö ®ét biÕn (Thñ tôc 1.2.3) - ThÕ quÇn thÓ cò OlpPop b»ng quÇn thÓ míi NewPop Thñ tôc 1.2.1 • Chøc n¨ng : - Chän läc quÇn thÓ bè mÑ tõ quÇn thÓ con, mçi c¸ thÓ ®îc chän víi s¸c xuÊt tû lÖ víi søc kháe cña c¸ thÓ ®ã • Vµo : 56 - QuÇn thÓ cò OldPop vµ b¶ng gi¸ trÞ søc kháe cña tõng c¸ thÓ trong quÇn thÓ • Ra : - QuÇn thÓ míi NewPop c¸c c¸ thÓ bè mÑ ®îc chän • Gi¶i thuËt : - TÝnh tæng søc kháe toµn quÇn thÓ Sumfitness - LÆp i = 1 ®Õn khi i lín h¬n hoÆc b»ng PopSize + Sinh mét sè ngÉu nhiªn p0 + TÝnh gi¸ trÞ Su = p0*Sumfitness + ChØ sè j ®Ó tæng ch¹y søc kháe cña c¸ thÓ lín h¬n S u lµ chØ sè cña c¸ thÓ ®îc chän + §a c¸ thÓ ®îc chän vµo quÇn thÓ míi NewPop Thñ tôc 1.2.2 • Chøc n¨ng : - T¹p lai hai chuçi bè mÑ ®Ó t¹o thµnh hai con míi • Vµo : - ChØ sè cña hai chuçi bè mÑ trong quÇn thÓ cò - X¸c xuÊt t¹p lai Pcross • Ra : - Hai chuçi con míi • Gi¶i thuËt - Sinh mét sè ngÉu nhiªn p0 - NÕu p0 < Pcross th× + Sinh mét sè ngÉu nhiªn míi p1 + TÝnh vÞ trÝ t¹p lai l = p1*(Lchrom -1) Kh«ng th× VÞ trÝ t¹p lai lµ Lchrom - Sao chÐp gen tõ 1 ®Õn l cña bè mÑ 1 sang con 1 vµ bè mÑ 2 sang con 2 - Sao chÐp gen tõ l+1 ®Õn Lchrom cña bè mÑ 1 sang con 2 vµ tõ bè mÑ 2 sang con 1 57 Thñ tôc 1.2.3 • Chøc n¨ng : - Lµm ®ét biÕn gen cña hai chuçi con míi ®îc sinh ra • Vµo : - Hai chuçi con sinh ra sau t¹p lai - X¸c suÊt ®ét biÕn Pmutation • Ra : - Hai chuçi con sau ®ét biÕn • Gi¶i thuËt : - DuyÖt tõ gen cña hai chuçi con míi ®îc sinh ra sau t¹p lai - Sinh sè ngÉu nhiªn p0 - NÕu p0 < Pmutation th× Gen ®ã ®îc biÕn ®æi tõ 0 sang 1 hoÆc ngîc l¹i Kh«ng th× Gen ®ã ®îc gi÷ nguyªn Ph©n hÖ 2 • Chøc n¨ng : - - Cấu trúc mạng m,n,A - M = 0.05*PopSize bộ trọng số LuyÖn tham sè b»ng gi¶i thuËt BP víi hÖ sè häc i=1 biÕn ®æi ®èi víi bé träng sè chuyÓn tõ kÕt qu¶ luyÖn cña gi¶i thuËt GA Học tham số bằng giải thuật BP với hệ số học biến đổi chuyÓn sang - (Thủ tục 2.1) Lu tr÷ bé träng sè tèt nhÊt • Vµo : i=i+1 i< M Lưu trữ bộ trọng số tốt nhất 58 - 0.05*PopSize bé träng sè cïng mét cÊu tróc m¹ng m, n, a • Ra : - Mét bé träng sè W Hình 4.4 Sơ đồ khối giải thuật phân hệ 2 • Gi¶i thuËt : - LÆp i = 1 ®Õn 0.05*PopSize + Häc tham sè víi gi¶i thuËt BP víi hÖ sè häc biÕn ®æi (Thñ tôc 2.1) + Lu tr÷ bé träng sè cho gi¸ trÞ sai sè tÝch luü e lµ nhá nhÊt Thñ tôc 2.1 • Chøc n¨ng : - Häc tham sè b»ng gi¶i thuËt BP víi hÖ sè häc biÕn ®æi • Vµo : - CÊu tróc m¹ng m, n, a, W vµ tËp mÉu luyÖn, sè bíc thùc hiÖn biÕn ®æi Step, hÖ sè häc α, bíc t¨ng gi¶m cña hÖ sè häc a vµ sai sè tèi thiÓu lµm tiªu chuÈn dõng ε • Ra : - Bé träng sè W sau khi häc • Gi¶i thuËt : LÆp c¸c bíc sau ®©y choi ®Õn khi sai sè MSe nhá h¬n tiªu chuÈn dõng ε - Khëi t¹o tæng sai sè trªn tËp huÊn luyÖn e = 0, bíc thùc hiÖn biÕn ®æi k =0 - LÆp i = 1 ®Õn sè mÉu cã trong tËp luyÖn + G¸n tÝn hiÖu ra ë líp vµo out0 = Xi + LÆp ®èi víi c¸c n¬ ron thø j ë trªn líp Èn ( l = 1) vµ líp ra ( l = 2) m l l l TÝn tæng tÝn hiÖu vµo theo c«ng thøc Net j = ∑ w ji xi i =1 59 1 l TÝn gi¸ trÞ tÝn hiÖu ra Out j = 1 + exp( − Net l ) j last last + TÝnh sai sè ë líp ra ε = ∑ ( y j − Out j ) n 2 j =1 + B¾t ®Çu tõ líp ra ( l = 2 ) cho tíi líp Èn ( l = 1 ) tÝnh : HÖ sè hiÖu chØnh δ ij l i l −1 Lîng hiÖu chØnh ∆w ji = η.δ j Outi l l l HiÖu chØnh c¸c träng sè w ji = w ji + ∆w ji - TÝnh gi¸ trÞ hµm gi¸ e theo Thñ tôc 1.1.2 - Thùc hiÖn qu¸ tr×nh biÕn ®æi hÖ sè häc : + NÕu ∆e < 0, kiÕm tra nÕu k < Step th× k = k + 1, kh«ng th× g¸n k = 0 vµ α = α + a + NÕu ∆e >= 0 th× α = α * (1 - a) vµ g¸n k = 0 60 Ch¬ng 5 øng dông m¹ng n¬ ron truyÒn th¼ng nhiÒu líp trong dù b¸o d÷ liÖu Ch¬ng nµy ®Ò cËp ®Õn c¸c vÊn ®Ò sau: 5.1 S¬ lîc vÒ øng dông m¹ng n¬ ron trong dù b¸o d÷ liÖu 5.2 C¸c bíc chÝnh trong viÖc thiÕt kÕ m« h×nh m¹ng n¬ ron dù b¸o 5.3 øng dông m¹ng n¬ ron truyÒn th¼ng nhiÒu líp trong dù b¸o ®Ønh lò s«ng Trµ Khóc tr¹m S¬n Giang 5.4 Ch¬ng tr×nh dù b¸o d÷ liÖu 5.1 S¬ lîc vÒ øng dông m¹ng n¬ ron trong dù b¸o d÷ liÖu M¹ng n¬ ron truyÒn th»ng cã øng dông réng r·i trong lÜnh vùc dù b¸o d÷ liÖu, ®Æc biÖt lµ øng dông trong c¸c bµi to¸n dù b¸o tiªu thô n¨ng lîng, dù b¸o kinh tÕ, dù b¸o c¸c hiÖn tîng tù nhiªn Dù b¸o d÷ liÖu lµ bµi to¸n rÊt phøc t¹p c¶ vÒ sè lîng d÷ liÖu còng nh ®é chÝnh x¸c cña d÷ liÖu dù b¸o D÷ liÖu thu thËp trong thùc tÕ rÊt ®a d¹ng vµ phong phó §Ó cã thÓ sö dông luyÖn m¹ng n¬ ron, d÷ liÖu ph¶i ®ñ, ®¶m b¶o ®é chÝnh x¸c, ph¶i ®îc lµm s¹ch, ®îc lîng hãa vµ m· hãa ®a chóng vÒ ®o¹n [0,1] hoÆc [-1,1] §Ó m¹ng cã kh¶ n¨ng dù b¸o tèt, d÷ liÖu huÊn luyÖn ph¶i quÐt hÕt kh«ng gian d÷ liÖu thùc MÆt kh¸c, viÖc chän mét cÊu tróc m¹ng phï hîp víi mét bµi to¸n thùc tÕ còng rÊt ¶nh h ëng ®Õn kh¶ n¨ng dù b¸o §èi víi mét bµi to¸n thùc tÕ, viÖc chän cÊu tróc m¹ng chÝnh lµ viÖc chän sè n¬ ron trong líp Èn (hay sè nót Èn), th«ng thêng sö dông ph¬ng ph¸p thö sai (trial and errors) Ngoµi ra, viÖc khëi t¹o c¸c tham sè ban ®Çu cña m¹ng trong qu¸ tr×nh huÊn luyÖn nh gi¸ trÞ c¸c träng sè ban ®Çu, h»ng sè häc ban ®Çu, h»ng sè häc thÝch nghi, ®é chÝnh x¸c còng ¶nh hëng kh«ng nhá tíi kh¶ n¨ng 61 dù b¸o Trong dù b¸o d÷ liÖu, ta chØ cã thÓ cã ®îc kÕt qu¶ dù b¸o víi ®é chÝnh x¸c nµo ®ã chÊp nhËn ®îc chø kh«ng cã ®îc kÕt qu¶ dù b¸o víi ®é chÝnh x¸c 100% 5.2 C¸c bíc chÝnh trong viÖc thiÕt kÕ m« h×nh m¹ng n¬ ron dù b¸o Bíc 1: Chän lùa c¸c biÕn N¾m b¾t ®îc bµi to¸n mét c¸ch têng minh sÏ quyÕt ®Þnh sù thµnh c«ng trong viÖc thiÕt kÕ m« h×nh m¹ng n¬ ron dù b¸o d÷ liÖu §èi víi mét bµi to¸n cô thÓ, cÇn x¸c ®Þnh c¸c nh©n tè ¶nh hëng ®Õn bµi to¸n vµ ph©n ®Þnh râ c¸c nh©n tè nµo lµ chÝnh vµ nh©n tè nµo chØ lµ c¸c yÕu tè ¶nh hëng Tõ ®ã x¸c ®Þnh ®îc c¸c biÕn ®Çu vµo vµ biÕn ®Çu ra cña m¹ng VÒ mÆt d÷ liÖu, c¸c biÕn cã thÓ ®îc chia thµnh hai lo¹i dùa trªn c¸c ®Æc ®iÓm vµ tÝnh chÊt cña chóng [15] ViÖc ph©n lo¹i nµy lµm c¬ së ®Ó m· hãa d÷ liÖu ®a vµo m¹ng BiÕn ph©n lo¹i (Categorical Variables) Gi÷a chóng kh«ng x¸c ®Þnh ®îc c¸c phÐp to¸n nh “lín h¬n” hay “nhá h¬n”, chóng kh«ng cã trÞ sè nhng cã thÓ ®îc g¸n trÞ sè khi ®a vµo m¹ng VÝ dô kiÓu mµu cã thÓ nhËn gi¸ trÞ “xanh”, “®á” hoÆc “vµng” C¸c biÕn thuéc lo¹i nµy cã thÓ ®îc ®a vµo m¹ng b»ng s¬ ®å m· hãa 1-of-c, s¬ ®å nµy m· hãa c¸c gi¸ trÞ cña biÕn thµnh c¸c x©u nhÞ ph©n cã chiÒu dµi b»ng sè c¸c gi¸ trÞ mµ biÕn cã thÓ nhËn trong ph¹m vi bµi to¸n Mét bit sÏ ®îc bËt lªn tuú theo gi¸ trÞ cña biÕn, c¸c bit cßn l¹i sÏ ®îc t¾t Trong vÝ dô trªn, biÕn kiÓu mµu cÇn ba biÕn vµo, t¬ng øng víi ba mµu ®îc thÓ hiÖn b»ng c¸c x©u nhÞ ph©n 100, 010 vµ 001 Mét c¸ch kh¸c ®Ó m· hãa c¸c biÕn ph©n lo¹i lµ thÓ hiÖn tÊt c¶ c¸c gi¸ trÞ cã thÓ vµo mét biÕn ®Çu vµo liªn tôc VÝ dô, c¸c gi¸ trÞ “®á”, ”xanh”, vµ “vµng” cã thÓ ®îc thÓ hiÖn bëi c¸c gi¸ trÞ sè 0.0, 0.5, vµ 1.0 §iÓm kh«ng tèt cña ph¬ng ph¸p nµy lµ t¹o ra mét trËt tù nh©n t¹o trªn d÷ liÖu mµ trªn thùc tÕ, thø tù nµy kh«ng hÒ cã Nh ng ®èi víi c¸c biÕn víi mét sè lîng lín c¸c ph©n lo¹i, ph¬ng ph¸p nµy cã thÓ gi¶m rÊt nhiÒu sè ®¬n vÞ ®Çu vµo C¸c biÕn kiÓu nµy cã thÓ ®îc ®a vµo m¹ng b»ng s¬ ®å m· hãa 1-of-c BiÕn cã thø tù (ordinal Variables) 62 C¸c biÕn nµy cã thø tù tù nhiªn x¸c ®Þnh Chóng cã thÓ ®îc chuyÓn trùc tiÕp thµnh c¸c gi¸ trÞ t¬ng øng cña mét biÕn liªn tôc víi mét tû lÖ nµo ®ã Bíc 2: Thu thËp d÷ liÖu KÕ ho¹ch thu thËp c¸c d÷ liÖu chñ yÕu bao gåm 3 nhiÖm vô chÝnh: X¸c ®Þnh yªu cÇu d÷ liÖu Bíc ®Çu tiªn khi lËp kÕ ho¹ch thu thËp d÷ liÖu lµ quyÕt ®Þnh c¸c d÷ liÖu nµo lµ cÇn thiÕt ®Ó cã thÓ gi¶i quyÕt bµi to¸n VÒ tæng thÓ, cã thÓ cÇn sù trî gióp cña c¸c chuyªn gia trong lÜnh vùc cña bµi to¸n cÇn gi¶i quyÕt ®Ó x¸c ®Þnh ®îc c¸c d÷ liÖu ch¾c ch¾n cã liªn quan ®Õn bµi to¸n, c¸c d÷ liÖu cã thÓ liªn quan vµ c¸c d÷ liÖu phô trî C¸c d÷ liÖu cã liªn quan vµ cã thÓ liªn quan ®Õn bµi to¸n cã thÓ ®îc xem lµ c¸c ®Çu vµo cña hÖ thèng X¸c ®Þnh c¸c nguån d÷ liÖu Bíc tiÕp theo lµ x¸c ®Þnh n¬i sÏ lÊy d÷ liÖu, ®iÒu nµy cho phÐp íc lîng ®îc nh÷ng khã kh¨n vµ chi phÝ cho viÖc thu thËp d÷ liÖu NÕu øng dông yªu cÇu d÷ liÖu thêi gian thùc, íc lîng nµy cÇn tÝnh ®Õn kh¶ n¨ng chuyÓn ®æi d÷ liÖu t¬ng tù thµnh d¹ng sè X¸c ®Þnh lîng d÷ liÖu CÇn ph¶i cã mét íc lîng sè lîng d÷ liÖu cÇn thiÕt cã thÓ sö dông ®Ó huÊn luyÖn m¹ng NÕu d÷ liÖu qu¸ Ýt sÏ kh«ng thÓ ph¶n ¸nh toµn bé c¸c thuéc tÝnh mµ m¹ng cÇn ph¶i häc, vµ m¹ng sÏ kh«ng cã ®îc nh÷ng ph¶n øng mong muèn ®èi víi nh÷ng d÷ liÖu mµ nã cha ®îc huÊn luyÖn MÆt kh¸c, còng kh«ng cÇn thiÕt ph¶i ®a vµo luyÖn m¹ng qu¸ nhiÒu d÷ liÖu VÒ tæng thÓ, lîng d÷ liÖu cÇn thiÕt bÞ ¶nh hëng bëi sè c¸c trêng hîp cÇn luyÖn cho m¹ng ®Ó m¹ng cã thÓ cã ®îc kh¶ n¨ng mong muèn ViÖc ®Þnh lîng chÝnh x¸c lîng d÷ liÖu cÇn ®a vµo luyÖn m¹ng lµ hÕt søc cÇn thiÕt Th«ng thêng, d÷ liÖu thêng thiÕu hoµn chØnh, do ®ã nÕu muèn m¹ng cã kh¶ n¨ng thùc hiÖn chÝnh x¸c nh÷ng ®iÒu mong muèn th× nã cÇn ph¶i ®îc luyÖn víi lîng d÷ liÖu lín h¬n 63 Bíc 3: TiÒn xö lý d÷ liÖu TiÒn xö lý d÷ liÖu thêng mang l¹i nh÷ng hiÖu qu¶ nhÊt ®Þnh tríc khi nh÷ng d÷ liÖu nµy ®îc ®a vµo m¹ng Cã rÊt nhiÒu c¸c kü thuËt liªn quan ®Õn tiÒn xö lý d÷ liÖu ChuyÓn ®æi d÷ liÖu vÒ khu«n d¹ng phï hîp ®èi víi ®Çu vµo m¹ng n¬ron C¸c chuyÓn ®æi nµy cã thÓ bao gåm: • ¸p dông mét hµm to¸n häc cho ®Çu vµo • M· hãa c¸c d÷ liÖu v¨n b¶n trong c¬ së d÷ liÖu • ChuyÓn ®æi d÷ liÖu sao cho nã cã gi¸ trÞ n»m trong kho¶ng [0, 1] • LÊy biÕn ®æi Fourier cho c¸c d÷ liÖu thêi gian Lùa chän c¸c d÷ liÖu x¸c ®¸ng nhÊt ViÖc lùa chän nµy cã thÓ bao gåm c¸c thao t¸c ®¬n gi¶n nh läc hay lÊy tæ hîp cña c¸c ®Çu vµo ®Ó tèi u hãa néi dung cña d÷ liÖu §iÒu nµy ®Æc biÖt quan träng khi d÷ liÖu cã nhiÔu hoÆc chøa c¸c th«ng tin d thõa Tèi thiÓu hãa sè c¸c ®Çu vµo m¹ng Gi¶m tèi ®a sè chiÒu cña d÷ liÖu ®Çu vµo vµ sè c¸c mÉu ®a vµo m¹ng cã thÓ ®¬n gi¶n hãa ®îc bµi to¸n Bíc 4 Ph©n chia d÷ liÖu thµnh tËp huÊn luyÖn, kiÓm tra vµ x¸c nhËn D÷ liÖu sau khi ®· qua tiÒn xö lý ®îc chia thµnh ba tËp, tËp huÊn luyÖn (training), tËp kiÓm tra (test) vµ tËp x¸c nhËn (validation) TËp huÊn luyÖn lµ tËp lín nhÊt, dïng ®Ó cËp nhËt c¸c träng sè cña m¹ng TËp kiÓm tra cã kÝch thíc kho¶ng 10% ®Õn 30% tËp huÊn luyÖn, ®îc dïng ®Ó ®¸nh gi¸ kh¶ n¨ng tæng qu¸t hãa cña m¹ng TËp x¸c nhËn kiÓm tra hiÖu n¨ng cña m¹ng sau khi luyÖn CÇn ph¶i ®¶m b¶o r»ng: • TËp huÊn luyÖn chøa ®ñ d÷ liÖu, c¸c d÷ liÖu ®ã ph©n bè phï hîp sao cho cã thÓ biÓu diÔn c¸c thuéc tÝnh mµ m¹ng sÏ häc ®îc 64 • Kh«ng cã d÷ liÖu trïng nhau hay t¬ng tù nhau cña c¸c d÷ liÖu trong c¸c tËp d÷ liÖu kh¸c nhau Bíc 5: X¸c ®Þnh cÊu tróc m¹ng Nh ®· tr×nh bµy, viÖc chän m« h×nh m¹ng n¬ ron dù b¸o d÷ liÖu lµ viÖc chän sè n¬ ron trong líp Èn Kh«ng cã mét ph¬ng ph¸p nµo ®Ó chän sè tèi u c¸c n¬ ron sö dông trong líp Èn §Ó cã ®îc sè n¬ ron trong líp Èn chÊp nhËn ®îc th× ph¶i thùc hiÖn nhiÒu thÝ nghiÖm trªn m« h×nh ®· chän, cuèi cïng chän ®îc m« h×nh tèt nhÊt C«ng viÖc nµy ®îc thùc hiÖn b»ng c¸ch b¾t ®Çu víi mét sè nµo ®ã dùa trªn c¸c luËt (xem ch¬ng 3 phÇn 3.1.3 môc b) Sau khi thùc hiÖn huÊn luyÖn, kiÓm tra lçi tæng qu¸t hãa cña tõng cÊu tróc vµ tiÕp tôc t¨ng hoÆc gi¶m sè n¬ ron Môc tiªu cuèi cïng lµ chän mét cÊu tróc m¹ng mµ lçi tæng qu¸t hãa trªn tËp huÊn luyÖn lµ nhá nhÊt Bíc 6: HuÊn luyÖn m¹ng n¬ ron HuÊn luyÖn m¹ng b»ng c¸ch lÇn lît ®a c¸c mÉu vµo cïng víi c¸c gi¸ trÞ mong muèn Môc tiªu lµ t×m ra c¸c tËp träng sè cho ta gi¸ trÞ nhá nhÊt toµn côc cña hµm lçi VÊn ®Ò ®Æt ra lµ khi nµo ngõng huÊn luyÖn Quan ®iÓm thø nhÊt cho r»ng chØ nªn ngõng huÊn luyÖn chõng nµo kh«ng cã tiÕn triÓn cña hµm lçi n÷a, nãi c¸ch kh¸c lµ m¹ng ®· ®¹t ®Õn ®iÓm cùc tiÓu toµn côc Quan ®iÓm thø hai cho r»ng cÇn thêng xuyªn xem xÐt kh¶ n¨ng tæng qu¸t hãa cña m¹ng b»ng c¸ch thùc hiÖn kiÓm tra ®Þnh kú sau mét sè chu kú Mét ph¬ng ph¸p kh¸c lµ thùc hiÖn vÏ ®å thÞ ®Ó cã thÓ theo dâi tr¹ng th¸i lçi cña m¹ng, tõ ®ã cã thÓ quan s¸t c¸c vïng mµ m¹ng cã tr¹ng th¸i kh«ng thay ®æi víi d÷ liÖu vµo Th«ng thêng, sè lÇn tèi ®a thùc hiÖn huÊn luyÖn m¹ng thêng cã kho¶ng biÕn thiªn kh¸ lín, tõ vµi ngh×n ®Õn vµi chôc ngh×n chu kú, cã thÓ thùc hiÖn cËp nhËt ®å thÞ sau mçi chu kú ®Ó cã thÓ theo dâi ®îc c¸c tham sè nµy Bíc 7: Thùc thi 65 Bíc thùc thi thùc ra cÇn ®îc xem xÐt tríc c¶ bíc thu thËp d÷ liÖu bëi v×, viÖc x¸c ®Þnh d÷ liÖu, x¸c ®Þnh hµm lçi sö dông vµ thêi gian huÊn luyÖn ®Òu lµ nh÷ng ®Æc trng cña m«i trêng triÓn khai m¹ng Sau khi cµi ®Æt vµ triÓn khai, kh¶ n¨ng ho¹t ®éng cña m¹ng n¬ ron sÏ gi¶m ®i theo thêi gian nÕu kh«ng thùc hiÖn huÊn luyÖn l¹i, bëi v× c¸c tham biÕn ®îc chän kh«ng ®¶m b¶o lu«n ®ãng vai trß quyÕt ®Þnh ®èi víi c¸c kÕt qu¶ mong muèn theo thêi gian TÇn sè thùc hiÖn huÊn luyÖn l¹i m¹ng cÇn hîp lý sao cho m¹ng lu«n ®¹t ®îc tr¹ng th¸i ho¹t ®éng tèt nhÊt 5.3 øng dông m¹ng n¬ ron truyÒn th¼ng nhiÒu líp trong dù b¸o ®Ønh lò s«ng Trµ Khóc tr¹m S¬n Giang Dù b¸o ®Ønh lò trªn s«ng lµ mét trong nh÷ng bµi to¸n quan träng trong lÜnh vùc dù b¸o thuû v¨n, nã cã ý nghÜa to lín trong ®êi sèng x· héi v× nã gióp con ngêi dù b¸o ®îc c¸c trËn lò lín tríc mét thêi gian dµi, tr¸nh ®îc thiÖt h¹i vÒ ngêi vµ vËt chÊt do chóng g©y ra Dßng ch¶y s«ng suèi ®îc h×nh thµnh díi ¶nh hëng cña nhiÒu nh©n tè Song trong sè ®ã næi lªn hai nh©n tè quan träng lµ lîng ma vµ lîng tr÷ níc trªn lu vùc s«ng Ma lµ nh©n tè quyÕt ®Þnh ®é lín cña ®Ønh lò, tuy nhiªn, cïng mét lîng ma trªn cïng mét lu vùc, vÉn cã thÓ sinh ra c¸c ®Ønh lò kh¸c nhau VÝ dô, trªn s«ng Hång l îng ma sinh ra trËn lò lín nhÊt n¨m 1969 vµ 1996 t¬ng øng lµ 250 vµ 300 mm, lín h¬n lîng ma g©y trËn lò th¸ng 8/1971 lµ 218 mm, song do lîng tr÷ níc t¹i thêi ®iÓm tríc lò n¨m 1971 lín h¬n ®· lµm cho ®Ønh lò th¸ng 8/1971 lín h¬n nhiÒu so víi hai trËn lò kia Nh vËy, lîng tr÷ níc tríc lò, hay gäi lµ ch©n lò, cã thÓ xem lµ nh©n tè quan träng thø hai, quyÕt ®Þnh ®é lín cña ®Ønh lò Ngoµi ra cßn cã c¸c yÕu tè kh¸c t¸c ®éng ®Õn lò lôt nh ®iÒu kiÖn thêi tiÕt… chóng chØ lµ c¸c nh©n tè gi¸n tiÕp Ch¬ng tr×nh dù b¸o d÷ liÖu sö dông m¹ng n¬ ron truyÒn th¼ng huÊn luyÖn b»ng gi¶i thuËt lai GA - BP ®îc thö nghiÖm víi bµi to¸n dù b¸o ®Ønh lò s«ng Trµ Khóc tr¹m S¬n Giang S«ng Trµ Khóc b¾t nguån tõ vïng rõng nói Gi¸ Vùc, phÝa t©y nam tØnh Qu¶ng Ng·i, ë vµo kho¶ng 14 o34’30’’B vµ 108o25’20’’§ §é cao nguån s«ng kho¶ng 900 m, chiÒu dµi s«ng 135 km, chiÒu dµi lu vùc 123 km, diÖn tÝch lu vùc 3240 km2, ®é dèc lu vùc 18,5%, chiÒu réng lu vùc 26,3 km Cã hai d¹ng lò trªn 66 s«ng, lò ®¬n vµ lò kÐp Sè liÖu mùc níc ®Ønh lò ®îc ®o theo mùc níc ch©n lò vµ lîng ma t¬ng øng t¹i tr¹m S¬n Giang tõ n¨m 1997 ®Õn nay lµm sè liÖu huÊn luyÖn m¹ng vµ kiÓm tra kh¶ n¨ng dù b¸o cña m¹ng Nguån sè liÖu nµy ®îc lÊy tõ Trung t©m Th«ng tin t liÖu - Tæng côc KhÝ tîng Thuû v¨n D÷ liÖu ®Çu vµo D÷ liÖu ®îc lÊy t¹i tr¹m S¬n Giang tõ n¨m 1995 ®Õn nay ®îc chia thµnh hai tËp, tËp huÊn luyÖn vµ tËp kiÓm tra Sè liÖu nµy ®îc lu tr÷ díi d¹ng sau: Thêi gian B¾t ®Çu KÕt thóc 1995 1h/6/10 13h/6/10 1h/7/10 13h/7/10 19h/9/10 13h/10/10 7h/11/10 13h/11/10 19h/10/11 1996 1h/9/11 7h/22/10 7h/23/10 1h/12/9 13h/12/9 7h/2/11 1h/3/11 19h/17/10 7h/18/10 1h/25/10 13h/25/10 9h/28/10 19h/28/10 11h/29/10 11h/29/10 7h/16/11 19h/16/11 1h/19/11 7h/19/11 21h/19/11 7h/20/11 7h/30/11 19h/30/11 21h/30/11 3h/1/12 7h/19/12 3h/20/12 N¨m Lîng ma trung b×nh 191.5 184.5 118.5 74.5 289 199 67 298 82 121.5 62 84.5 173.5 95.5 121 150.5 60 165.5 Mùc níc lò trung b×nh Ch©n lò §Ønh lò 2831 3352 3088 3594 3041 3414 3185 3340 3025 3717 2931 3449 2820 3084 3077 4020 2955 3203 3143 3578 3159 3382 3312 3548 3112 3643 3362 3585 3433 3615 3097 3572 3519 3710 3004 3451 • N¨m : N¨m lÊy mÉu sè liÖu, kh«ng tham gia vµo d÷ liÖu dù b¸o • Thêi gian : kho¶ng thêi gian ®o sè liÖu, kh«ng tham gia vµo sè liÖu dù b¸o • Lîng ma trung b×nh : lîng ma trung b×nh ®o ®îc trong kho¶ng thêi gian trªn tÝnh b»ng mm, lµ mét ®Çu vµo cña d÷ liÖu dù b¸o • Mùc níc ch©n lò : gi¸ trÞ mùc níc ch©n lò tÝnh b»ng cm, lµ ®Çu vµo thø hai cña d÷ liÖu dù b¸o ... để xây dựng mô hình mạng nơ ron dự báo liệu ứng dụng mô hình toán dự báo đỉnh lũ sông Trà Khúc trạm khí tợng Sơn Giang Những đóng góp luận văn ã Luận văn trình bày vấn đề lý thuyết mạng nơ ron, ... BP Chơng trình bày bớc xây dựng mô hình mạng nơ ron dự báo thử nghiệm giải thuật GA - BP việc huấn luyện mạng nơ ron để thực thi toán dự báo đỉnh lũ sông Trà Khúc trạm Sơn Giang Phần kết luận nêu... niệm mạng nơ ron Chơng đề cập đến vấn đề sau: 1.1 Nơ ron sinh học mạng nơ ron sinh học 1.2 Nơ ron nhân tạo 1.3 Mạng nơ ron nhân tạo 1.4 Thủ tục học mạng nơ ron 1.5 Phạm vi ứng dụng mạng nơ ron