machine learning co ban

43 12 0
  • Loading ...
1/43 trang

Thông tin tài liệu

Ngày đăng: 31/07/2019, 11:22

TableofContents Lờitựa 1.1 Machinelearninglàgì? 1.2 SupervisedLearning 1.3 Cáckháiniệmcơbản 1.3.1 Haigócnhìnvềsupervisedlearning 1.3.2 Objectivefunction 1.3.3 Overfitting 1.3.4 RegularizedLossMinimization 1.3.5 Tinhchỉnhcáchyperparameter 1.3.6 Thuậttoánsupervisedlearningtổngquát 1.3.7 Lossfunction 1.3.8 DeepLearning 1.4 Linearmodels 1.4.1 Biểudiễntừ(wordrepresentation) 1.4.2 Lờitựa Lờitựa Xinchào,mìnhlàNguyễnXnKhánh,mộtngườiđanghọcvànghiêncứuvềmachine learning Lĩnhvựcmìnhchunsâuchođếnbâygiờlànaturallanguageprocessing(gọitắt làNLP),tứclàlàmchomáytínhcókhảnănghiểuđượcngơnngữcủaconngười Mình khơngphảilàmộtchungianghiêncứu,kinhnghiệmcònkhánonnếusovớicácgiáosư vàkỹsưđầungànhnhưngmìnhrấtmuốnđembộmơnnàyvềgiớithiệuvớimọingười, nhấtlàcácbạncònđangloayhoaytìmcâutrảlờichocâuhỏi:họcTinhọcsaunàycóthể làmđượcgì? Cuốnsáchnàyđượcviếtnhằmđưaramộttrongrấtnhiềucâutrảlờichocâuhỏitrên Nội dungchủyếugiớithiệuvềmộtlĩnhvựcthuhútrấtnhiềusựchúýtrongvàinămgầnđây, machinelearning Sáchđượcđặttênlà"MachineLearning:mì,súpvàcơngthứcnấu"vớiýtưởnglànếu ngườiđọchiểuđượcnhữngthànhtốcơbảncủamachinelearningvàcáchphốihợpgiữa chúngthìsẽsángtạorarấtnhiều"mónngon" Mụcđíchchínhcủasáchlànhằmgiúpngười đọccóđọcnềntảnghọcthuậtvữngchắctrướckhiđisâuhơnvàonghiêncứuvàsángchế Ngày20/7/2016 Machinelearninglàgì? Machinelearninglàgì? Machinelearninggâynêncơnsốtcơngnghệtrêntồnthếgiớitrongvàinămnay Trong giớihọcthuật,mỗinămcóhàngngànbàibáokhoahọcvềđềtàinày Tronggiớicơng nghiệp,từcáccơngtylớnnhưGoogle,Facebook,Microsoftđếncáccơngtykhởinghiệp đềuđầutưvàomachinelearning Hàngloạtcácứngdụngsửdụngmachinelearningrađời trênmọilinhvựccủacuộcsống,từkhoahọcmáytínhđếnnhữngngànhítliênquanhơn nhưvậtlý,hóahọc,yhọc,chínhtrị AlphaGo,cỗmáyđánhcờvâyvớikhảnăngtínhtốn trongmộtkhơnggiancósốlượngphầntửcònnhiềuhơnsốlượnghạttrongvũtrụ,tốiưu hơnbấtkìđạikìthủnào,làmộttrongrấtnhiềuvídụhùnghồnchosựvượttrộicủa machinelearningsovớicácphươngphápcổđiển Vậythựcchất,machinelearninglàgì? Đểgiớithiệuvềmachinelearning,mìnhxindựavàomốiquanhệcủanóvớibakháiniệm sau: Machinelearningvàtrítuệnhântạo(ArtificialIntelligencehayAI) MachinelearningvàBigData Machinelearningvàdựđốntươnglai Trítuệnhântạo,AI,mộtcụmtừvừagầngũivừaxalạđốivớichúngta Gầngũibởivìthế giớiđangphátsốtvớinhữngcơngnghệđượcdánnhãnAI XalạbởivìmộtAIthựcthụvẫn cònnằmngồitầmvớicủachúngta NóiđếnAI,hẳnmỗingườisẽliêntưởngđếnmộthình ảnhkhácnhau VàithậpniêngầnđâycómộtsựthayđổivềdiệnmạocủaAItrongcácbộ phimquốctế Trướcđây,cácnhàsảnxuấtphimthườngxunđưahìnhảnhrobotvào phim(nhưTerminator),nhằmgieovàođầungườixemsuynghĩrằngtrítuệnhântạolàmột phươngthứcnhânbảnconngườibằngmáymóc Tuynhiên,trongnhữngbộphimgầnhơn vềđềtàinày,vídụnhưTranscendencedoJohnyDeppvàovaichính,takhơngthấyhình ảnhcủamộtconrobotnàocả Thayvàođólàmộtbộnãođiệntốnkhổnglồchỉhuyhàng vạnconNanobot,đượcgọilàSingularity Tấtnhiêncảhaihìnhảnhđềulàhưcấuvàgiả tưởng,nhưngsựthayđổinhưvậycũngmộtphầnnàophảnánhsựthayđổiýniệmcủacon ngườivềAI AIbâygiờđượcxemnhưvơhìnhvơdạng,haynóicáchkháccóthểmangbất cứhìnhdạngnào VìnóivềAIlànóivềmộtbộnão,chứkhơngphảinóivềmộtcơthể,là softwarechứkhơngphảilàhardware Tronggiớihànlâm,theohiểubiếtchung,AIlàmộtngànhkhoahọcđượcsinhravớimục đíchlàmchomáytínhcóđượctríthơngminh Mụctiêunàyvẫnkhámơhồvìkhơngphảiai cũngđồngývớimộtđịnhnghĩathốngnhấtvềtríthơngminh Cácnhàkhoahọcphảiđịnh nghĩamộtsốmụctiêucụthểhơn,mộttrongsốđólàviệclàmchomáytínhlừađượcTuring Machinelearninglàgì? Test TuringTestđượctạorabởiAlanTuring(1912-1954),ngườiđượcxemlàchađẻcủa ngànhkhoahọcmáytínhhiệnđại,nhằmphânbiệtxemngườiđốidiệncóphảilàngườihay khơng AIthểhiệnmộtmụctiêucủaconngười Machinelearninglàmộtphươngtiệnđượckỳvọng sẽgiúpconngườiđạtđượcmụctiêuđó Vàthựctếthìmachinelearningđãmangnhânloại đirấtxatrênqngđườngchinhphụcAI Nhưngvẫncònmộtqngđườngxahơnrất nhiềucầnphảiđi MachinelearningvàAIcómốiquanhệchặtchẽvớinhaunhưngkhơng hẳnlàtrùngkhớpvìmộtbênlàmụctiêu(AI),mộtbênlàphươngtiện(machinelearning) ChinhphụcAImặcdùvẫnlàmụcđíchtốithượngcủamachinelearning,nhưnghiệntại machinelearningtậptrungvàonhữngmụctiêungắnhạnhơnnhư: Làmchomáytínhcónhữngkhảnăngnhậnthứccơbảncủaconngườinhưnghe, nhìn,hiểuđượcngơnngữ,giảitốn,lậptrình,… Hỗtrợconngườitrongviệcxửlýmộtkhốilượngthơngtinkhổnglồmàchúngtaphải đốimặthàngngày,haycòngọilàBigData BigDatathựcchấtkhơngphảilàmộtngànhkhoahọcchínhthống Đólàmộtcụmtừdân gianvàđượcgiớitruyềnthơngtunghơđểámchỉthờikìbùngnổcủadữliệuhiệnnay Nó cũngkhơngkhácgìvớinhữngcụmtừnhư"cáchmạngcơngnghiệp","kỉngunphần mềm" BigDatalàmộthệquảtấtyếucủaviệcmạngInternetngàycàngcónhiềukếtnối VớisựrađờicủacácmạngxãhộinhưngFacebook,Instagram,Twitter,nhucầuchiasẻ thơngcủaconngườităngtrưởngmộtcáchchóngmặt Youtubecũngcóthểđượcxemlà mộtmạngxãhội,nơimọingườichiasẻvideovàcommentvềnộidungcủavideo Đểhiểu đượcquymơcủaBigData,hãyxemquanhữngconsốsauđây(tínhđếnthờiđiểmbài viết): Khoảng300giờvideođượcuploadtrênyoutubetrongmỗiphút(theo https://www.youtube.com/yt/press/statistics.html) Hơn900triệungườithậtsựsửdụngFacebookmỗingày,82.8%trongsốđóởngồi MỹvàCanada(theohttp://newsroom.fb.com/company-info/) Nhucầuchiasẻtăngđiđơivớiviệcnhucầutìmkiếmthơngtincũngtăng Googlephải xửlý100tỉlượttìmkiếmmỗitháng,tứclà3,3tỉlượtmỗingàyvà38.000lượtmỗigiây (theohttp://www.internetlivestats.com/google-search-statistics/) Vànhữngconsốnàyđangtănglêntheotừnggiây! BùngnổthơngtinkhơngphảilàlýdoduynhấtdẫnđếnsựrađờicủacụmtừBigData Nên nhớrằngBigDataxuấthiệnmớitừvàinămgầnđâynhưngkhốilượngdữliệutíchtụkểtừ khimạngInternetxuấthiệnvàocuốithếkỉtrướccũngkhơngphảilànhỏ Thếnhưng,lúcấy conngườingồiquanhmộtđốngdữliệuvàkhơngbiếtlàmgìvớichúngngồilưutrữvàsao Machinelearninglàgì? chép Chođếnmộtngày,cácnhàkhoahọcnhậnrarằngtrongđốngdữliệuấythựcrachứa mộtkhốilượngtrithứckhổnglồ Nhữngtrithứcấycóthểgiúpchotahiểuthêmvềcon ngườivàxãhội Từdanhsáchbộphimuthíchcủamộtcánhânchúngtacóthểrútra đượcsởthíchcủangườiđóvàgiớithiệunhữngbộphimngườiấychưatừngxem,nhưng phùhợpvớisởthích Từdanhsáchtìmkiếmcủacộngđồngmạngchúngtasẽbiếtđược vấnđềnónghổinhấtđangđượcquantâmvàsẽtậptrungđăngtảinhiềutintứchơnvềvấn đềđó BigDatachỉthựcsựbắtđầutừkhichúngtahiểuđượcgíatrịcủathơngtinẩnchứa trongdữliệu,vàcóđủtàinguncũngnhưcơngnghệđểcóthểkhaithácchúngtrênquy mơkhổnglồ Vàkhơngcógìngạcnhiênkhimachinelearningchínhlàthànhphầnmấuchốt củacơngnghệđó ỞđâytacómộtquanhệhỗtươnggiữamachineLearningvàBigData: machinelearningpháttriểnhơnnhờsựgiatăngcủakhốilượngdữliệucủaBigData; ngượclại,gíatrịcủaBigDataphụthuộcvàokhảnăngkhaitháctrithứctừdữliệucủa machinelearning Ngượcdònglịchsử,machinelearningđãxuấthiệntừrấtlâutrướckhimạngInternetrađời Mộttrongnhữngthuậttốnmachinelearningđầutiênlàthuậttốnperceptronđượcphát minhrabởiFrankRosenblattvàonăm1957 Đâylàmộtthuậttốnkinhđiểndùngđểphân loạihaikháiniệm Mộtvídụđơngỉanlàphânloạithưrác(tamgíac)vàthưbìnhthường (vng) Chắccácbạnsẽkhóhìnhdungrađượclàmthếnàođểlàmđượcđiềuđó Đốivới perceptron,điềunàykhơngkhácgìvớiviệcvẽmộtđườngthẳngtrênmặtphẳngđểphân chiahaitậpđiểm: Nhữngđiểmtamgiácvàvngđạidiệnchonhữngemailchúngtađãbiếtnhãntrước Chúngđượcdùngđể"huấnluyện"(train)perceptron Saukhivẽđườngthẳngchiahaitập Machinelearninglàgì? điểm,tanhậnthêmcácđiểmchưađượcdánnhãn,đạidiệnchocácemailcầnđượcphân loại(điểmtròn) Tadánnhãncủamộtđiểmtheonhãncủacácđiểmcùngnửamặtphẳng vớiđiểmđó Sơlượcquytrìnhphânloạithưđượcmơtảsau Trướchết,tacầnmộtthuậttốnđể chuyểnemailthànhnhữngđiểmdữliệu Cơngđoạnnàyrấtrấtquantrọngvìnếuchúngta chọnđượcbiểudiễnphùhợp,cơngviệccủaperceptronsẽnhẹnhànghơnrấtnhiều Tiếp theo,perceptronsẽđọctọađộcủatừngđiểmvàsửdụngthơngtinnàyđểcậpnhậtthamsố củađườngthẳngcầntìm Cácbạncóthểxemquademocủaperceptron(điểmxanhlácây làđiểmperceptronđangxửlý): Vìlàmộtthuậttốnkháđơngiản,córấtnhiềuvấnđềcóthểnảysinhvớiperceptron,vídụ nhưđiểmcầnphânloạinằmngaytrênđườngthẳngphânchia Hoặctệhơnlàvớimộttập dữliệuphứctạphơn,đườngthẳngphânchiakhơngtồntại: Machinelearninglàgì? Lúcnày,tacầncácloạiđườngphânchia"khơngthẳng" Nhưngđólạilàmộtcâuchuyện khác Perceptronlàmộtthuậttốnsupervisedlearning:tađưachomáytínhhàngloạtcácvídụ cùngcâutrảlờimẫuvớihyvọngmáytínhsẽtìmđượcnhữngđặcđiểmcầnthiếtđểđưara dựđốnchonhữngvídụkhácchưacócâutrảlờitrongtươnglai Ngồira,cũngcónhững thuậttốnmachinelearningkhơngcầncâutrảlờimẫu,đượcgọilàunsupervised learning Trongtrườnghợpnày,máytínhcốgắngkhaithácracấutrúcẩncủamộttậpdữ liệumàkhơngcầncâutrảlờimẫu Mộtloạimachinelearningkhácđượcgọilà reinforcementlearning Trongdạngnày,cũngkhơnghềcócâutrảlờimẫu,nhưngthayvì đómáytínhnhậnđượcphảnhồichomỗihànhđộng Dựavàophảnhồitíchcựchaytiêu cựcmàmáytínhsẽđiềuchỉnhhoạtđộngchophùhợp Sauđâylàmộtvídụminhhọa: Machinelearninglàgì? Mụctiêucủachiếcxelàleolênđượcđỉnhđồivàlấyđượcngơisao Chiếcxecóhaichuyển độngtớivàlui Bằngcáchthửcácchuyểnđộngvànhậnđượcphảnhồilàđộcaođạtđược vàthờigianđểlấyđượcngơisao,chiếcxedầntrởnênthuầnthụchơntrongviệcleođồilấy Machinelearningcómốiquanhệrấtmậtthiếtđốivớistatistics(thốngkê) Machine learningsửdụngcácmơhìnhthốngkêđể"ghinhớ"lạisựphânbốcủadữliệu Tuynhiên, khơngđơnthuầnlàghinhớ,machinelearningphảicókhảnăngtổngqthóanhữnggì đãđượcnhìnthấyvàđưaradựđốnchonhữngtrườnghợpchưađượcnhìnthấy Bạncó thểhìnhdungmộtmơhìnhmachinelearningkhơngcókhảnăngtổngqtnhưmộtđứatrẻ họcvẹt:chỉtrảlờiđượcnhữngcâutrảlờimànóđãhọcthuộclòngđápán Khảnăngtổng qtlàmộtkhảnăngtựnhiênvàkìdiệucủaconngười:bạnkhơngthểnhìnthấytấtcảcác khnmặtngườitrênthếgiớinhưngbạncóthểnhậnbiếtđượcmộtthứcóphảilàkhn mặtngườihaykhơngvớixácsuấtđúnggầnnhưtuyệtđối Đỉnhcaocủamachinelearning sẽlàmơphỏngđượckhảnăngtổngqthóavàsuyluậnnàycủaconngười Nhưtađãthấy,nóiđếnmachinelearninglànóiđến"dựđốn":từviệcdựđốnnhãnphân loạiđếndựđốnhànhđộngcầnthựchiệntrongbướctiếptheo Vậymachinelearningcó thểdựđốntươnglaihaykhơng?Cóthểcóhoặccóthểkhơng:machinelearningcóthể dựđốnđượctươnglai,nhưngchỉkhitươnglaicómốiliênhệmậtthiếtvớihiệntại Đểkếtthúc,mìnhmuốncùngcácbạnxemxétmộtvídụđơngiảnsau Giảsửbạnđược đưachomộtđồngxu,rồiđượcucầutungđồngxumộtsốlần Vấnđềđặtralà:dựavào nhữnglầntungđồngxuđó,bạnhãytiênđốnrakếtquảlầntungtiếptheo Chỉcầndựa vàotỉlệsấp/ngửacủanhữnglầntungtrướcđó,bạncóthểđưaramộtdựđốnkhátốt Nhưngnếumỗilầntung,ngườitađưachobạnmộtđồngxukhácnhauthìmọichuyệnsẽ hồntồnkhác Cácđồngxukhácnhaucóxácsuấtsấpngửakhácnhau Lúcnàyviệcdự Machinelearninglàgì? đốngầnnhưkhơngthểvìxácsuấtsấpngửacủalầntungsaukhơnghềliênquangìđến lầntungtrước Điềutươngtựcũngxảyravớiviệcdựđốntươnglaibằngmachine learning,nếutaxemnhưmỗingàycómột"đồngxu"đượctungrađểxemmộtsựkiệncó diễnrahaykhơng Nếu"đồngxu"củangàymaiđượcchọnmộtcáchtùyýkhơngtheophân bốnàocảthìmachinelearningsẽthấtbại Rấtmaylàtrongnhiềutrườnghợpđiềuđó khơnghồntồnđúng,thếgiớihoạtđộngtheonhữngquyluậtnhấtđịnhvàmachine learningcóthểnhậnranhữngquyluậtđó Nhưngnóichocùng,machinelearninghồn tồnkhơngphảilàmộtbàphủthủyvớiquảcầutiêntrimàcũnggiốngnhưchúngta:phán đốnbằngcáchtổngqthóanhữngkinhnghiệm,nhữnggìđãđượchọctừdữliệu XemphimTheImitationGamevềnhânvậtnày,nhưngđừngtinhếtnhữnggìtrong phim ↩ SupervisedLearning Chương1:SupervisedLearning Supervisedlearninglàmộthướngtiếpcậncủamachinelearningđểlàmchomáytínhcó khảnăng"học" Tronghướngtiếpcậnnày,ngườita"huấnluyện"máytínhdựatrênnhững quansátcódánnhãn(labeleddata) Tacóthểhìnhdungnhữngquansát(observation) nàynhưlànhữngcâuhỏi,vànhãn(label)củachúnglànhữngcâutrảlời Ýtưởngcủa supervisedlearninglà:bằngviệcghinhớvàtổngqthóamộtsốquytắctừmộttậpcâu hỏicóđápántrước,máytínhsẽcóthểtrảlờiđượcnhữngcâuhỏidùchưatừnggặpphải, nhưngcómốiliênquan Vídụtadạymáytính"1+1=2"vàhyvọngnósẽhọcđượcphép tínhcộngx+1vàtrảlờiđượclà"2+1=3" Supervisedlearningmơphỏngviệcconngười họcbằngcáchđưaradựđốncủamìnhchomộtcâuhỏi,sauđóđốichiếuvớiđápán Sau đóconngườirútraphươngphápđểtrảlờiđúngkhơngchỉcâuhỏiđó,màchonhữngcâu hỏicódạngtươngtự Trongsupervisedlearning,cácquansátbắtbuộcphảiđượcdánnhãntrước Đâychính làmộttrongnhữngnhượcđiểmcủaphươngphápnày,bởivìkhơngphảilúcnàoviệcdán nhãnchínhxácchoquansátcũngdễdàng Vídụnhưtrongdịchthuật(machine translation),từmộtcâucủangơnngữgốccóthểdịchthànhrấtnhiềuphiênbảnkhácnhau trongngơnngữcầndịchsang Tuynhiên,việcquansátđượcdánnhãncũnglạichínhlàưu điểmcủasupervisedlearningbởivìmộtkhiđãthuthậpđượcmộtbộdữliệulớnđượcdán nhãnchuẩnxác,thìviệchuấnluyệntrởnêndễdànghơnrấtnhiềusovớikhidữliệukhơng đượcdánnhãn Trongchươngnày,chúngtasẽđưasupervisedlearningvềmộtphươngtrìnhtốnhọcđơn giản,thậmchícóthểgiảiđượcbằngkiếnthứcphổthơng Tuynhiên,tasẽchỉranhững điểmbấtcậpkhisửdụngcácphươngphápthơngthườngđểtìmlờigiảivàđưaramộtsố cáchđểhạnchếnhữngbấtcậpđó Tổnghợpnhữngphươngphápnày,taxâydựngđược mộtthuậttốnsupervisedlearningtổngqt 10 RegularizedLossMinimization Modelq"mạnh":mộtmodelqmạnhlàkhinócókhảnăngmơphỏngrấtnhiều mốiquanhệphứctạpgiữaobservationvàlabel(cũngtứclàmơphỏngđượcrấtnhiều dạnghàmsố) Vídụnếufw làmộtđathứcbậcmột,nócóthểmơphỏngtấtcảcácđa thứcbậcmột(códạngy = fw (x) = w1x + w ) Dùcóvơsốđathứcbậcmột,nhưngmà đâyđượcxemnhưmộtmodel"yếu"bởivìquanhệtuyếntínhđượcxemnhưmộtquan hệrấtđơngiản Deepneuralnetworkđượcxemlànhữngmodelmạnhbởivìchúngmơ phỏngđượcnhữngquanhệphituyếntính Độmạnhcủamodelcònphụthuộcvàocấu trúcvàsốlượngparameter Vìbảnchấtmachinelearninglàướclượnghàmsố,sử dụngmộttậpmodelmạnhhơn,thậmchícókhảnăngmơphỏngtấtcảdạnghàmsố tưởngchừngnhưlàmộtýhay Nhưngthựctếđâylạilàmộtýtưởngnàyrấttồi Vì sao? Vìsaodùngmodelqmạnhlạikhơngtốt? Giảsửcómộtcuộcthitrongđótaucầumỗithísinhphảivẽđượcmộtđườngđiqua nhiềunhấtcácđiểmchotrước Thísinhthamdựcó2người:mộtngườilàhọasĩ,anhtarất khéotayvàcóthểvẽtấtcảcácloạiđườngcongthẳng;ngườicònlạilàmộtanhchàng vụngvềvớicâythướckẻ,anhtachỉcóthểvẽđườngthẳng Dĩnhiênlàanhhọasĩsẽthắng trongtròchơinày Nhưnghãyxemxétphảnxạcủahaithísinhtrongtìnhhuốngsauđây:tachođềbàiban đầulàcácđiểmtrênmộtđườngthẳng;saukhihaingườivẽxong,tachỉdịchchuyểnmột điểmlệchrakhỏiđườngthẳngmộtđoạnnhỏ Hiểnnhiênlàbanđầucảhaingườiđềuvẽ đượcmộtđườngthẳngđiquatấtcảcácđiểm Nhưngsaukhimộtđiểmbịdịchchuyển,anh họasĩsẽvẽramộtđườnghồntồnkhácvớiđườngthẳngbanđầuđểcốđiquamọiđiểm Ngượclại,anhvụngvềthìsẽvẫngiữngunđápápvìđólàđápántốtnhấtanhcóthểvẽ Điềutathấyđượcởđâyđólàanhhọasĩ,vìqtàihoa,nênanhrấtnhạycảmvớinhững thayđổinhỏtrongcácđiểmdữliệu Cònanhvụngvề,vìnănglựccủaanhcóhạn,nên thườnganhsẽítbịảnhhưởnghơn Nếunhưđâykhơngphảilàmộtcuộcthivẽquanhiềuđiểmmàlàmộtbàitốnmachine learning,cólẽanhhọasĩđãthuarồi Bởivìđiểmbịdịchchuyểncóthểlàdotácđộngcủa noiseđểhòngđánhlừaanh Anhhọasĩđạidiệnchomộttậpmodelcựcmạnh,cókhảnăng mơphỏngmọihàmsố Mộttậpmodelmạnhnhưvậyrấtnhạycảmvớinoisevàdễdàngbị overfitting Sựkếthợpgiữacácyếutốgâyoverfitting 29 RegularizedLossMinimization Cácyếutốgâyraoverfittingphảiphốihợpvớinhauthìmớiđủđiềukiệnchonóxuấthiện Taxemxéthaitìnhhuốngthườnggặpsau: Cónhiềudữliệu:tacóthểvơtưdùngERM,tậpmodelmạnhmàkhơnglovề overfitting ĐâychínhlàlýdomàthếgiớihânhoankhiBigDataxuấthiện Làmviệcvớimodelyếu:cácmodelthườngbịmộthộichứngchịemngượclạivới overfitting,gọilàunderfitting Đâylàkhimodelqđơngiảnsovớiquanhệcầntìm Lúcnày,dùcótăngthêmdữliệucũngkhơnggiúpchomodelchínhxácthêm Điềucần làmđólàtăngsứcmạnh(tăngsốlượngthamsốhoặcthayđổidạng)củamodel Mìnhcũngxindànhravàidòngđểnóivềhiệntượng"cuồng"deeplearningvàápdụng deeplearninglênmọibàitốn Cácmodelcủadeeplearninglàcácneuralnetworkcực mạnhnêncầnrấtnhiềudữliệuđểkhơngbịoverfitting Đólàlýdomàdùcácmodeldeep learningnàykhơngmới,thậmchílànhữngmodelđầutiêncủamachinelearning,nhưng phảichờđếnkỷngunBigDatahiệntạichúngmớipháthuysứcmạnh Nếukhơngam hiểuvềoverfittingvàápdụngdeeplearningvơtộivạlênnhữngtậpdữliệuchỉcóvàitrăm cặpdữliệuthìthườngđạtđượtkếtquảkhơngcao Khigặpnhữngđiềukiệndữliệueohẹp nhưvậy,nênbắtđầutừnhữngmodelđơngiảnnhưlinearmodeltrước Trongmachine learningcómộtđịnhlýnổitiếnggọilà"nofreelunch"nóirằngkhơngcómộtmodelnàotốt nhấtchotấtcảcácloạidữliệu Vìthế,tùyvàobàitốn,vàotínhchấtvàsốlượngdữliệu sẵncó,tamớixácđịnhđượcmodelphùhợp Regularizedlossminimization Trongbàitrước,tađãbiếtđượcmộtphươngphápđểgiảmthiểuoverfitting,earlystopping Bayếutốgâyraoverfittingcũnggợiýchochúngtanhữngcáchkhácđểkhắcphụcvấnđề Trongđó,yếutốthứhaiđưaragiảiphápđơngiảnnhất:tăngkíchthướctậphuấn luyện Sauđây,mìnhsẽgiớithiệumộtphươngphápnhằmloạitrừđiyếutốthứnhấtvàthứ ba,đượcgọilàregularization Phổbiếnnhất,phươngphápnàysẽthêmvàoERM objectivefunctionmộtregularizernhằmhạnchếsứcmạnhcủamodel Giảsửrằngđãlỡtaychọnmộtmodelqmạnh Thìkhơngcầnphảithayđổidạngmodel, tavẫncóthểhạnchếsứcmạnhcủanóđibằngcáchgiớihạnparameterspace(khơnggian củathamsố)củamodel XéthaitậpmodelA = {fw : w ∈ X}vàB = {fw′ : w′ ∈ Y }chỉ khácnhauvềparameterspacethôi(kýhiệuS = {s : c}đọclà"tậpSgồmcácphầntửssao chođiềukiệncthỏamãn) XhoặcY đượcgọilàkhônggianthamsốcủatậpmodelAhoặc B Trongtrườnghợpnày,nếuX ⊂ Y (XlàtậpconcủaY)thìrõràngtậpmodelBbiểudiễn đượcmọihàmsốtậpmodelAbiểudiễnđược,tứclàBmạnhhơnA 30 RegularizedLossMinimization Nếuparameterwlàmộtvectorsốthựccódchiều,tậphợpcácgiátrịwcóthểnhận,hay còngọilàparameterspacecủaw,làtậptấtcảcácvectorcódchiềusốthực,kýhiệulàRd Trongkhơnggiannày,mỗichiềucủawđềuđượctựdobaynhảytrongkhoảng(−∞, ∞) Muốnthunhỏlạikhơnggiannày,tacầnmộtcơchếđểthuhẹpmiềngiátrịcủamỗichiều Đểlàmđượcđiềuđó,ýtưởngởđâylàđịnhnghĩamộtđạilượngđểkháiqtđược"độlớn" củavectorw Đạilượngnàysẽđượcdùnglàmregularizer,kýhiệulàR(w)nhưtađãbiết, làmộthàmsốphụthuộcvàow NósẽđượcgắnthêmvàoERMobjectivefunctionvàđược tốithiểuhóacùnglúcvớiaverageloss Objectivefunctioncủachúngtađượcđịnhnghĩalại nhưsau: LDtrain (fw ) = LERM Dtrain + λR(w) Tốithiểuhóaobjectivefunctionnàyđượcgọilàquytắcregularizedlossminimization (RLM) ChúýđốivớiRLM,khơngnhấtthiếtlàLERM Dtrain phảiđạtgiátrịtốithiểuđểcho objectivefunctiontrởnêntốithiểu NếumộtmodeltốithiểuhóaLERM Dtrain nhưnglạilàmchoR đạtgiátrịlớnthìvẫncócơhộiđểchọnmộtmodelkhác,dùcóLERM Dtrain lớnhơnnhưnglạicho giátrịcủaRnhỏhơnnhiều Nóicáchkhác,tacóthểlựachọnđượcmộtmodelđơngiản, dùnókhơngdựđốnhồnhảotậphuấnluyện RLMđangđưamodelđigầnđếnOccam's razorhếtmứccóthể,chấpnhậnhysinhđộchínhxáctrêntậphuấnluyệnđểgiảmđộphức tạpcủamodel Hằngsốλtronghàmmụctiêuđượcgọilàrgularizationconstant,làmộthyperparameter củamodel SựxuấthiệncủaλtronghàmmụctiêulàmchovaitròcủaLERM Dtrain vàRtrởnên bấtđốixứng:nếutatăngLERM Dtrain lên1đơnvịthìhàmmụctiêutănglên1đơnvị;trongkhi đónếutăngRlên1đơnvịthìhàmmụctiêutănglênthêmλđơnvị Tứclà1đơnvịcủa LERM Dtrain cógiátrịbằng1/λđơnvịcủaR Thơngthường,tathườngđặtλrấtnhỏ,vídụ λ = 10−4 Lúcnày,1đơnvịcủaLERM Dtrain bằngđến10 đơnvịcủaR Điềunàythểhiệnrằngta muốnưutiênvàotốithiểuhóaLERM Dtrain hơnlàR Cácregularizerthườnggặp R(w)thườnggặpnhấtlànormcủavector Córấtnhiềuloạinorm,mìnhsẽgiớithiệuhailoại normphổbiếnnhất 1-norm(L1-norm):R(w) = ∣∣w∣∣1 = ∑di=1 ∣wi ∣ 31 RegularizedLossMinimization tứclàtổngcủatrịtuyệtđốicủacácthànhphần 1-normđặcbiệtởchỗlà,khiđưavàohàm mụctiêu,nósẽthườngchoramodelthưa,tứclàmodelcóparameterchứanhiềuchiều bằng0 Modelthưarấtcólợithếtrongtínhtốnvàlưutrữvìtachỉcầnlàmviệctrêncác chiềukhác0 squared2-norm(L2-norm):R(w) = ∣∣w∣∣ 22 = ∑ di=1 wi2 cũngcònbiếtđếnvớicáitênweightdecay,chínhlàbìnhphươngđộdàicủavectorw Sở dĩtaphảibìnhphươnglàđểgiúpchoviệctínhđạohàmđượcdễhơnkhitốiưuhàmmục tiêu Lưuý,đâykhơngthựcsựlànorm,cănbậchaicủanómớilànorm 32 Tinhchỉnhcáchyperparameter Tinhchỉnhcáchyperparameter Khibìnhthườnghốthamsốxuấthiệntronghàmmụctiêu,vấnđềđặtralàtakhơngnhất thiếtphảiđặtgiátrịcủahằngsốbìnhthườnghốλgiốngnhauchomọibàitốn Hơnnữa, ngồiλ,còncónhiềuhyperparameterkháctacầnphảilựachọn(nhưbậccủađathức) Làmsaođểchọnđượctậpgiátrịtốiưuchocáchyperparametervớitừngbàitốn? Developmentset Đểtinhchỉnhcáchyperparameter,tacóthểlànhưsau:chọnmộttậpgiátrịcủacác hyperparameter,huấnluyệnđểtìmramộtmodelrồiđođộtốtcủanótrêntestset Tatiếp tụclặplạiqtrìnhnàyvớinhiềutậpgiátrịhyperparameterkhácnhau Saunhiềulầnthử chọnnhưvậy,tachọntậpgiátrịnàochođộsaisótthấpnhấttrêntestset Cẩnthận!Khidùngtestsetđểxácđịnhhyperparameter,tađãviphạmnguntắctrain-test độclập Nóimộtcáchđơngiảnlàtađãsửdụngtestsetđểhuấnluyệnmodellàmmodel "đãthấytrước"đượcnhữnggìmìnhsắpphảidựđốn Đểkhắcphụcđiềunày,tacầnđến một"testsetthứhai",chỉchundùngđểtinhchỉnhcáchyperparametervàkhơngdùngđể đưathơngbáocuốicùngvềđộtốtcủamodel Tagọiđấylàdevelopmentset(tậpphát triển) Developmentsetcũngcònđượcgọilàvalidationset Trongbàiviếttrước,vìchưanhắcgiớithiệukháiniệmdevelopmentsetnênđịnhnghĩaearly stoppingcủamìnhcũngđãviphạmquytắctrain-testđộclập Cụthể,vìthờiđiểmdừng huấnluyệnphụthuộcvàođộsaisóttrêntestset,màmodelcuốicùngnhậnđượclạiphụ thuộcvàothờiđiểmdừnghuấnluyện,suyratestsetđãgiántiếpchỉđịnhmodelcuốicùng Saukhibiếtđếndevelopmentset,đểápdụngearlystoppingmộtcáchđúngđắn,thìtachỉ việcthaylearningcurvetrêntestsetbằnglearningcurvetrêndevelopmentset 33 Tinhchỉnhcáchyperparameter Trongnghiêncứu,tỉlệtrain:dev:testthườngđượcdùngđólà8:1:1 Tứclànếucó100điểm dữliệu,thìlấy80điểmđểhuấnluyện,10điểmđểpháttriển,và10điểmđểkiểmtra k-foldcross-validation k-foldcrossvalidationđượcsửdụngkhitakhơngcóđủdữliệuđểtríchrađượcmột developmentsetđủlớn Phươngphápnàysẽchiatrainingsetthànhkphần Sauđó,talần lượtsửdụngmộtphầnlàmdevelopmentvàk-1phầncònlạilàmtrainingset Độtốtcủa model(lúcpháttriển)sẽbằngtrungbìnhcộngđộtốttrêndevelopmentsetquaklầnhuấn luyệnđó 34 Thuậttốnsupervisedlearningtổngqt Thuậttốnsupervisedlearningtổngqt Sửdụngtậppháttriểnđểtinhchỉnhhyperametercủamodel:vớimỗitậpgiátrịcủa cáchyperparameter(vídụthửchọnλtrongcácgiátrị0.1,0.01,0.001): a Huấnluyện:tìmwđểtốithiểuhóaobjectivefunction Theodõilearningcurveđểáp dụngearlystopping b Đánhgiátrêndevelopmentset:thơngbáogíatrịcủaevaluationfunctiontrên developmentset Đánhgiátrêntậpkiểmtra:vớimodelw ∗chokếtquảtốtnhấtởdevelopmentset, thơngbáogiátrịcủaevaluationfunctiontrêntestset 35 Lossfunction Lossfunction Ởcácphầntrước,tađãbỏrấtnhiềucơngsứcđểxâydựngđượcmộtcơngthứctổngqt đểtìmramộtmodeltừmộttậpdữliệu Đóhàmmụctiêucủaregularizedloss minimization(RLM): w ∗ = arg LERM Dtrain (w) + λR(w) w Nhưngsuyđinghĩlạithìcơngthứcnàykhálà"vơdụng"vìnótổngqtnhưngkhơngcụ thể TachẳngthểdùngnóđểluyệnramodelnàobởitakhơngbiếtLcódạngthếnàođểmà tìmgiátrịcựctiểu Vậytạisaochúngtalạibỏthờigianra"vơích"nhưvậy? Tạisaochúngtalạicầnmộtcơngthứctổngqt? Câutrảlờirấtđơngiản,tiếtkiệmnănglượng Khơngriênggìmachinelearning,trongmỗi ngànhnghềđềutồntạinhữngcơngviệccầnphảilặpđilặplạinhiềulần Trongxâynhàthì đólàviệcđổmóng,xâytường,lợpmái Trongvõthuậtthìđólàviệcđứngtấn,đấmvàđá Nhữngviệcđóvơcùngnhàmchánvàtamuốndànhthậtítnănglượngvàsuynghĩkhilàm chúng!Tathíchlàmnhữngviệcvuihơn,tựdohơn,sángtạohơn,nhưthiếtkếhaytrangtrí mộtcănnhà,hoặcngẫmramộtthếvõđộctơn Nhưnghãytưởngtượngrằngnếubứctườngtaxâycứbangàylạiđổmộtlần Cứxâyđi xâylạinhưthếthìcảđờitacũngkhơngthểcócơhộiđểtrangtrímộtcănnhà Tươngtự, nếuchânđứngcònchưavữngthìnóigìđếnviệcsángchếchiêuthức Thếnên,muốnlàm việccaocấpvuivẻthìtrướchếtphảilàmnhữngviệccơbảnnhàmchánthànhthụctrước Machinelearningcũngnhưvậy TabỏnhiềucơngsứcrađểxâydựngnênRLMlàbởi nguntắcnàyđượcsửdụngtronghầuhếtmọimodel NếubạnnắmkỹRLM,thìtốcđộ họccủabạnsẽđượcđẩylênrấtnhiều Vìsao?HãynhìnvàocơngthứcRLM,mảnhghép cònthiếucuốicùngchỉlàdạngcủalossfunctionL Chonên,mỗilầnbạnđọctàiliệuvàgặp mộtdạngmodelmới,nếunhậnrađượcbóngdángcủaRLMtrongđóthìgầnnhưlà"job done!" Cơngviệccủabạnlúcđóchỉlànhìnradạngcủalossfunctionvớitừngmodelkhác Cơngviệcsángtạomodelmớicũngđượcthihànhmộtcáchbàibảnhơn Bạnđãcó RLMlàmnền,cơngviệccủabạnchỉlàngồisángtạoracácbiếnthểcủalossfunctionđể lắpvào Bâygiờtasẽđinghiêncứumộtsốbiếnthểthơngdụngnhấtcủalossfunctionnhé! Địnhnghĩalossfunction 36 Lossfunction LossfunctionkíhiệulàL,làthànhphầncốtlõicủaevaluationfunctionvàobjective function Cụthể,trongcơngthứcthườnggặp: LD (fw ) = ∑ L (fw (x), y ) ∣D∣ (x,y)∈D thìhàmLchínhlàlossfunction Lossfunctiontrảvềmộtsốthựckhơngâmthểhiệnsựchênhlệchgiữahaiđạilượng: y^, labelđượcdựđốnvày,labelđúng Lossfunctiongiốngnhưmộthìnhthứcđểbắtmodel đóngphạtmỗilầnnódựđốnsai,vàsốmứcphạttỉlệthuậnvớiđộtrầmtrọngcủasaisót Trongmọibàitốnsupervisedlearning,mụctiêucủatalnbaogồmgiảmthiểutổngmức phạtphảiđóng Trongtrườnghợplýtưởngy^ = y,lossfunctionsẽtrảvềgiátrịcựctiểu bằng0 Haidạngbàisupervisedlearningcơbản Taphânchiacácdạngbàisupervisedlearningdựavàotínhchấtcủay Đểđơngiản,taxét bàicácbàitốnmàycóthểbiểudiễnđượcbằngmộtconsố Khiylàmộtsốthựcdaođộngtrongkhoảng(−∞, ∞),tađượcmộtbàitốnregression Ví dụnhưtacầntiênđốngiácổphiếu,giáxăng,giávàngvàongàymai Khiylàmộtđạilượngrờirạcchỉnhậngiátrịtrongmộttậplabelhữuhạnrờirạcnàođó,ta đượcbàitốnclassification Vídụ,khitacầnnhậndạngtênmộtngườitừmộttấmảnh chândung,chodùcóhàngtỉcáitêntrênthếgiớithìtậphợpnàyvẫnlàrờirạchữuhạn Vì thế,bàitốnnàyvẫnđượcquyvàodạngclassification Đểđơngiảncáccơngthức,bàiviết nàychỉđềcậpđếnbinaryclassification,tứclàkhitậpcáclabelchỉcóhaiphầntử("có" hoặc"khơng","đúng"hoặc"sai","positive"hoặc"negative", ) Đểtiệnchoviệctínhtốn, trongbinaryclassification,tachuyểnđổitậplabelthànhtập{−1, +1}(-1nghĩalà"khơng", +1nghĩalà"có") Lưuýrằngtađangnóiđếnlabelthậtychứkhơngphảilabeldựđốn y^ = fw (x) Thơng thường,đốivớicảregressionvàbinaryclassification,tađềuthiếtkếđểmodelfw (x)trảvề mộtsốthựcy^ ∈ (−∞, ∞) Vớiregression,y^ dĩnhiênmangýnghĩalàgiátrịđượcdựđốn Vớibinaryclassification,y^làđiểmsốthểhiệnmodelưathíchlabelnàohơntronghailabel Nếuy^ < 0tứclàmodelthíchphươngán-1hơnvàngượclại,nếu y^ ≥ 0tứclàmodel nghiêngvềphươngán+1hơn Giátrịtuyệtđốicủay^thểhiệnmứcđộthíchcủamodelđối vớilựachọncủamình 37 Lossfunction Cáchxâydựnglossfunction Vìlossfunctionđođạcchênhlệchgiữayvày^,nênkhơnglạgìnếutanghĩngayđếnviệc lấyhiệugiữachúng: L(y^, y) = y^ − y Tuynhiênhàmnàylạikhơngthỏamãntínhchấtkhơngâmcủamộtlossfunction Tacóthể sửanólạimộtchútđểthỏamãntínhchấtnày Vídụnhưlấygiátrịtuyệtđốicủahiệu: L( y^, y) = ∣ y^ − y∣ Lossfunctionnàykhơngâmnhưnglạikhơngthuậntiệntrongviệccựctiểuhóa,bởivìđạo hàmcủanókhơngliêntục(nhớlàđạohàmcủaf (x) = ∣x∣bịđứtqngtạix = 0)và thườngcácphươngphápcựctiểuhóahàmsốthơngdụngđòihỏiphảitínhđượcđạohàm Mộtcáchkhácđólàlấybìnhphươngcủahiệu: L( y^, y) = Khitínhđạohàmtheoy^,tađược∇L = (y^ − y)2 × × (y^ − y) = y^ − y Cácbạncóthểthấyrằng hằngsố 12 đượcthêmvàochỉđểchocơngthứcđạohàmđượcđẹphơn,khơngcóhằngsố phụ Lossfunctionnàyđượcgọilàsquareloss Squarelosscóthểđượcsửdụngchocả regressionvàclassification,nhưngthựctếthìnóthườngđượcdùngchoregressionhơn Đốivớibinaryclassification,tacómộtcáchtiếpcậnkhácđểxâydựnglossfunction Nhắc lạilàđốivớidạngbàinày,thìnếumodeltrảvề y^ < 0tứclàthíchđápán-1hơn,trảvềy^ ≥ tứclàthíchđápán+1hơn Mộtcáchrấttựnhiên,tathấyrằnglossfunctioncủabinaryclassificationcầnphảiđạtđược mộtsốtiêuchísau: Tacầnphảiphạtmodelnhiềuhơnkhidựđốnsaihơnlàkhidựđốnđúng Vìthế,tiêu chíđầutiêncủatalàkhimodeldựđốnsai(ykhácdấuvớiy^),lossfunctionphảitrảvề giátrịlớnhơnsovớikhimodeldựđốnđúng(ycùngdấuvớiy^) Nếucóhaiđápány^1 vày^2 đềucùngdấu(hoặckhácdấu)vớiythìtanênphạtđápán nàonhiềuhơn?Nhưđãnói,giátrịtuyệtđối∣y^∣thểhiện"độthích"củamodelđốivới mộtphươngán Giátrịnàycànglớnthìmodelcàng"thích"mộtphươngán Trong 38 Lossfunction trườnghợpy^cùngdấuvớiy,phươngánđượcthíchlàphươngánđúng,dođó,model càngthíchthìtaphảicàngkhuyếnkhíchvàphạtítđi Cũngvớilậpluậnnhưvậy,nếu y^ khácdấuvớiy,vìphươngánđượcthíchlàphươngánsainênmodelcàngthíchthìta phảicàngphạtnặngđểmodelkhơngtáiphạmnữa Mộtcáchtổngqt,đốivớibinaryclassificationthìcáclossfunctionthườngcódạngnhư sau: L(y^, y) = f (y ⋅ y^) trongđóf làmộthàmkhơngâmvàkhơngtăng Câuhỏi1:Giảithíchtạisaohàmg( y^, y) = −y ⋅ y^lạithỏamãnhaitiêuchíđãnêuởtrên Câuhỏi2:Giảithíchtạisaohàmg( y^, y) = −y ⋅ y^lạikhơngthỏađiềukiệncủamộtloss function(lưuýtínhchấtcủalossfunctionvàf) Cáclossfunctioncơbảndànhchobinaryclassification 39 Lossfunction 0-1loss: Hàmnàyrấtđơngiản:trảvề1nếuy ⋅ y^ < 0,trảvề0nếungượclại Việcnàytươngđương vớiviệcđếmsốcâutrảlờisaicủamodel 0-1lossthườngchỉđượcdùngđểtínherrorrate củamodel,chứkhơngdùngđểhuấnluyệnmodelvìđạohàmcủanókhơngxácđịnhởđiểm Perceptronloss: Lperceptron (y^, y) = max(0, −y ⋅ y^) Tathấyrằnghàmperceptronlosslàmộtcáchđơngiảnnhấtđểsửasaochohàmgởcâu hỏitrongphầntrướctrởthànhkhôngâm(thỏađiềukiệncủamộthàmmát) Đốivới perceptronloss,khimodelđốnđúng( y^cùngdấuvớiy),−y ⋅ y^sẽmangdấuâm Tứclà, khiđóLperceptron ( y^, y) = max(0, negative) = Nóicáchkhác,perceptronlosskhơngphân biệtgìgiữacácdựđốnđúng Chúngđềukhơngbịphạt Đốivớicácdựđốnsai,thì perceptronvẫntnthủtheonguntắclàmodelcàngthíchthìphạtcàngnặng Perceptron losslàlossfunctioncủaperceptronmodel Hingeloss Lhinge (y^, y) = max(0, − y ⋅ y^) Hingelossthựcrachỉlàmộtbiếnthểtừperceptronloss Tachỉthêm1đơnvịvàođạilượng −y ⋅ y^ Số1nàycómộtýnghĩarấtđặtbiệt,đượcgọilàmargin(lề) Cácbạnsẽthấylà hingelosshoạtđộnggầnnhưtươngtựnhưperceptronlosschỉtrừcácdựđốnmày ⋅ y^ nằmtrongkhoảng[0, 1] Chúýlàcácdựđốnmày ⋅ y^rơivàokhoảngnàythìđềuđúng Hingelossphânbiệtcácdựđốnđúngnàytheonguntắclàmodelcàngthíchthìcàng phạtnhẹ Cònkhiy ⋅ y^vượtq1thìhingelosslạikhơngphânbiệtnữa Vìsaolạilàmnhưvậy?Nhữngdựđốnởtrongmargin[0, 1]lànhữngdựđốngầnranh giới,lànhữnglúcmàmodellưỡnglự Ýtưởngcủahingelosslàmuốnmodelphảithậtrõ ràngvàtựtinvớinhữngquyếtđịnhcủamình Dokhivẫncòntrongmarginthìmodelvẫnbị phạt,nênmodelsẽđượckhuyếnkhíchđểđưaranhữngquyếtđịnhđúngvàcótínhchắc chắncao,nằmngồimarginđểkhơngbịphạtnữa Đâychínhlàýtưởngcủasupport vectormachinesmodel 40 Lossfunction Logisticloss(haylogloss): Llog (y^, y) = log2 (1 + exp(−y ⋅ y^)) Trongcơngthứctrên,hàmexp(⋅)làhàmlũythừatheocơsốtựnhiêne Thoạtnhìnlogloss trơngcóvẻkháphứctạp,vàtrơngkhơngcóvẻgìlàhọhàngcủahaihàmcònlại Tuy nhiên,khinhìnvàođồthịcủahàmsốnày,talạithấyrấtdễhiểubởivìnóthỏatấtcảmọi tínhchấtcủalossfunctionmàtađãnóiởphầntrước Đâylàmộthàmliêntục,khơngâmvà khơngtăng Khơngnhữngkhơngtăng,loglosscònlngiảm,cónghĩalànólnphânbiệt giữacácdựđốncóđộthíchkhácnhaubấtkểđúnghaysai Đâylàđiểmkhácbiệtchính củaloglossvớiperceptronlossvàhingeloss Mộtđiểmkhácbiệtnữalàhàmnàycómột độcongnhấtđịnh,tứclànókhơnggiảmvớitốcđộnhưnhauởmọiđiểm Trongkhiđó,thì mộtphầncủaperceptronlosshoặchingelosschỉlàmộtđườngtuyếntính,vớitốcđộgiảm làmộthằngsố Loglosschínhlànềntảngcủalogisticregressionmodel Vậycóphảiloglosslàmộtlossfunctionhồnhảo?Chưahẳn,điềunàyphụthuộcvàobài tốn Tuyloglossđưaranhiềutiêuchíhấpdẫn,nhưngvấnđềmodelliệucóthểthỏamãn nhữngtiêuchíđượcnhữngtiêuchíđókhơng Haychúngtađangđòiqnhiềuởmodel? Việcmodelphânbiệtgiữamộtđápđúngvớiđộchắnchắnthấpvàmộtđápánđúngvớiđộ chắcchắncaomanglạilợiíchgìchota?Cóđơikhi,takhơngquantâm,đápánnàocũng đềuđúng Cóđơikhi,talạicầnmodelphảirạchròi Cóđơikhi,tachỉmuốntránhnhữngđáp áncóđộchắcchắnthấp;Lúcđó,hingelosslạilàsựlựachọntốthơn Tấtcảđềutùyvào dữliệuvàứngdụng 41 DeepLearning 42 Biểudiễntừ(wordrepresentation) 43 ... hơnbấtkìđạikìthủnào,làmộttrongrấtnhiềuvídụhùnghồnchosựvượttrộicủa machine learning sovớicácphươngphápcổđiển Vậythựcchất, machine learning làgì? Đểgiớithiệuvề machine learning, mìnhxindựavàomốiquanhệcủanóvớibakháiniệm sau: Machine learning vàtrítuệnhântạo(ArtificialIntelligencehayAI)... đọccóđọcnềntảnghọcthuậtvữngchắctrướckhiđisâuhơnvàonghiêncứuvàsángchế Ngày20/7/2016 Machine learning làgì? Machine learning làgì? Machine learning gâynêncơnsốtcơngnghệtrêntồnthếgiớitrongvàinămnay... dungchủyếugiớithiệuvềmộtlĩnhvựcthuhútrấtnhiềusựchúýtrongvàinămgầnđây, machine learning Sáchđượcđặttênlà "Machine Learning: mì,súpvàcơngthứcnấu"vớiýtưởnglànếu ngườiđọchiểuđượcnhữngthànhtốcơbảncủa machine learning vàcáchphốihợpgiữa
- Xem thêm -

Xem thêm: machine learning co ban, machine learning co ban

Gợi ý tài liệu liên quan cho bạn