BÀI TẬP LỚN MÔN XỬ LÝ NGÔN NGỮ TỰ NHIÊN Tìm hiểu về bài toán phân loại văn bản và thu thập thông tin

34 610 0
BÀI TẬP LỚN MÔN XỬ LÝ NGÔN NGỮ TỰ NHIÊN Tìm hiểu về bài toán phân loại văn bản và thu thập thông tin

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

    !"#$%   &'()(*+,-        !" # $%& #   ! " 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên Mục lục    1 Mục lục 2 ./01 '()*+,-./,"0123+4 '5)6'++78+6+09 '5:;+<=.00,>0?+0@<<#  ,# '(:;+<=.2AB+&,CD2>&E,00+FAGHG '5)I?&(++JKGDE,++JLMD<E '5)I?&,NFN89(++JLM '()6'<=.OI?& POQR) >2 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên  H0ST.BFA4U+&T+O*+8V6+=+30@WU*F X5&VYZ+6+H00+6+4[0F+&B,WJF\A2] 3+F+620ST.BFA5^_O8++&=H0ST.BFA4U0P B<N0+3,60!2+&`+&F0SJR6A+6+5aO6' RST.BFA2A.b5R 4"WC++aB_OH00c./06 A+6+4U+d0Sd<3,A0F+&B.BFA+&T+F+&B+6++6 200060/2]F\,WJF\0ST.BFA5H0F+&B,WJF\ +6+0POe+TVf8O`5g<C+0cO*++h0c0H,N<C+ViO*+O6' 2O60%4"0PB0,"F+&B,V+0+6+5 AO+6+T41<;O0]+6+,"*+I0@+h0c0,+6+," O6+&X,+h0c0I+4*5 00O6'.BFA8++&=TOc04*0H00+6+F+&B .N.I.BFA88j4.IHX+7&0k&C+"+&+c0 0k+"O9+&.BFAO00Oc081+-0+&N04PV68+A&5\. 0@,C4"F0081+-0+&N04P0YONNO/04-00/+=0@0 X5R0O/04-0F0l4,0081+-0+.0X 4&+&0]0/+=500+6+8]O6+&X+4h+' 0XV67&4=4"0Y0081+-0,4&0081+-0ON5 R0+&+c04P0P+=FNV.H00.d<++&XH0%0P+=F Ol2AB00+&X*..BFA555O0XV6'. &4[0V+3O6'00A+l5$'+3HZ0c,"+ A+&+c0+&0ST.BFADmF>.>GS0,>&G+<S>E&4X,N< +8.BFADG+)EFO+&+1OZ0c5R0++TZ 0c,00+7++,"&-+A1+I,A0Z4U4[08./,+ 4[0BV3+2]&C+2+&`(0123+4HOI?&555 )*+Sl<+2+&`+&8.BFA,_<]4[0Wn+43   F  00  <  +  o>W+  RFSSp0+qH  o>W+  ^O&r+qH  ,   o>W+ R+>&r+q5 &Z+3N4U0P&C+"+06+&4"+81FN8,_<]00 Z0c0@Us )H+&008k+-AOT)sT00,A Z0c0@00+&X4I`0T)tH8H7+ ]HR.5ZH00 +064P0@3+78+&,,C4"Z0c,"00,_<]+3KH +385B6BF006B+4l+7F[VWJF\5 AH00PO*+060/4[00FA2]+&Fu,d0V 8,_<]+3$A+5"R6A+6+0@N0+4[08++&=3+ Sc0OIOv5G0*78H08++&=V+3H,_HwU* 0+_H00+6+4[0WJF\+62,_<]4A+JH2m><H2 >OF8++&=,N+l04*0POe+5a4PH0Z0c,W1.d00 060/8.BFA,_<]+3$A+44[03+Sc00+&`5&< +'O=PO>OW+&'<00,C4"4U+'O=,",C4"  $%&',%&'( POQR) >3 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên 23 4-56(78 0j+4U<3+H3+00+6+4[0+&4hAxO.N .I+FA,_<]5R0+6+4P0P+=F00<<H00+FAV.H 00+6+V+3H00<Z0cV`05G!8./RST.BFA, +&I+4*0@+h0c0F&C+8h<3,4>OFI"F[-0VF+&B, WJF\H+V6+=2Z4[0&x0k&C+".I+6+V04[0 F+&B.N.I,_<]57O0-0]+&00+6+4[0F+&00 0ST.BFA+'8FN+&Sl0j0%4[0+h0c0.N.I,_<]5 AH00+h0c04U8./06A+6+,2]F\A+l06 ,_C+XH,-./00A+lSJ./+S.>5Z4P0Y+d0SdF 002]F\F;.BFA,_<]H00C800060/V0cH0k.BFA,y +d0SdxO.N.I,_<]5Rj+00P00]+7+81FIH+'OV3O +FAH00060/+&-0F`0+6+xOO/04-0+lVZH8+A+&+c0H &23+4+&d0+38+&Z00;.BFAV=5 $N+d0+34PH,C4"4e+&FFO+30j+0P+=V+04[0 B+6+B-0+a00;+FA,_<]P05R0;.BFA 8]4[0WJF\+34=X.!0P+=0PB060/+d4* +&[j8+&,A08+A+&+c0,V+0+6+5Mz&H0j+ 8]=&z<]0C+0@.BFA,_<]H=&z004e0+&0@00.BFAFI 4=0P+=0P4[0B888F70+3+5 $A0V+0+6++a00;.BFA,_<]+&00+h0c0$A+ O0f00f8].d,BV3+2]Z0c,",_<]P0H," .BFA,_<],00Vt+7+WJF\4U4[08++&=+&Z+3N5ZH B,_<]+3$A+FI0PB4e0+&&Z0@P50P+=7+C 4[0SdV0<A+,"Oe+V-88H0j88,B88+3$A++&00 ,_<]S,N006B8h<3+&Z+3N+3KH+385$7 +'B4e0+&]T+34300Vt+7+V8.BFA,_ <]H+08]0PBV\+7+ON4=0P+=+7./4[0B+3 0@+3$A+0%]23+4[0B8c0+I8+&+3$A+5 93:;<=>-*?@A- 932*B+(+,CDE-+(+()  !"#$%&'( $A0SJ./0ST.BFA,I+4*0@O*++h0c04U4[08++&= +&,k_O+&TFI415$N.BFA4[0++78+&Sl+2+&'I+ 4*0@O*++h0c0HO*+04[04e+&F+'OV3O,V+0+&+c0+a B.BFA4P5:P0-FWC+8+4=O0@<++A+&+c0+a0 ST.BFA5X+7+C&x0P&C+"+&+c0O0j+V6FX POQR) >4 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên +&N040k+"O9+&.BFAHAO,/0@0j+F8+AHVO8 00+&+c04PH8/0,/0B0SJ./+6+0H,-./ +&00A0ZA{+&[23+45 8.BFAF4I0@30@2+&'+A+&+c0+a0ST .BFA5|+&'V8+&+c04[0+d0AS002+&'++78, +F`0.BFAH0PuF0Y+'O00Oy+&+c0D8++>&E0P\u+&Z+78.B FA0P,`0cV68]F+&Z+<*R^G00888+l VZ+&N0415 $',7V8.BFA<;O,A0-*F-GCCH*G(*I*J*KI5L+MN=+,? ,-GCO+ACPBPCQ?*G(*-R+-*SP-TMN=+,?-*D&CH*G(*7U5)e0.!Oy' 0P+=+'O4[0+a<C+V'O*+R^G0YBOy8![8,NO/0 4-0+'OV3OON4[0`F+&+c05Sv0PBOSl4=400+Z 0-OyCL+VPU=K+V7B()7WKPEDCEX-3 :*ON0@Oy'8/+*0,V8IO,203H0P+=4l,N A+le04l,NX.!5$-./,N.BFA0@O*+06+H2+&' 8.BFA+'O&4[0O*+F7+[+c0+4[0]O,O!+T ,!8- f0H4l,NA+l+'&C+ONH+&N0V0"0P<C+0cO*+ 0<*F78V3I00%7&4[04"200<0+0-5 -B./0@Oy0P+=44[02SdFZ243O/04-0+'O V3O5$NO*+0<*8/+&0<]+&'O+-T06++'F7++&ZV60P +&HOe0.!FON4l,N+5 RP+=2064IV8+&+c00P&C+"Oy4[0FC& V68]Oy0%0P+&H0P+=FONHB-0FI+O+XH 4e0<A+FV8./00Vt+7+.d+&Z+lVZ5G4PF68]0P00+Z 0-,00O400Oy4W>OWn+HV6+O+X5 POFIH8.BFA+d0&0P+=0FO*+2+&'W04Oy+a 00G+m&>S>HSJ./00Vt+7+S}0P`0OH7.IH+lVZH 81I555,00Vt+7+4[08++&=<TZ0c+&-+A1+I )I?&1+ID>+&F>+m&VEH00+7++.+&"D>>&0 F&+OEH2I8F7+&F>&>.0+E555 0P+=Wn+43O*+Sl<+0-4l,NZ0c,"8.B FA ? )*D0FSSp0+E('OO*+WID81FIE+aO*+Oy .BFA,O*++&00FN80+&N05 ? )+,-D&>&>SSE('OO*+WI;2+aO*+Oy.BFA ,O*+<3.d40P+&+d0 POQR) >5 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên ? ).D0FS+>&E(,A0O6+]04=+'O&00+78W0 4BI00PO00FI4=O6+].BFA5 ? )/01DSOO&r+E(,A04+'OV3OO*+O6+]0 +PO+f+0O*++780.BFA5  !"#$)*%+,-'( 8.BFA,_<]8+A+&+c0+a000ST.BFA,_<] D+>W+F.+<S>SE4"07843+3+&'+&-0F`000Oy'+6+D8++>&E +&+c0DVmF>.>E42+1Oe00P+&D?+&,FE+a00+FA ,_<]80C+&j05|+&'0P+=4[00F,A0OT&*Vt+7+ 8.BFA+&"+lH,'0j+4U+CD4U4[04"078T+&ZEVt+7+ 8.BFA+&"+lDG+)EN+N,A08+A+&+c0+a00 0ST.BFA0P0C+&j05 6+4[0F+&B.N.IZSC+0-F,_<]57O0- +0P+=+C&x.BFA+;+I.N.I,_<]0k0PVlF[FN&C+ "S,N00.BFA0P0C+&j0V05d0+3HBZ0c414U 0+C&x0P43#~+6+0@O*++h0c0xO.N.I,_<]5:P0P +=F0006,_C+XH00<=Oy4"+&H00834e+H00Z0 V3IH]23+2"F[H00++-4A+JD>OFEH00+6++&Z00 m><S+>+OI55500Z0c,"0ST.BFA&4X,B_O HX++T&x0P+=FO`FI+6+.N.I.BFA0P0C+&j05 +&Z+d0+3S_O8++&=HX+,y.!00A+lF +&BT.I,_<],+7O+&-0k0PWN.!+XWZ5a4P X+0P+=+&x00S]89O8.BFA,_<]0P+=0P+& +OI0&C+"FS,N00S]89O8.BFA+&" +lV05Z+0%0P+=+C&x00Vt+7+8.BFA ,_<]8c0+I8"S,N00Vt+7+8.BFA+&"+l<T,' 8]+d0A+&Z.BFA,_<],l4UT.I80C+&j0,0P+-OX DprrE5 )*+,-./0<+V8.BFA,_<]HV81+-000<< Z0cV`0H+0P00+6+S( ? oS+&>SSFO*+<AFZ24344q ? oS+&>SSWC+A0P+=.+3)Z+&Oq ? oRW0P+=_0]O*+Sl0c44q ? o)ZFO*+Z+l4"0W+dZ+&Oq ^V81+-000+6+2+&`HA+l08]4&00 SF10/+=O+-00OI( ? o3/+)Z0P+=1&O*+Sl<A44q Mz&T410PSd81+-0SF7TOc04*05:=4I+4[0V_ ,708]0PB06+&'Z0c,"+&-+A1+I+Z+35 POQR) >6 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên +8.BFA,_<]FO*+<+Z0c4Fu,d0H< ;O&C+"Vt+7+0%00NZ0cV0(++78+6 +Dp&O+&>+&>,FEH81+-0,_<]D+>W+FSSEH03+WC++6+ Dp&O+>W+&0+EHF784ID0FS+>&EH81FI,_<]D0+>&r+EH =++&d02D,SFr+EH06A0ST.BFAH`0ODO0> F>&E,<]+100Vt+7+8.BFA5 $NO*+A+l8,_<]+X<;O<<N00-( ? N0+"WJF\(g<N0HA+lSv0=,_<]+a.I 80C+&j0,".I0P0C+&j05$-./H,N,_<]/232- 4A+lSv0lf81+-0+/2325-554(R0+a 4[0F&Z&vO*+000P0C+&j04=+A0,A0WJF\5 ? I<•00+6+V60+3+5g<N0H<*81+-0+'O 00FI<•00+6+,6-0+a,_<]5 N08/+*0&C+ ",6B44[081+-0,Vt+7+Sv4[0.! 4=81+-0•<N0+38+>5$-./H3Vt+7+81+-0,_<] 0Y.d,W0WC+WC+A+aVHV4P+0P+=FI<•00 +a8/(1HH16H6-€ ? 8.BFA4U4[0]F[0,N00Vt+7+V8.BFA D.+OE+&"+l5 RP&C+"Vt+7+,888+l+4[0SJ./0>W+)4=+'O& 00V3+&j0ONH00OyONH,00FZV3+ON5R0<N0+"WJF\F00Vt +7+&C+8c0+I8xO81+-0O*+81FN84e0<A++00+*0+-4e0 <A+HS4P+38./00888V8.BFAV4=+c0F 81+-0+lVZ,81+-000FZV3+5R0<N00kFISvV80],_ <]44@+a+7800,_<]H,-./81FN8,_<]5 )/0+Z0l0!0@>W+)+XF4XFlA2]H+AH, 4e0+&4=+&'.,+'OV3O00+78[8&*FN0@00,_<]5G4PH 00Vt+7+0-0@>W+)0P+=4[08181&+00AO,/ O0j+d0AVWJF\V8,_<](FI+6+O0j0P+=+&-0 &,FI81+-04[0+d0A<T0j5 R0FI+6+4[0+&-0&0P+=F( ? BP(*Y(Z•]SJH4[0FZV3+,NO{,_<]F+7800U00 ++0V8+&+c04[0+d0A+&Z00U0@O{,_ <]5P0H0P+=]SJ&x00U+c,N00+a VHO{O*++aV0P2A,NO*+0@4"0/+=4P5 ? BP-TZg41]SJ&xO*+,_<]4[0U,N+a+a WC+A+&,_<]4P5 ? BP-*?[-()NZg41,NO{,_<]+'O+C000{+aH0{ +a4P+*0,"O*+Fu,d04P,.4P,A0+'OV8,_ <]4[0+d0A+&Z00VAO4[0U0O{,_ POQR) >7 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên <]5‚4=O0@888F00+7+B4[0+0&-+ ,0PWN+78+&,00+6+2+&`0@,_<] 888+&N0415 R0FIV3+[8( ? A-*KI-*H()-*W\()Z)*+Sl+7+++&N041]SJ&x.B FAZOy4[0+IF780j.14=+&[j8000Vt+7+ WJF\6B+dZ5R00C+&j00P0j.y+&Z+d0+30P+= 4[0SJ./O*+0ST0,A0WJF\V8+&+c05 ? BPI*](P6I-*?[-()NZ g41O{,_<]4[04-,N00 +7+BFC&+aO*+810C800+7+B5^4PHO*+A+l Sv81+-0Sd81<l*.0@00+7+B7.A0@+a +7+BFA243007.AV0.0081<lFZV3+, 008n84V0xOV+0002AONB0j5I FZV3+0P+=0%4[0SJ./4=F`0,+h[80@4"0@ 00++c05 ? *^+I*B5_(`a(7b@7cZ 6lFIFZV3++6 +X+d0A++0O!2+&Z000j.y0@,_<]HVt +7+SJ./F[+30@*./ZOy0@00,_<]5 t+7+4[0`Fo+&-0,_<]ZOyq5 939'+-&B(I*](=&d+5_(`a(eDE-P^-D)&R+f^-+&(g ! .#/0)* 1FI,_<]D>W+0+>&r+EFWJF\PO00+FA+00 FN8V00081POD0+>&>SE5:1FO*++0,/81FN8FZ 243,A0&23+4WJF\5$NO{WJF\81POHV4&O*++ FAHO*+23+44[04&P0P+*0O*+FN8V653P+*0 O*+81FN84P+'8]0Y&81FN8OP+*0,5$-./H4&O*+ 0@4","+=+H08]4&23+4&x0@4"4P+*00081FN827 8,9:29;<C+0cO*+O6+=+V05R0A +l81FI,_<]+XFO,A0,NO*+ <=2 DF>& F&+OE57++4P4[000C8O*++78Oy4=8/0,/0,A0.I`05 78Oy<;OO*++7800+d0+=0PU4[081FN8+&N00P .IDWHET4PWF+d0+=4[081FN8HFUD81FN8E4[00 P5$N00C0ST,7HVO*++d0+=4[000C80A+lHPSv 0lfS&O*+O+`0+a+784+IOy,WI+d0+=ON4P, O*+81FN851FN8,_<]F<+,40PB<N08++&= 3+Sc02+&`OZ10@3.Sd8++&=OIOv410@ 00+6+Z+&d0+35 1! 2 !  .#/0)* 345678 .9 :7 )*+888+lVZ81FN8,_<]4[04"V=<TO*++a4= 0@4"0P810C84[04"WC+588SJ./O*++a4=,NO*+ 0C+&j04]5a4=0P+=.I4[0..+&ZO*++78[8+FA POQR) >8 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên 4[081FN8<x+,0P+=.04[0+d4*S"6BV0 5 Rj+W>OWn+AO,/81FI,_<]<T0@4"0@+FA(,-./H O*+Sl+FA,"B4*,7+H,O*+SlV0P,",C4"06A85 Rj+]SJ&x.S00@4"FFN0l45•]+7+0@0j+ V6+4[0B0@4"+a+10@+FA+,4PHPFZA+ FA,NO*++&B0@4"4[0FA+VZ+&+a4=A+l53+2]F 8n84D,"8+&_OESd+c0@+FA,NO{+a0@4"0PS}5 RPO*+,C,"WC+AF4*+lH4*[8F\H4*0+3+081FI ,75$-./HV81FI++c0+&Z+>&>+,NO*+X4`0o<'+XqH B81FI00F4*,7+e006A8+'V8![8H +&V81FN8000@4","4*,7+`0lO*+0l+a4=,7 Sv4&O*+01+&]FX00&x+C+0]000@4"4P4"P,"4*,7+5 P00V0H,NO*+X4`0++c0+&Z+>&>+<'+XH+7+V6 +-0[8.!4=81FIB+FA,NB0@4"0+3+B 4*,7+0P,jH4*,7+0PWSlH4*,7++1A+5 &<Z0cH0j+Sv<F7,"0C+&j00@+a4=0@ 4"H000`Fd,00SJ./00+&`Sl0@00j+&ZFƒ+&810C8H ,O*+SlV-+d0+3,",A0<ZSI4=0@4"5 ( ( ((>*2?2@A &<Z0c0@00+0]•rO,K&>S,_O, #H64"WC+,A0SJ./O*++a4=0P810C84=W04B4" +0-0@O*++FA„…5$"Oe+Vt+7+H+a4=<;O8(00PO +aVP4I.A0000@4"&Z<A+H,O*+<=.810C80@000@ 4"5 )*+PO+aVPFO*+.S000+ae000<=+c0FZ243 +'+&I+O03<T+Z0@0@4"5$-./H0@4"+6FA+VZ00+a +XH++H3HV+H0AHXH€Rj\&x B+aV64[0FZV3+,N4O/0+6FZV3+,N<T <C+Vi2ABu+Z09V=0H8H€ R10@4"4[0+h0c0+O*+810C8HP0F+h0c0+ O*+OIDV4PO*+Sl0@4"0P+=+*0O*+,j+0@01810C8E5 •]+7++'OV3O0@4"+&Z+a4=0%;O0P8(+'OV3O0@ 4"4D0@4"FE,Sd+&"F+&`Sl0@0@4"+&Z015d0+3HP+&]FXH 001•S(+NOc04*+'+FASv8!,N0@4"4U0†)*+01 •,74[0+&]FX0O{0@4"&Z<A+5&+&X[84]C+H +&`Sl0@O*+0@4"FSlD+SC+E00+a+cH+&.S0+aH4[0 +'O+C+&+FA„…5 +c0@]+7+0P+&0AOF+&"00+SC++'O+C +&Z01„…5$N8]+7+H0j+0P+=0Y&&xO*++FA4"078 430@,"B4*,7+0P,jHB4*,7++1O"OHB4*,7+8 S+Tj+FH8![8,N0@4","B4*,7+H00S,7+Sl,+dZ V6Tj+F5 POQR) >9 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên ( ( (( B<C:D<'2@822E=DF ,'00.S0+a4]HO*+Sl+&`Sl0P+=4[0SJ./<T ]+7+4=4uDE8n844F[Sd8![80@00+a,N000@ 4",DE4Oc02+&`0@00j+0@+*001810C8„…5 I+&`Sl4+ZH0j+`F00+&`SlSd8![8H0PFZA,N 00FZV3+B00+a,000@4",00FZV3+B00j++&Z015$-./H 3+FA4"07843+ao21G80H+'P4P,"6+65OS8! [8+a21G80He00B0@4","6+6H4*OI +&002A+3†$"+&d00H4PP80@+a21G80H ,0@4"6+6FNSd4PP80@+a‡,7HOlFZV3+B o,0@4"6+64[0O*++&`Sl•5 RP+=+C&xH+&`Sl  V m 0@O*+FZV3+,7DBO*++aV,O*+ 0@4"ˆHBO*+0@4"V,0@4"0ˆ0@P+&Z01E0P+=4[04 u4*8![8+&<'00@4"0@B+FA4[04&0c+a ( ∑ ∑ ∈ ∈ = # 0  # 0  I  I 0  E J „…5g418n8+-+h4[0+d0A+C+0]00+FA0P S}GH I  E F8n84Sd8![80@+FA,N0@4"ˆH, 0   FSlFWC+A 0@+a0@4"V+&+FA5 6OH0j+V6++I<C+0c]+7+4+074= +'O&8n844*8![8 I  E 0@00+FA000Fu,d0O*+004*0F785 ,4PHO*+8n84,74[04<x+<T0ZH,S 4PA+l4[0CFA+&Z[800+FA5R00Z0P+=8] +XWZB+&`Sl+-0[8<x+000+FA5 R]00+3807Z0&x4[0FO<_+5:=+&4"4PH ,NO*+8n8+4jH,NB4"+4@‰8H0P+=]+3+&xB ,_<]+&Z,"0@4"V6<XWC+A+&B,_<] +6+X5 4P <= +c00@00+&`Sl0P +=4[0 4] P( ∑ ∈ = # 0  I 0  J  „…5 ŠZ00-0FI+c0@00+&`Sl?Sd81<A+00+&`Sl?F V]_81<A+B0j(O*+0@4"08]+c+NO*++780 D4V=EB+FA5)e+V0HB0@4"O+c,N+C+0] 00+FA+&0ST.BFA+'0jF,6-0,'0jV608n84& <C+ViV3+F78![8,N00+FA+c5 ,7H+&`Sl I J 0@O*+j+ˆ+&Z010P+=4[044*<3 4h0@4*8![8J I 0@4"2B+FA+&0ST.BFA5)*+004 ]  4=  +-  +  O*+  V]  _  81  <A+  F  4  P  O*+  00  &X  &I0( ∑ ∈ −= # I  I KEJ  ED HT4P ∑ ∈ = # I  #EK ‹ F+&+&<'0@ I  E 20ST.B POQR) >10 [...]... Ngữ pháp tiếng Việt” – Trung tâm Khoa học xã hội và Nhân văn quốc gia – Nhà xuất bản Khoa học và xã hội – Hà nội 2000 [4] “Information retrieval: standard and AI - based methods” - Ilya Baraev PHÂN CÔNG CÔNG VIỆC 1 Lan+Khánh: Tìm hiểu bài toán phân loại văn bản và phân loại văn bản Tiếng Việt 2 Lương+Phương: Tìm hiểu bài toán thu thập thông tin và thu thập thông tin văn bản Tiếng Việt 3 Trung: Tìm. .. cần Các hệ thống thu thập thông tin (IR systems) được sử dụng để thu thập các tài liệu liên quan đến các yêu cầu rõ ràng Vấn đề với thu thập thông tin là việc xử lý các văn bản có nội dung liên quan nội tại đến các văn bản được sử dụng trước đó Hình 2 đưa ra một mô hình tương tác thu thập thông tin chuẩn Hiển nhiên, việc thu thập thông tin là quá trình xử lý lặp lại, với xử lý đầu vào và đầu ra bao gồm... đầu vào, đòi hỏi phải có một hệ thống tiền xử lý tốt, đảm bảo cho việc phân tích cú pháp được thực hiện có hiệu quả 3.2 Các giải pháp, đánh giá hiệu quả, đề ra giải pháp cho phân tích văn bản tiếng Việt Nhóm 06 – CNPM K52 Page 32 2 2011 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên Có rất nhiều bài toán phân loại văn bản Tuy nhiên, ở đây em chỉ xin nhắc tới hai bài toán đại diện, và cũng là hai bài toán. .. toán thu thập thông tin, câu truy vấn đưa vào có thể là một câu văn có ngữ nghĩa Hệ thống sẽ tìm cách phân tích ngữ nghĩa của câu truy vấn để tìm ra đặc trưng của nó Nhóm 06 – CNPM K52 Page 12 2 2011 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên Thông tin cần thiết Truy vấn Gửi cho Hệ thống Công thức hoá lại Nhận kết quả Đánh giá kết quả Sai Tốt ? Đúng Dừng lại Hình 2 Mô hình thu thập thông tin chuẩn Khi thu. .. toán lại yêu cầu Thao tác này chuyển đổi truy vấn theo một chiến lược có sẵn nhằm tăng tính phù hợp của tài liệu đã nhận được Nhóm 06 – CNPM K52 Page 13 2 2011 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên Việc thu thập thông tin có thể được định nghĩa cho bất cứ một loại thông tin nào ví dụ như kiểu văn bản, hình ảnh, âm thanh Tuy nhiên, ở đây chúng ta chỉ đề cập đến việc thu thập văn bản bởi văn bản. .. là bài toán phân loại văn bản tiếng Việt và thu thập thông tin từ văn bản tiếng Việt 3.2.1 Bài toán phân loại văn bản tiếng Việt Cần xây dựng một hệ thống có thể phân loại được tài liệu tiếng Việt Hay nói khác đi, khi đưa ra một tài liệu tiếng Việt, hệ thống cần chỉ ra rằng đó là loại văn bản thu c chủ đề nào (văn hoá, kinh tế, chính trị, thể thao, ) Ở trên chúng ta đã trình bày hai phương pháp phân. .. 06 – CNPM K52 Page 23 kj 2 2011 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên - Pha thu thập thông tin - Pha học Pha thu thập thông tin bắt đầu khi người dùng gửi cho hệ thống một yêu cầu (thường được viết dưới dạng ngôn ngữ tự nhiên) Yêu cầu này được phân tích và tương ứng lớp Q sẽ được xây dựng Mỗi ngăn trong lớp Q được liên kết với một ngăn trong lớp T với cùng thu t ngữ Liên kết này sẽ bắt đầu được... là một loại thông tin mà phương thức thực hiện và kỹ thu t xử lý đơn giản hơn Có thể nhấn mạnh rằng các kỹ thu t này cũng có thể được áp dụng cho thu thập thông tin đa phương tiện Các kỹ thu t thu thập thông tin có thể được chia ra thành hai loại: - Các kỹ thu t chuẩn - Các kỹ thu t có áp dụng trí tuệ nhân tạo Nhóm đầu tiên bao gồm các kỹ thu t dựa trên các phương thức thu t toán và toán học... thông tin (Information retrieval - IR) 2.3.1 Khái niệm thu thập thông tin Thu thập thông tin (Information Retrieval) là một trong những bài toán khai phá dữ liệu văn bản Bài toán này chủ yếu tập trung vào việc tìm ra các tài liệu trong một tập hợp các tài liệu có sẵn theo một điều kiện nào đó Các điều kiện này có thể là một truy vấn hay một văn bản Khi điều kiện đưa vào là một truy vấn, bài toán sẽ... - tài liệu - Qi - thu t ngữ truy vấn của người dùng - pij - trọng số kết nối giữa ngăn của mạng thu t ngữ và một ngăn của mạng tài liệu - qi - trọng số liên kết giữa thu t ngữ của truy vấn và thu t ngữ ti - wij - giá trị liên kết giữa thu t ngữ ti và tj - dij - trọng số liên kết giữa tài liệu Di và tài liệu Dj Nhóm 06 – CNPM K52 Page 22 2 2011 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên Hình 7: Mô hình . mì lúa mì lúa mì lúa mì lúa mì lúa mì Hình 1: Một ví dụ về cây quyết định 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên VAOCFA0P0!U,NPDe0  2 e0 →  2 E‡3V6HFd0` O*+VAO 0 H81001+00FN8+FA0P0!+& 0 ,0Œ, O{FN8,7O*+010&Z<A+5|+&'4A2Fe8FI+&Z00010 043VO{F0@018+S0c00VAOCFZ00! 8IO+&!2  HV4PP4[00`FU0@F4P5. của bài báo D 1 và D 2 1. 0 1. 0 Magê Đau đầu D1 D2 query Hình 4: Đồ thị biểu diễn quan hệ giữa truy vấn (query) và các tài liệu D1, D2 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ.  $%&',%&'( POQR) >3 2 0 1 1 2 Bài tập lớn môn Xử lý ngôn ngữ tự nhiên 23 4-56(78 0j+4U<3+H3+00+6+4[0+&4hAxO.N .I+FA,_<]5R0+6+4P0P+=F00<<H00+FAV.H 00+6+V+3H00<Z0cV`05G!8./RST.BFA, +&I+4*0@+h0c0F&C+8h<3,4>OFI"F[-0VF+&B, WJFH+V6+=2Z4[0&x0k&C+".I+6+V04[0 F+&B.N.I,_<]57O0-0]+&00+6+4[0F+&00 0ST.BFA+'8FN+&Sl0j0%4[0+h0c0.N.I,_<]5 AH00+h0c04U8./06A+6+,2]FA+l06 ,_C+XH,-./00A+lSJ./+S.>5Z4P0Y+d0SdF 002]FF;.BFA,_<]H00C800060/V0cH0k.BFA,y +d0SdxO.N.I,_<]5Rj+00P00]+7+81FIH+'OV3O +FAH00060/+&-0F`0+6+xOO/04-0+lVZH8+A+&+c0H &23+4+&d0+38+&Z00;.BFAV=5 $N+d0+34PH,C4"4e+&FFO+30j+0P+=V+04[0 B+6+B-0+a00;+FA,_<]P05R0;.BFA 8]4[0WJF+34=X.!0P+=0PB060/+d4* +&[j8+&,A08+A+&+c0,V+0+6+5Mz&H0j+ 8]=&z<]0C+0@.BFA,_<]H=&z004e0+&0@00.BFAFI 4=0P+=0P4[0B888F70+3+5 $A0V+0+6++a00;.BFA,_<]+&00+h0c0$A+ O0f00f8].d,BV3+2]Z0c,",_<]P0H," .BFA,_<],00Vt+7+WJF4U4[08++&=+&Z+3N5ZH B,_<]+3$A+FI0PB4e0+&&Z0@P50P+=7+C 4[0SdV0<A+,"Oe+V-88H0j88,B88+3$A++&00 ,_<]S,N006B8h<3+&Z+3N+3KH+385$7 +'B4e0+&]T+34300Vt+7+V8.BFA,_ <]H+08]0PBV+7+ON4=0P+=+7./4[0B+3 0@+3$A+0%]23+4[0B8c0+I8+&+3$A+5 93:;<=>-*?@A- 932*B+(+,CDE-+(+() 

Ngày đăng: 13/08/2015, 15:24

Từ khóa liên quan

Mục lục

  •   

  • Mục lục

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan