Đang tải... (xem toàn văn)
Trích chọn thực thể là bài toán đơn giản nhất trong các bài toán trích chọn thông tin. Tuy cơ bản nhưng lại đóng vai trò khá quan trọng, như hỗ trợ các hệ thống tóm tắt văn bản tự động, ứng dụng cho máy tìm kiếm hướng thực thể …
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Quốc Đạt PHƯƠNG PHÁP HỌC GẦN KHÔNG GIÁM SÁT ĐỂ TRÍCH CHỌN THỰC THỂ TÊN TỔ CHỨC KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI - 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Quốc Đạt PHƯƠNG PHÁP HỌC GẦN KHÔNG GIÁM SÁT ĐỂ TRÍCH CHỌN THỰC THỂ TÊN TỔ CHỨC KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hướng dẫn: TS. Nguyễn Trí Thành HÀ NỘI – 2009 Lời cảm ơn !"#$% & '()*+& ,,-./0123&4) 56()&&.378)"9/&: ;,<#=>?*<:#8=>@AB@&#C'+?;D ,*.)?" ,&;E,. '.F+4()G C 3H,I :3&J?JK"9/-J?L, :J?M,N-;D ;8*.)OC " <P /,IL,I QC 33&R3O, 3&&C4()&::383&C " !3 SOA>? Tóm tắt nội dung %*:&T341,*;,)5-8 E% *4M&CJ& JE3,UD1,*"#EE MF5VMWF)))I;XI;4M 3&E))1,*38/54YJ-T,. <E+)))).;,J&%*4M )))*@ZZ [;E,.&IJ&C))) M%*thực thể tên tổ chức tiếng Việt37JS8: \J"]))&54,2^L,!_&VM&. `a]b938%*c)1,8tên sách và tác giảL,- d:\J"eML,)))&&%4,8)L, ;:4WFL,D5V)V/fH?g]h!X,i"j 14837JS8)))&; 1," Mục lục k"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l EC5""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m _, n o 3 p 7 p """""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""q Z^"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""r <@es#Bt"!skeu<_vahw#bx<@<@y#@z<@{|#}<@~<""""""• <@es#B€"@e•#Ba‚]<ƒ#_vahw#bx<@<@y#@z<@{"""""""""""""""t€ €"t"b(%c)1,8g ,iL,&8YJ"""""""""""""""""""t€ €"€".)3&+DH.)&8YJ""""""""""""""""""""""""""""""""""""""""""""""t„ €"l"@8!YJ,"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""t… €"m"R;""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""€€ l"m"A†,""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""lm <@es#Bm"@z<#B@a‡Z"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l… m"t"<ˆJf3&"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l… m"t"t".)5-8""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l… m"€"Z:48""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l• m"l"j148"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m‰ m"m"#./0"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m€ jk.""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m€ &8,;Š""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m„ Ba ̉ ng tư ̀ viê ́ t tă ́ t Tư ̀ hoă ̣ c cu ̣ m tư ̀ Viê ́ t tă ́ t `, a,3],b, 9/), `a]b9 Z:‹ o Z,;3 n @ZZ Mở đầu %*4M&J&J&%*:" J?E3,U;1,* WF8E37J 4C D5VI;4M[_&%*4M S8'FD3&7 E+)))1F, ,3-;1F;1,";E,.& ,,C )))Œ*;:•M)5VJ&" )?3L,;E,.&†48(%C?4ME&4MR D"k.37F,&mŠ <tB81,3+%*:3&J&%*4M RDO2T,L,E" <€IJ&).M1J&"<,,lJ& (%c)1,88;,.)&8g1,8Žauthor, title• Žcategory, named entity• Žorganization, location•i"•^%L,J& &&&54,3&:-L,F(%MJM5$ (55?6g),i H6&(%,F"_&J &L,_X(%c)1,8Žauthor, title•"j‘.1,3UF) 5VM(%4M 54,3&.`a]b9"SUc),5V;1 L,3Uc)&3&"<4MFF(%^W3U ; (3Uc);’,'+;85H'"ZWJ&,,+E JM5$6 )PF)3-L,H1,8(%"HJ& L,],,',2T3+C)))*;:M) 5VJ&;E,.&"@8!YJ,C3JM 5$),3&)DFL,4MF" <lIJ&:IR13&JL,J&(%4 MRD"Z:IR154,J&L,_3+(%c)1, 8Ž, • cJ8&;‘.`a]b9" M/)J, 3J&L,],,X/)&),"S/)&IE MF3Uc)48"<J48&Š_, C6g),iM.+RD“FC/gF;” 3*&ED,4Mi,,+E“†,/F4 r M“**-4M?58H.)4MF“/?F4 M?583&5-8MI/+“,),H.)/+ E“)V3Uc)[<OIJ&.),H +L,4M“P&,C.)•JM5$ H E/54F†,MFF)2" <m&)48"`-8ˆJf :483&; 148"<†,,C;148?58MM8% L,J&" … CHƯƠNG 1. SƠ LƯỢC BÀI TOÁN TRÍCH CHỌN THỰC THỂ TÊN TỔ CHỨC 1.1. Tổng quan về trích chọn thông tin S4JPRL,a3&)8-'?,CF: ;RQ"_?E3+C/2: O%%/& &7"`EJ&c,3&D&I,-))) 8138/2:)D5V"@8, I ;g,i4838I-,YJ)PF)3’ 5P"J^3IFCL,E&,\J8& 8 +DEF:;;:LM)DI;L, 5P"S6U+ˆ-f JC).L,,\J"`E ;,F-DEN,?+:JR%">E&T34& Œ%*:•D" %*:&CT341,*;,)5-8 4838 (%,:E(H.)&8:X;:E("j: M&JC37J 8%*:†.JC: 1,^CT34&E"@,EC; C6g),i J,Q4M 1,84M[" 8%*:E8 3V)%&8:MI,:%F)+3&D 6E" S%5V3+8%*:Š • Hình 1 : Hệ thống trích chọn thông tin @848(%,JCJ,1,8ŽNAME, TITLE, ORGANIZATION• H.)&8YJ3&JRJlE3&^5-8" 1.2. Bài toán rút trích thực thể tên tổ chức RD&C-FJ/837J cJ8& YJ3+; /'C [<P34)ML,?8 4&E,[IM3+RDS8#,O& 3+F1,"b(%RD&8;,5,RD /837J" _&(%4Mg&VM^;E,.&&J&%*4 MRDi&J&JJ&%*:"_^3I ;;,)FD3+C% %L,4M I(, )(%,F%/L,4ME"E&J&J Q ?+3+.)•&38(%c);E;7">cJ83:- S8 ,5?3 :;.)•3+-)) 3&,ECˆ t‰ [...]... hợp các luật hỗ trợ để rút trích thực thể tên tổ chức Tuy nhiên, có một hạn chế là thuật toán DIPRE thường áp dụng cho bài toán rút trích cặp quan hệ như (tên sách, tên tác giả), (tổ chức, trụ sở chính của tổ chức) …., còn nội dung khóa luận này chỉ là trích chọn thực thể đơn – tên tổ chức Nhưng lợi thế của DIPRE là tính tự động (automatic), cần ít thao tác thủ công của con người, có thể áp dụng trong... tiết của bài toán trích chọn Dựa trên các bài toán ở chương 2, em sử dụng phương pháp học gần không giám sát kết hợp sự hỗ trợ của các luật để giải quyết bài toán của mình Các bài toán đã trình bày ở chương 2 là rút trích các cặp quan hệ, còn mục tiêu của khóa luận này là rút trích tên các tổ chức – đơn, nên khi áp dụng tư tưởng của các bài toán đó vào bài toán trích chọn tên các tổ chức, cần có sự...nào cụ thể về chữ hoa, chữ thường cho tên tiếng Việt cũng như xuất hiện nhiều từ “thừa” chỉ mang tính chất liệt kê, bổ nghĩa Có nhiều phương pháp được áp dụng cho bài toán rút trích tên thực thể như phương pháp học máy HMM [4] … Trong khóa luận này, em sử dụng phương pháp học gần không giám sát dựa trên thuật toán DIPRE và ý tưởng rút trích cặp quan hệ (author, title)... trình giảm được số lần thực hiện 23 vòng lặp Chương trình dừng lại khi độ chính xác của các thực thể rút trích được thấp dưới một ngưỡng cho phép Quy trình rút trích được mô tả như hình dưới đây : Hình 5: Mô hình tổng quát Có một điểm khác biệt giữa thực thể mà Brin rút trích với kiểu thực thể của chúng ta Đó là Brin rút trích theo cặp thực thể quan hệ, cụ thể ở đây là cặp (tên sách, tên tác giả) của cuốn... Pasca hay hệ thống Snowball, có thể thấy các thực thể được rút trích và patterns sinh ra có quan hệ tương hỗ với nhau Nghĩa là “chất lượng” của cái này ảnh hưởng đến chất lượng của cái kia Không những thế còn ảnh hưởng đến chất lượng của các vòng lặp tiếp theo Bài toán rút trích thực thể tên tổ chức cũng như vậy, cụ thể ở đây là giữa PrefixPattern và thực thể tên tổ chức Do đó, sinh ra một PrefixPattern... Find_IndexsOfPrefixPattern Để rút trích được một thực thể, cần phải biết được ngữ cảnh xung quanh nó Ở bài toán này chỉ quan tâm đến “tiền tố” (prefix) của nó Bởi vì đứng trước mỗi một thực thể tên tổ chức thường là các “tiền tố” có dạng đặc biệt, hoặc nằm trong miền giá trị cụ thể Ví dụ như thường là : Tổ chức, công ty, tập đoàn, phòng ….” Còn đứng sau mỗi tên tổ chức thường không có một quy tắc nào... Filter_Entities Tập thực thể sau khi được rút trích sẽ được ánh xạ ngược vào tập dữ liệu ở vòng lặp tiếp theo để tìm sự xuất hiện (Occurrences) Nhưng không phải tất cả các thực thể được dùng để ánh xạ Bởi có 2 lý do Thứ nhất nếu như sử dụng tất cả các thực thể, thì thời gian để tìm Occurrences là rất lâu Thứ hai, không phải tất cả các thực thể được rút trích ra đều chính xác, và không phải tất cả đều... phát bằng 5 cặp thực thể (tên sách, tên tác giả), từ cặp thực thể đó tìm ra sự xuất hiện (occurrences ) của chúng trên tài liệu Web và từ đó đưa ra quy tắc để sinh mẫu (pattern) Mỗi tập mẫu thu được lại tiếp tục tìm ra cặp thực thể (title, author) mới… Với bài toán của chúng ta, ở mức tổng quát gồm các bước: - Xuất phát là một mẫu được xây dựng thủ công; - Rút trích ra các thực thể tên tổ chức trong tập... CandidateString thu được là “ Hàng không Việt Nam thua kiện ở châu” 3.2.3 Trim Tập CandidateStrings được đoán nhận ở bước trên chỉ mới được “kỳ vọng” là có chứa các thực thể thích hợp Cần “cắt tỉa” để hoặc thu được tên thực thể mong muốn hoặc loại bỏ nếu không chứa tên thích hợp Thủ tục Trim thực hiện công việc đó trên CandidateStrings thu được tập thực thể Entities – tập thực thể được rút trích ở mỗi vòng lặp Chi... sách sẽ có tên sách và tác giả viết ra cuốn sách đó Do vậy cách biểu diễn nó trên tài liệu sẽ có một quy luật nào đó Còn bài toán của chúng ta chỉ là rút trích ra tên thực thể đơn – tên tổ chức Tuy nhiên, thường thì “tiền tố” của tên các tổ chức ở một dạng nhất định, trên một miền nhất định Và có một đặc điểm thuận lợi nữa là tên tổ chức thường ở dạng kí tự đầu tiên của mỗi từ là viết hoa hoặc không thì . KH NG GI M S T ĐỂ TR CH CH N TH C TH T N T CH C KHOÁ LU N T T NGHI P ĐẠI H C H CH NH QUY Ng nh: C ng nghệ th ng tin C n bộ h ng d n: TS. Nguy n Tr Th nh. ĐẠI H C QU C GIA H N I TR NG ĐẠI H C C NG NGHỆ Vũ Qu c Đ t PH NG PH P H C G N KH NG GI M S T ĐỂ TR CH CH N TH C TH T N T CH C KHOÁ LU N T T NGHI P ĐẠI