Đang tải... (xem toàn văn)
Từ khi ra đời đến nay, World Wide Web đã trở thành một công cụ quan trọng để lưu trữ và chia sẻ nguồn tri thức khổng lồ
Đại Học Quốc Gia TP Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA -o0o LUẬN VĂN ĐẠI HỌC XỬ LÝ CÁC CÂU TRUY VẤN VÀ TÌM KIẾM TRÊN KHO TÀI LIỆU CĨ CHÚ THÍCH NGỮ NGHĨA BẰNG TIẾNG ANH Chun ngành: Khoa Học Máy Tính GVHD : Pgs.Ts Cao Hồng Trụ Sinh viên : Nguyễn Trần Đăng Khoa (50601130) Tạ Tất Tài (50602084) TP Hồ Chí Minh, tháng 12 – 2010 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học : PGS.TS CAO HOÀNG TRỤ Cán chấm nhận xét : Cán chấm nhận xét : Luận văn đại học bảo vệ HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN ĐẠI HỌC TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày tháng năm LỜI CAM ĐOAN Tôi cam đoan ngoại trừ kết tham khảo từ cơng trình khác ghi rõ luận văn, cơng việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường đại học khác Ngày Tháng Năm Ký tên LỜI CẢM ƠN Trước hết, xin gởi lời cảm ơn chân thành sâu sắc đến Pgs.Ts Cao Hoàng Trụ, kỹ sư Châu Kim Cường, người trực tiếp hướng dẫn tơi q trình làm luận văn Sự hướng dẫn chu đáo, tận tình, với tài liệu lời khuyên quý giá thầy anh tháng qua nhân tố khơng thể thiếu để chúng tơi hồn thành nhiệm vụ Chúng tơi xin gửi lời cảm ơn đến gia đình bạn bè, người sát cánh, động viên, tạo điều kiện tốt để chúng tơi học tập hồn tất luận văn tốt nghiệp Chúng tơi chân thành biết ơn tận tình dạy dỗ giúp đỡ tất quý thầy cô khoa Khoa học Kỹ thuật Máy tính trường Đại học Bách khoa Luận văn khó tránh khỏi cịn thiếu sót tầm nhìn chúng tơi cịn hạn hẹp, mong nhận góp ý quý thầy bạn TĨM TẮT Từ đời đến nay, World Wide Web trở thành công cụ quan trọng để lưu trữ chia sẻ nguồn tri thức khổng lồ Tuy nhiên, công cụ phần mềm chưa hỗ trợ thật hiểu cho người trình khai thác kho tri thức Với mong muốn làm hiệu trình đó, luận văn xây dựng cơng cụ tìm kiếm “hiểu” nội dung câu truy vấn tiếng Anh trả kết Để biên dịch câu truy vấn ngôn ngữ tự nhiên, luận văn dựa tảng web ngữ nghĩa, kết hợp với phương pháp dịch phụ thuộc vào cú pháp nhóm VN-KIM Để thể nội dung biên dịch được, luận văn biểu diễn đồ thị ý niệm Cuối cùng, câu truy vấn SeRQL dùng để tìm kiếm kết Hiệu hệ thống đánh giá tập câu truy vấn mẫu “TREC 2002” MỤC LỤC TỔNG QUAN 1.1 Giới thiệu .1 1.2 Mục tiêu phạm vi .3 1.3 Kết đạt 1.4 Cấu trúc luận văn KIẾN THỨC NỀN TẢNG 2.1 Rút trích quan hệ 2.2 Đồ thị ý niệm (Conceptual Graph) .8 2.2.1 Sơ lược đồ thị ý niệm 2.2.2 Đồ thị ý niệm mở rộng 10 2.3 Tìm thực thể vài tài liệu 11 2.3.1 Câu truy vấn SeRQL [tham khảo http://www.openrdf.org/doc/sesame2/2.3.1/users/ch09.html#section-numerical-comparisons] 11 2.3.2 Semantic Lucene 12 PHÂN TÍCH VẤN ĐỀ VÀ PHƯƠNG PHÁP GIẢI QUYẾT 14 3.1 Chuyển đổi câu truy vấn với từ để hỏi “How many” 14 3.2 Chuyển đổi câu truy vấn có tính từ .16 3.3 Chuyển đổi câu truy vấn có tính từ so sánh .18 3.4 Chuyển đổi câu truy vấn có tính từ 19 3.5 Chuyển đổi câu truy vấn có tính từ so sánh .21 3.5.1 Trường hợp tính từ định tính 21 3.5.2 Trường hợp tính từ định lượng [tham khảo HA] 21 3.6 Chuyển đổi câu truy vấn có tính từ định lượng so sánh .22 THIẾT KẾ 24 4.1 Các bước giải thuật 24 4.1.1 Phân tách câu truy vấn 26 4.1.2 Nhận biết thực thể có tên 26 4.1.3 Nhận biết thực thể không tên .26 4.1.4 Nhận biết tính từ 27 4.1.5 Nhận biết từ quan hệ .27 4.1.6 Xác định lớp thực thể .27 4.1.7 Gom thực thể 28 4.1.8 Xác định quan hệ ẩn .29 4.1.9 Xác định loại quan hệ thực thể 29 4.1.10 Xố bỏ quan hệ khơng phù hợp 32 4.1.11 Xác định quan hệ tính từ thực thể 33 4.1.12 Xây dựng đồ thị ý niệm 36 4.2 Tập luật .36 4.2.1 Cấu trúc hệ thống luật 37 4.2.2 Cấu trúc thành phần điều kiện luật 38 4.2.3 Cấu trúc thành phần hành động luật 38 4.2.4 Xây dựng số luật đặc biệt 39 4.2.5 Xây dựng từ điển luật 39 4.3 Kết thí nghiệm 41 HIỆN THỰC HỆ THỐNG 50 5.1 Các khối xử lý giao diện lớp quan trọng 50 5.1.1 Ứng dụng web phía Client 50 5.1.2 Hệ thống xử lý server 50 5.2 Hệ thống luật [tham khảo CDT] 54 5.2.1 Cấu trúc hệ thống luật 55 5.2.2 Cấu trúc thành phần điều kiện luật 56 5.2.3 Cấu trúc thành phần hành động luật 57 5.2.4 Xây dựng số luật đặc biệt 58 5.3 Lưu trữ đồ thị hiển thị đồ thị [tham khảo HA] 58 5.4 Xây dựng câu truy vấn SeRQL 60 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 67 PHỤ LỤC A: TẬP CÂU MẪU TREC 2002 71 PHỤ LỤC C: ĐỒ THỊ Ý NIỆM SINH ĐÚNG TỪ TREC 2002 TRƯỚC KHI LÀM GIÀU ONTOLOGY 76 PHỤ LỤC D: ĐỒ THỊ Ý NIỆM SINH ĐÚNG TỪ TREC 2002 SAU KHI LÀM GIÀU ONTOLOGY 77 DANH MỤC HÌNH Hình 3.0.1: Ví dụ biểu diễn câu truy vấn "How many" 15 Hình 3.0.2: Ví dụ biểu diễn câu truy vấn "How many" dạng rút gọn 15 Hình 3.0.3: Ví dụ biểu diễn tổng qt cho câu truy vấn "How many" 15 Hình 4.0.4: Mơ tả bước dùng để xây dựng đồ thị ý niệm cho câu truy vấn 25 Hình 4.0.5: Xác định loại quan hệ hai thực thể ei ej 30 Hình 4.0.6: Lược đồ ánh xạ kiểu quan hệ ba truy vấn 31 Hình 4.0.7: Xác định loại quan hệ tính từ adj thực thể 34 Hình 4.0.8: Lược đồ ánh xạ kiểu quan hệ tính từ thực thể 35 Hình 4.0.9: Cấu trúc tập thành phần TransformRules rule 37 Hình 4.0.10: Cấu trúc thành phần điều kiện luật 39 Hình 4.0.11: Ví dụ thành phần premise 39 Hình 4.0.12: Cấu trúc thành phần hành động 40 Hình 4.0.13: Cấu trúc từ điển quan hệ 40 Hình 4.0.14: Ví dụ luật hồn chỉnh 41 Hình 4.0.15: Ví dụ số thành phần từ điển 41 Hình 4.0.16: Ví dụ biểu diễn câu truy vấn “Queried relation” 45 Hình 4.0.17: Ví dụ biểu diễn câu truy vấn “Advert / Temporal” 45 DANH MỤC BẢNG Bảng 4.1: Bảng thuộc tính thành phần premise 38 Bảng 4.2: Mô tả thuộc tính thành phần entry 41 Bảng 4.3: Kết thực nghiệm TREC 2002 chưa áp dụng phương pháp đề nghị 43 Bảng 4.4: Kết thực nghiệm TREC 2002 sau áp dụng phương pháp đề nghị 43 Bảng 4.5: Kết thực nghiệm TREC 2002 sau làm giàu Ontology .44 Bảng 4.6: Bảng tổng kết kết cuối đạt tập TREC 2002 46 Bảng 4.7: Kết thực nghiệm TREC 2007 chưa áp dụng phương pháp đề nghị 47 Bảng 4.8: Kết thực nghiệm TREC 2007 sau áp dụng phương pháp đề nghị 47 Bảng 4.9: Kết thực nghiệm TREC 2007 sau làm giàu Ontology .48 Bảng 4.10: Bảng tổng kết kết cuối đạt tập TREC 2007 .49 CHƯƠNG TỔNG QUAN 1.1 Giới thiệu Kể từ đời đến nay, World Wide Web (WWW) làm thay đổi nhiều cách người trao đổi tiếp cận với thông tin, tri thức Và kinh tế tri thức nay, tầm quan trọng WWW lớn Điều đặt yêu cầu là: phải để trình khai thác tri thức từ WWW đạt hiệu suất tối ưu Muốn vậy, giải pháp phải tự động hóa q trình đó; nói cách khác, máy móc phải có khả khai thác thơng tin WWW với độ xác cao Hiện nay, có cơng cụ phần mềm nhắm đến mục tiêu Nổi bật có lẽ động tìm kiếm dựa từ khóa (keyword – based search engine), động tìm kiếm Google, Yahoo, Tuy đạt thành cơng định, hệ thống cịn có khuyết điểm làm cho người sử dụng chưa hài lịng Có thể nêu như: − Kết trả cho truy vấn nhiều, độ xác lại thấp Người dùng phải tốn nhiều thời gian với kết khơng thích hợp − Kết trả hồn tồn phụ thuộc vào từ khóa cung cấp Trong khi, theo mong muốn người, truy vấn tương tự mặt ngữ nghĩa phải dẫn đến kết Do cơng cụ tìm kiếm chủ yếu so trùng, mà chưa “hiểu” nội dung thông tin chứa WWW nội dung câu truy vấn, nên dẫn đến hạn chế Như vậy, để làm tăng hiệu trình tìm kiếm tự động, hướng tiếp cận làm cho máy tính “hiểu” nội dung thông tin: thông tin lưu trữ WWW thông tin câu truy vấn người dùng 23 else if its object is a constant, append its object’s quantifier to the WHERE clause } 23 CHƯƠNG KẾT LUẬN Đề tài kế thừa ưu điểm phương pháp dịch câu truy vấn ngôn ngữ tự nhiên sang đồ thị ý niệm với hướng tiếp cận phụ thuộc cú pháp mà dựa vào thực thể quan hệ thực thể Ontology tác giả [18]: • Không dựa vào văn phạm câu truy vấn Có thể dịch sang đồ thị ý niệm cho câu truy vấn đầy đủ, câu truy vấn có từ để hỏi, đoạn câu Thứ tự xuất thực thể từ quan hệ câu khơng quan trọng Do phương pháp dịch sang đồ thị ý niệm cho câu sai văn phạm • Dễ dàng thực cho ngơn ngữ khác có Ontology tương ứng Phương pháp khơng dựa phân tích cú pháp câu truy vấn Do đó, để dịch sang đồ thị ý niệm cho câu truy vấn ngôn ngữ khác cần xây dựng Ontology tương ứng xây dựng danh sách thực thể không tên danh sách từ quan hệ tương ứng ngôn ngữ • Phần tập luật từ điển hệ thống thực theo cấu trúc tổng quát định dạng XML, ta dễ dàng mở rộng thêm luật cho hệ thống cần thiết mà không cần phải thay đổi hệ thống • Đồ thị ý niệm trình bày cách trực quan dạng đồ họa Bên cạnh đó, đề tài góp phần mở rộng giải thêm vấn đề hạn chế kết nghiên cứu tác giả Cao Duy Trường [18] cho việc dịch câu truy vấn hỏi số lượng, câu truy vấn có tính từ, tính từ so sánh nhất, liên từ luận lý Vấn đề chuyển đổi câu truy vấn sang đồ thị ý niệm vấn đề phức tạp, chắn hệ thống không tránh khỏi khuyết điểm, đề tài nêu hạn chế đồng thời phương hướng phát triển tiếp theo: 23 • Có số quan hệ phức tạp, quan hệ có ba ngơi, đồ thị ý niệm đơn giản thể đầy đủ ý nghĩa quan hệ đó, cần nghiên cứu phương pháp biểu diễn quan hệ Ontology dùng đồ thị ý niệm lồng để biểu diễn quan hệ • Đề tài hạn chế chưa giải truy vấn hỏi vào kiểu quan hệ, truy vấn có chứa trạng từ Như trình bày phần trên, đề tài đề xuất hướng giải cho truy vấn loại này, nhiên cần có nghiên cứu thêm để giải triệt để • Ngoài ra, đề tài dừng lại việc giải liên từ luận lý NOT mệnh đề, chưa giải triệt để liên từ luận lý NOT tác động vào tính từ, cần có nghiên cứu thêm vấn đề 23 TÀI LIỆU THAM KHẢO [1] Barriere, Caroline: From a children's first dictionary to a lexical knowledge base of conceptual graphs Thesis (Ph.D.) Simon Fraser University (1997) [2] Bernstein, A., Kaufmann, E.: How Useful are Natural Language Interfaces to the Semantic Web for Casual End-Users In: Proceedings of the 6th International Symantic Web Conference (ISWC 2007) Busan, Korea (2007) [3] Cimiano, P., Haase, P., Heizmann, J.: Porting Natural Language Interfaces between Domains An Experimental User Study with the ORAKEL System In: Proceedings of the International Conference on Intelligent User Interfaces (2007) 180 – 189 [4] Frithjof Dau, Joachim Hereth Correia, Technische Universität Darmstadt, Fachbereich Mathematik: Nested Concept Graphs with Cuts: Mathematical Foundations In: Proceedings of the 3rd International Conference (2004) [5] Hai H Vo: Truy vấn tri thức đồ thị khái niệm Master Thesis Faculty of Computer Science and Engineering, University of Technology VietNam (2006) [6] Hensman, S.: Construction of Conceptual Graph representation of texts In: Preceedings of Student Research Workshop HLT-NAACL, Boston (2004) 49 – 54 [7] Kaufmann, E., Bernstein, A., Fischer, L.: NLP-Reduce: A "Naïve” but DomainIndependent Natural Language Interface for Querying Ontologies Demo-Paper at the 4th European Semantic Web Conference (2007) – [8] Miller S., Fox H., Ranshaw L., Weischedel R.: A novel use of statistical parsing to 23 extract information from text NAACL (2000) [9] Sowa, J F.: Conceptual graphs for a database interface IBM Journal of Research and Development, Vol.20, No.4 (1976) 336 – 357 [10] Steffen Staab, Udo Hahn: Conceptualizing adjectives In: Proceedings of the 21st Annual German Conference (1997) [11] Steffen Staab, Udo Hahn: “TALL”, “GOOD”, “HIGH” - Compared to what? In: Proceedings of the 15th International Conference on Artificial Intelligence Nagoya, Japan (1997) [12] Tablan, V., Damljanovic, D., Bontcheva, K: A Natural Language Query Interface to Structured Information In: Proceedings of the 5th European Semantic Web Conference Lecture Notes in Artificial Intelligence, Vol 5021 Springer -Verlag (2008) 361 – 375 [13] Tim Berners-Lee: Conceptual Graphs and the Semantic Web Available at: http://www.w3.org/DesignIssues/CG.html (2001) [14] Thang L Tran: Dịch câu truy vấn ngôn ngữ tự nhiên sang đồ thị khái niệm Master Thesis Faculty of Computer Science and Engineering, University of Technology VietNam (2007) [15] The Text REtrieval Conference website http://trec.nist.gov/overview.html [16] Tru H Cao, Truong D Cao, Thang L Tran: A robust Ontology-Based Method for Translating Natural Language Queries to Conceptual Graphs In: Proceedings of the 3rd Asian Semantic Web Conference (2008) 23 [17] Tru H Cao.: VN-KIM for VietNamese semantic Web Faculty of Computer Science and Engineering, University of Technology VietNam (2006) [18] Truong D Cao: Dịch câu truy vấn tiếng Anh sang đồ thị khái niệm: cách tiếp cận phụ thuộc vào cú pháp Master Thesis Faculty of Computer Science and Engineering, University of Technology VietNam (2008) [19] Zelenko, D., Aone, C and Richardella, A.: Kernel Methods for Relation Extraction, Journal of Machine Learning Research (2003) 1083 – 1106 [20] Zhang, L., Yu, Y.: Learning to generate CGs from domain specific In: Proceedings of the 9th International Conference on Conceptual Structures, LNAI 2120 Stanford, CA, USA (2001) [21] Zhou, G.D., Su, J., Zhang, J., Zhang M.: Exploring Various Knowledge in Relation Extraction In: Proceedings of ACL (2005) 23 PHỤ LỤC 1: BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT Thuật ngữ tiếng Việt Bộ ba Dàn phân cấp Định danh tài nguyên thống Đồ thị phân đôi Đồ thị ý niệm Đồ thị ý niệm thực Đồ thị ý niệm cú pháp Đồng tham chiếu Độ mịn Kiểu khái niệm Kiểu quan hệ Khái niệm Quan hệ Tham chiếu Thuộc tính Văn phạm liên kết Thuật ngữ tiếng Anh Triple Hierarchy lattice Uniform resource identifier Bipartile graph Conceptual graph Real conceptual graph Syntactic conceptual graph Co-reference Granularity Conceptual type Relation type Concept Relation Reference Property Link grammar Viết tắt URI CG 23 PHỤ LỤC A: TẬP CÂU MẪU TREC 2002 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 What actor first portrayed James Bond?O What actress starred in "The Lion in Winter"? What American composer wrote the music for "West Side Story"? What are Cushman and Wakefield known for? What are John C Calhoun and Henry Clay known as? What are the names of Jacques Cousteau's two sons?O What are the two houses of the Legislative branch?O What body of water are the Canary Islands in? What card company sells Christmas ornaments? What caused the Lynmouth floods? What city did the Flintstones live in? What city in Florida is Sea World in? What city is 94.5 KDGE Radio located in? What city is Massachusetts General Hospital located in? What city's newspaper is called "The Enquirer"? What continent is Bolivia on? What continent is Egypt on? What country are Godiva chocolates from? What country did Ponce de Leon come from? What county is Modesto, California in? What county is Phoenix, AZ in? What Cruise Line does Kathie Lee Gifford advertise for? What currency is used in Algeria? What day and month did John Lennon die? What day is known as the "national day of prayer"? What did Delilah to Samson's hair?O What did Edward Binney and Howard Smith invent in 1903?O What did Vasco da Gama discover? What does "Sitting Shiva" mean? What does caliente mean (in English)?O What does CNN stand for? What does CPR stand for? What does EKG stand for? What does Final Four refer to in the sports world? What does Knight Ridder publish? What does NAFTA stand for? What does NASA stand for? What does Nicholas Cage for a living? What does SIDS stand for? What famous model was married to Billy Joel? What flower did Vincent Van Gogh paint? What format was VHS's main competition? What French province is cognac produced in? What French ruler was defeated at the battle of Waterloo? What hemisphere is the Philippines in? What hockey team did Wayne Gretzky play for? What imaginary line is halfway between the North and South Poles? What instrument is Ray Charles best known for playing?O What is Alice Cooper's real name? What is another astronomic term for the Northern Lights? What is another name for vitamin B1? What is Australia's national flower? What is Betsy Ross famous for? 54 55 56 57 58 59 60 61 62 What is Black Hills, South Dakota most famous for? What is California's capital? What is California's state tree? What is “Chiricahua” the name of? What is Dick Clark's birthday? What is Dr Ruth's last name? What is Hawaii's state flower? What is Martin Luther King Jr.'s real birthday? What is one of the cities that the University of Minnesota is located in? 63 What is the abbreviation for Original Equipment Manufacturer? 64 What is the airport code for Los Angeles International? 65 What is the average speed of the horses at the Kentucky Derby? 66 What is the average weight of a Yellow Labrador? 67 What is the birthstone for June? 68 What is the capital of Burkina Faso? 69 What is the capital of Haiti? 70 What is the capital of Mongolia? 71 What is the capital of Yugoslavia? 72 What is the depth of the Nile river? 73 What is the distance in miles from the earth to the sun? 74 What is the electrical output in Madrid, Spain? 75 What is the exchange rate between England and the U.S.? 76 What is the highest dam in the U.S.? 77 What is the Islamic counterpart to the Red Cross?O 78 What is the length of the coastline of the state of Alaska? 79 What is the location of the Sea of Tranquility? 80 What is the longest suspension bridge in the U.S.? 81 What is the longest word in the English language? 82 What is the major fault line near Kentucky? 83 What is the mascot for Notre Dame University? 84 What is the most common kind of skin cancer in the U.S.? 85 What is the most frequently spoken language in the Netherlands? 86 What is the name of a Greek god? 87 What is the name of a Salt Lake City newspaper? 88 What is the name of Joan Jett's band? 89 What is the name of Neil Armstrong's wife? 90 What is the name of Roy Roger's dog? 91 What is the name of the chocolate company in San Francisco? 92 What is the name of the Jewish alphabet? 93 What is the name of the leader of Ireland? 94 What is the name of the Lion King's son in the movie, "The Lion King"? 95 What is the name of the longest ruling dynasty of Japan? 96 What is the name of the Michelangelo painting that shows two hands with fingers touching?M 97 What is the name of the satellite that the Soviet Union sent into space in 1957? 98 What is the nickname of Pennsylvania? 99 What is the normal resting heart rate of a healthy adult? 100 What is the Ohio state bird? 101 What is the oldest city in the United States? 23 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 What is the oldest university in the US? What is the Pennsylvania state income tax rate? What is the population of China? What is the population of Japan? What is the population of Kansas? What is the population of Mexico? What is the population of Mozambique? What is the population of Nigeria? What is the population of Ohio? What is the population of Seattle? What is the population of the Bahamas? What is the population of the United States? What is the primary language of the Philippines? What is the real name of the singer, Madonna? What is the salary of a U.S Representative? What is the sales tax in Minnesota? What is the size of Argentina? What is the state nickname of Mississippi? What is the telephone number for the University of Kentucky? What is the zip code for Fremont, CA? What is the zip code for Parsippany, NJ? What kind of a sports team is the Wisconsin Badgers? What kind of animal was Winnie the Pooh? What kind of sports team is the Buffalo Sabres? What king was forced to agree to the Magna Carta? What language is mostly spoken in Brazil? What movie did Madilyn Kahn star in with Gene Wilder? What nationality was Jackson Pollock? What New York City structure is also known as the Twin Towers? What ocean did the Titanic sink in? What party was Winston Churchill a member of? What peninsula is Spain part of? What position did Willie Davis play in baseball? What President became Chief Justice after his presidency? O What province is Edmonton located in? What province is Montreal in? What radio station did Paul Harvey work for? What river flows between Fargo, North Dakota and Moorhead, Minnesota? What river in the US is known as the Big Muddy? What sport the Cleaveland Cavaliers play? What state did the Battle of Bighorn take place in? What state does Martha Stewart live in? What state does MO stand for? What state in the United States covers the largest area? What state is Niagra Falls located in? What state is the Filenes store located in? What store does Martha Stewart advertise for? What strait separates North America from Asia? What task does the Bouvier breed of dog perform? What tourist attractions are there in Reims? What type of bridge is the Golden Gate Bridge? What type of currency is used in Australia? What type of horses appear on the Budweiser commercials? What type of hunting are retrievers used for? What U.S Government agency registers trademarks?O What U.S state's motto is "Live free or Die"? 158 What university was Woodrow Wilson President of? 159 What was the ball game of ancient Mayans called? 160 What was the death toll at the eruption of Mount Pinatubo? 161 What was the last year that the Chicago Cubs won the World Series?O 162 What was the man's name who was killed in a duel with Aaron Burr?M 163 What was the name of Jacques Cousteau's ship? 164 What was the name of the famous battle in 1836 between Texas and Mexico? 165 What was the name of the first Russian astronaut to a spacewalk?O 166 What was the name of the movie that starred Sharon Stone and Arnold Schwarzenegger? 167 What was the name of the sitcom that Alyssa Milano starred in with Tony Danza? 168 What was the name of the television show, staring Karl Malden, that had San Francisco in the title?M 169 What was the name of the Titanic's captain? 170 What was the purpose of the Manhattan project? 171 What was W.C Fields' real name? 172 What were Christopher Columbus' three ships? 173 What were the names of the three ships used by Columbus? 174 What wrestling star became "The Incredible Hulk"? 175 What year did Canada join the United Nations?O 176 What year did Hitler die? 177 What year did Montana become a state?O 178 What year did the Milwaukee Braves become the Atlanta Braves?O 179 What year did the Titanic sink? 180 What year did the U.S buy Alaska?O 181 What year did the United States abolish the draft?O 182 What year did the Vietnam War end? 183 What year did WWII begin? 184 What year was Desmond Mpilo Tutu awarded the Nobel Peace Prize? 185 What year was Janet Jackson's first album released?Q 186 What year was the Avery Dennison company founded? 187 What year was the Mona Lisa painted? 188 What's the formal name for Lou Gehrig's disease? 189 What's the most famous tourist attraction in Rome? 190 What's the name of a golf course in Myrtle Beach? 191 What's the name of a hotel in Indianapolis? 192 What's the name of Pittsburgh's baseball team? 193 What's the name of the actress who starred in the movie, "Silence of the Lambs"? 194 What's the name of the song Will Smith sings about parents?O 195 What's the name of the star of the cooking show, "Galloping Gourmet"? 196 What's the name of the Tampa newspaper? 197 What's the name of the tiger that advertises for Frosted Flakes cereal? 198 What's the name of the Tokyo Stock Exchange? 199 What's the population of Biloxi, Mississippi? 200 What's the population of Mississippi? 201 What's the tallest building in New York City? 202 Which comedian's signature line is "Can we talk"? 23 203 Which mountain range in North America stretches from Maine to Georgia? 204 Which U.S President is buried in Washington, D.C.? 205 Where are the headquarters of Eli Lilly? 206 Where are the National Archives? 207 Where are the Rocky Mountains? 208 Where are the U.S headquarters for Procter and Gamble? 209 Where did Bill Gates go to college? 210 Where did Hillary Clinton graduate college? 211 Where did Howard Hughes die? 212 Where did the Inuits live? 213 Where did the Maya people live? 214 Where did Wicca first develop?O 215 Where did Woodstock take place? 216 Where does Mother Angelica live? 217 Where is Amsterdam? 218 Where is Ayer's rock? 219 Where is Basque country located? 220 Where is Belize located? 221 Where is Burma? 222 Where is Glasgow? 223 Where is Guam? 224 Where is John Wayne airport? 225 Where is Kings Canyon? 226 Where is Las Vegas? 227 Where is Logan International located? 228 Where is McCarren Airport? 229 Where is Melbourne? 230 Where is Milan? 231 Where is Ocho Rios? 232 Where is Perth? 233 Where is Prince Edward Island? 234 Where is Rider College located? 235 Where is Romania located? 236 Where is Santa Lucia? 237 Where is the bridge over the river Kwai? 238 Where is the Danube? 239 Where is the Euphrates River? 240 Where is the Grand Canyon? 241 Where is the Holland Tunnel? 242 Where is the Isle of Man? 243 Where is the Kalahari desert? 244 Where is the location of the Orange Bowl? 245 Where is the Louvre? 246 Where is the Mall of the America? 247 Where is the Mayo Clinic? 248 Where is the Orinoco River? 249 Where is the Orinoco? 250 Where is the Shawnee National Forest? 251 Where is the Smithsonian Institute located? 252 Where is the Thomas Edison Museum? 253 Where is the Valley of the Kings? 254 Where is the volcano Mauna Loa? 255 Where is the volcano Olympus Mons located? 256 Where is Tornado Alley? 257 Where is Trinidad? 258 Where is Tufts University? 259 Where is Venezuela? 260 Where is Webster University? 261 Where is Windsor Castle? 262 Where was John Adams born? 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 Where was Poe born? Where was Pythagoras born? Where was Tesla born? Where's Montenegro? Who assassinated President McKinley? Who coined the term "cyberspace" in his novel "Neuromancer"? Who created "The Muppets"? Who created the character James Bond? Who created the character of Scrooge? Who created the comic strip, "Garfield"? Who developed the Macintosh computer? Who discovered America? Who found Hawaii? Who invented the game Scrabble? Who is a German philosopher? Who is buried in the great pyramid of Giza? Who is Secretary-General of the United Nations? Who is the emperor of Japan? Who is the founder of the Wal-Mart stores? Who is the leader of India? Who is the monarch of the United Kingdom? Who is the president of Bolivia? Who is the Prime Minister of Canada? Who is the prophet of the religion of Islam? Who killed Caesar? Who killed Martin Luther King? Who manufacturers Magic Chef applicances? Who manufactures the software, "PhotoShop"? Who owns CNN? Who owns the St Louis Rams? Who painted Olympia? Who played the teacher in Dead Poet's Society? Who portrayed Jake in the television show, "Jake and the Fatman"? Who provides telephone service in Orange County, California? Who shot Billy the Kid? Who started the Dominos Pizza chain? Who was Charles Lindbergh's wife? Who was Darth Vader's son? Who was elected president of South Africa in 1994? Who was Samuel Johnsons's friend and biographer? Who was the 21st U.S President?O Who was the 23rd president of the United States?O Who was the 33rd president of the United States?O Who was the abolitionist who led the raid on Harper's Ferry in 1859? Who was the architect of Central Park? Who was the author of the book about computer hackers called "The Cuckoo's Egg: Tracking a Spy Through the Maze of Computer Espionage"? Who was the first American to walk in space?O Who was the first coach of the Cleveland Browns?O Who was the first female United States Representative?O Who was the first governor of Alaska?O Who was the first king of England?O Who was the first man to fly across the Pacific Ocean?O Who was the first U.S president ever to resign?O Who was the founding member of the Pink Floyd band? Who was the oldest U.S president? 23 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 Who was the president of Vichy France? Who was the tallest U.S president? Who won Ms American in 1989? Who won the nobel prize in literature in 1988? Who won the rugby world cup in 1987? Who won the Superbowl in 1982? Who wrote "An Ideal Husband"? Who wrote "The Pit and the Pendulum"? Who wrote "The Scarlet Letter"? Who wrote the book, "Huckleberry Finn"? Who wrote the book, "Song of Solomon"? Who wrote the book, "The Grinch Who Stole Christmas"? Who wrote the hymn "Amazing Grace"? Who wrote the song, "Boys of Summer"? Who wrote the song, "Silent Night"? Who's the lead singer of the Led Zeppelin band? When did Aldous Huxley write, "Brave New World"? When did Amtrak begin operations?O When did Elvis Presley die? When did Geraldine Ferraro run for vice president?O When did Hawaii become a state?O When did Idaho become a state?O When did John F Kennedy get elected as President? When did Muhammad live? When did Princess Diana and Prince Charles get married? O When did the American Civil War end? When did the California lottery begin? When did the Carolingian period begin? When did the Chernobyl nuclear accident occur? When did the Dow first reach 2000?O When did the Hindenberg crash? When did the royal wedding of Prince Andrew and Fergie take place? When did World War I start? When is Bastille Day? When is Boxing Day? When is hurricane season in the Caribbean? When is the Tulip Festival in Michigan? When was "the Great Depression"? When was Algeria colonized? When was Babe Ruth born? When was Beethoven born? When was CNN's first broadcast?O When was Hurricane Hugo? When was John D Rockefeller born? When was Lyndon B Johnson born? When was Microsoft established? When was Nostradamus born? When was Rosa Parks born? When was the Brandenburg Gate in Berlin built? When was the De Beers company founded? When was the first Barbie produced?O When was the first railroad from the east coast to the west coast completed?O When was the first Wall Street Journal published?O When was the first Wal-Mart store opened?O When was the Hoover Dam constructed? When was the last major eruption of Mount St Helens?O When was the movie, Caligula, made? When was the NFL established? 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 When was the San Francisco fire? When was the Triangle Shirtwaist fire? When were William Shakespeare's twins born? How big is Australia? How big is the Electoral College? How did Bob Marley die? How far away is the moon? How far is it from Denver to Aspen? How far is Pluto from the sun? How fast can a Corvette go? How hot is the core of the earth? How large is Missouri's population? How long did Rip Van Winkle sleep? How long would it take for a $50 savings bond to mature? How long would it take to get from Earth to Mars? How many casinos are in Atlantic City, NJ? How many counties are in Indiana? How many films did Ingmar Bergman make? How many Great Lakes are there? How many highway miles to the gallon can you get with the Ford Fiesta?Q How many home runs did Babe Ruth hit in his lifetime?M How many home runs did Lou Gehrig have during his career?O How many islands does Fiji have? How many miles is it from London, England to Plymouth, England? How many people die from snakebite poisoning in the U.S per year? How many people live in Chile? How many people lived in Nebraska in the mid 1980s? How many Stradivarius violins were ever made? How many Superbowls have the 49ers won? How many years ago did the ship Titanic sink?O How many zip codes are there in the U.S.? How much in miles is a ten K run?O How much money does the Sultan of Brunei have? How much was a ticket for the Titanic? How old was Elvis Presley when he died?O How tall is Kilimanjaro? How tall is the Gateway Arch in St Louis, MO? How tall is the Sears Building? How was Teddy Roosevelt related to FDR?Q How wide is the Atlantic Ocean? How wide is the Milky Way galaxy? In Poland, where most people live? In the late 1700's British convicts were used to populate which colony?O In what area of the world was the Six Day War fought? In what book can I find the story of Aladdin? Italy is the largest producer of what? Mercury, what year was it discovered? Name a ballet company Mikhail Baryshnikov has danced for? Name a film in which Jude Law acted Name a Gaelic language Name a movie that the actress, Sandra Bullock, had a role in Name a novel written by John Steinbeck Name a tiger that is extinct? Name an American made motorcycle? 23 430 431 432 433 434 Name an American war plane? Name an art gallery in New York Name one of the Seven Wonders of the Ancient World Tell me what city the Kentucky Horse Park is near? The U.S Department of Treasury first issued paper currency for the U.S during which war?O 435 About how many soldiers died in World War II? 436 At Christmas time, what is the traditional thing to under the mistletoe?Q 437 At what speed does the Earth revolve around the sun? 438 Can you give me the name of a clock maker in London, England? 439 For what disease is the drug Sinemet used as a treatment? 440 George Bush purchased a small interest in which baseball team? Ghi chú: O: O-Error; Q:Q-Error; M:M-Error 23 PHỤ LỤC C: ĐỒ THỊ Ý NIỆM SINH ĐÚNG TỪ TREC 2002 TRƯỚC KHI LÀM GIÀU ONTOLOGY PHỤ LỤC D: ĐỒ THỊ Ý NIỆM SINH ĐÚNG TỪ TREC 2002 SAU KHI LÀM GIÀU ONTOLOGY ... cụm, truy xuất tài liệu, tập trung làm mô-đun xử lý câu truy vấn Hệ thống bảo đảm khả xử lý câu truy vấn tiếng Anh đơn giản, bao gồm danh từ, động từ, từ để hỏi giới từ Ví dụ câu truy vấn: “What... tài xây dựng nhận liệu đầu vào câu truy vấn tiếng Anh, ngôn ngữ sử dụng quốc tế Hệ thống, sau xử lý phương pháp phụ thuộc vào cú pháp, trả tài liệu chứa thơng tin tìm kiếm trả số liệu yêu cầu (lúc... tích cú pháp câu truy vấn Q trình chuyển đổi câu truy vấn sang đồ thị ý niệm thực chất trình tìm kiếm thực thể câu truy vấn xây dựng mối quan hệ chúng dựa vào Ontology Ta xét câu truy vấn: “Who