Đang tải... (xem toàn văn)
hệ thống tìm kiếm thông tin trên kho tài liệu tiếng Việt
Xây dựng hệ thống tìm kiếm thơng tin tiếng Việt dựa mục có cấu trúc LỜI CẢM ƠN Chúng em xin gởi lời cảm ơn chân thành đến thầy Hồ Bảo Quốc, người tận tình hướng dẫn, giúp đỡ chúng em suốt thời gian thực luận văn Chúng cảm ơn Cha, Mẹ gia đình, người dạy dỗ, khuyến khích, động viên chúng lúc khó khăn, tạo điều kiện cho chúng nghiên cứu học tập Chúng em cảm ơn thầy, cô khoa Cơng Nghệ Thơng Tin dìu dắt, giảng dạy chúng em, giúp chúng em có kiến thức quý báu năm học qua Cảm ơn chị Lê Thúy Ngọc bạn tận tình đóng góp ý kiến cho luận văn Mặc dù cố gắng luận văn chúng em không tránh khỏi sai sót, mong nhận thơng cảm góp ý thầy bạn Tháng năm 2005 Sinh viên Nguyễn Thị Thanh Hà – Nguyễn Trung Hiếu Nguyễn Thị Thanh Hà - 0112215 Nguyễn Trung Hiếu - 0112216 Xây dựng hệ thống tìm kiếm thơng tin tiếng Việt dựa mục có cấu trúc NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Ngày…… tháng……năm 2005 Ký tên Nguyễn Thị Thanh Hà - 0112215 Nguyễn Trung Hiếu - 0112216 Xây dựng hệ thống tìm kiếm thơng tin tiếng Việt dựa mục có cấu trúc NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Ngày…… tháng……năm 2005 Ký tên Nguyễn Thị Thanh Hà - 0112215 Nguyễn Trung Hiếu - 0112216 Xây dựng hệ thống tìm kiếm thơng tin tiếng Việt dựa mục có cấu trúc MỤC LỤC DANH SÁCH CÁC BẢNG .7 DANH SÁCH CÁC HÌNH VẼ Phần : TÌM HIỂU LÝ THUYẾT 10 Chương 1: TỔNG QUAN VỀ TÌM KIẾM THƠNG TIN .10 Giới thiệu tìm kiếm thơng tin 10 1.1 Khái niệm tìm kiếm thơng tin 10 1.2 Một số vấn đề việc tìm kiếm thơng tin: .10 Hệ tìm kiếm thơng tin – IRS .11 Các thành phần hệ tìm kiếm thơng tin [1.1] 12 So sánh IRS với hệ thống thông tin khác .13 4.1 Hệ quản trị sở liệu (DBMS) 14 4.2 Hệ quản lý thông tin (IMS) 14 4.3 Hệ hỗ trợ định (DSS) 15 4.4 Hệ trả lời câu hỏi (QAS) .15 4.5 So sánh IRS với hệ thống thông tin khác 16 Chương 2: XÂY DỰNG MỘT HỆ THỐNG TÌM KIẾM THƠNG TIN .17 Kiến trúc hệ tìm kiếm thông tin [1.3] 17 Một số mơ hình để xây dựng hệ tìm kiếm thơng tin [1.2] 18 2.1 Mơ hình khơng gian vector 18 2.2 Tìm kiếm Boolean 20 2.3 Tìm kiếm Boolean mở rộng 21 2.4 Mở rộng việc thêm vào trọng số câu hỏi .22 2.4.1 Mở rộng cho số từ tuỳ ý 22 2.4.2 Thêm toán tử tự động .23 2.5 Mơ hình xác suất 23 2.6 Đánh giá chung mơ hình 24 Các bước để xây dựng hệ tìm kiếm thơng tin [3.2] 24 3.1 Tách từ tự động cho tập tài liệu 24 3.2 Lập mục cho tài liệu 24 3.3 Tìm kiếm 25 3.4 Sắp xếp tài liệu trả (Ranking) 25 Những khó khăn việc xây dựng hệ thống tìm kiếm thơng tin tiếng Việt 25 4.1 Khó khăn việc tách từ tiếng Việt 26 4.2 Vấn đề bảng mã tiếng Việt 26 4.3 Các khó khăn khác 26 Chương 3: TÁCH TỪ TỰ ĐỘNG 28 Tách từ Tiếng Anh 28 Nguyễn Thị Thanh Hà - 0112215 Nguyễn Trung Hiếu - 0112216 Xây dựng hệ thống tìm kiếm thơng tin tiếng Việt dựa mục có cấu trúc Tách từ Tiếng Việt 28 2.1 Một số đặc điểm từ tiếng Việt [2.2] 28 2.1.1 Tiếng 28 2.1.2 Từ 29 2.2 Tách từ tự động tiếng Việt 29 Các phương pháp tách từ tiếng Việt 30 3.1 fnTBL (Fast Transformation-based learning) [3.1] .30 3.1.1 Mô tả 30 3.1.2 Áp dụng tách từ tiếng Việt .31 3.2 Longest Matching [1.4] 36 3.3 Kết hợp fnTBL Longest Matching 36 Chương 4: LẬP CHỈ MỤC .37 Khái quát hệ thống lập mục .37 Phương pháp lập mục [1.1] 37 2.1 Xác định từ mục .37 2.2 Các phương pháp tính trọng số từ 39 2.2.1 Tần số tài liệu nghịch đảo 39 2.2.2 Độ nhiễu tín hiệu (The Signal – Noise Ratio) 39 2.2.3 Giá trị phân biệt từ (The Term Discrimination Value) 41 2.3 Lập mục tự động cho tài liệu tiếng Anh 42 Lập mục cho tài liệu tiếng Việt .44 Tập tin nghịch đảo tài liệu 45 4.1 Phân biệt tập tin nghịch đảo tập tin trực tiếp 45 4.2 Tại sử dụng tập tin nghịch đảo để lập mục .46 Phần : PHÂN TÍCH VÀ THIẾT KẾ 48 Chương 5: PHÂN TÍCH 48 Sơ đồ UseCase hệ thống .48 Sơ đồ Lớp 50 2.1 Sơ đồ lớp thể 50 2.2 Sơ đồ lớp xử lý .51 Tách từ .52 3.1 Sơ đồ UseCase 52 3.2 Sơ đồ Tuần tự .52 3.3 Sơ đồ Cộng tác .53 3.4 Sơ đồ Lớp .53 Lập mục 54 4.1 Sơ đồ UseCase 54 4.2 Sơ đồ Tuần tự .55 4.2.1 Tạo mục 55 4.2.2 Cập nhật mục 56 4.3 Sơ đồ Cộng tác .57 Nguyễn Thị Thanh Hà - 0112215 Nguyễn Trung Hiếu - 0112216 Xây dựng hệ thống tìm kiếm thơng tin tiếng Việt dựa mục có cấu trúc 4.3.1 Tạo mục 57 4.3.2 Cập nhật mục 58 4.4 Sơ đồ Lớp .59 Tìm kiếm 60 5.1 Sơ đồ UseCase 60 5.2 Sơ đồ Tuần tự .60 5.3 Sơ đồ Cộng tác .61 5.4 Sơ đồ Lớp .62 Chương 6: THIẾT KẾ VÀ CÀI ĐẶT .63 Cấu trúc lưu trữ liệu 63 1.1 Tập tin lưu nội dung tài liệu 63 1.1.1 Cấu trúc DTD / XSD 63 1.1.2 Tài liệu XML 65 1.2 Tập tin sau tách từ tài liệu .66 1.2.1 Cấu trúc DTD / XSD 66 1.2.2 Tài liệu XML 67 1.3 Tập tin chứa từ nội dung văn (stop list) 69 1.3.1 Cấu trúc DTD / XSD 69 1.3.2 Tài liệu XML 70 1.4 Tập tin mục đảo ( Inverted ) 70 1.4.1 Cấu trúc DTD / XSD 70 1.4.2 Tài liệu XML 72 1.5 Tập tin sau tách từ câu hỏi 73 1.5.1 Cấu trúc DTD / XSD 73 1.5.2 Tài liệu XML 74 1.6 Tập tin chứa từ câu hỏi sau loại bỏ từ danh sách StopList 75 1.6.1 Cấu trúc DTD / XSD 75 1.6.2 Tài liệu XML 76 1.7 Tập tin chứa từ câu hỏi tài liệu liên quan 76 1.7.1 Cấu trúc DTD / XSD 76 1.7.2 Tài liệu XML 78 1.8 Tập tin chứa độ tương quan câu hỏi tài liệu .79 1.8.1 Cấu trúc DTD / XSD 79 1.8.2 Tài liệu XML 81 Chi tiết lớp đối tượng 82 2.1 Các lớp trình tách từ .82 2.1.1 Sơ đồ lớp 82 2.1.2 Lớp tách từ ghép 82 2.1.3 Lớp tách từ .85 2.1.4 Lớp giao diện tách từ .88 2.2 Các lớp trình lập mục 90 2.2.1 Sơ đồ lớp 90 Nguyễn Thị Thanh Hà - 0112215 Nguyễn Trung Hiếu - 0112216 Xây dựng hệ thống tìm kiếm thơng tin tiếng Việt dựa mục có cấu trúc 2.2.2 Lớp lập mục .91 2.2.3 Lớp giao diện tạo mục .93 2.2.4 Lớp giao diện cập nhật mục .95 2.3 Các lớp trình tìm kiếm 97 2.3.1 Sơ đồ lớp 97 2.3.2 Lớp tìm kiếm 98 2.3.3 Lớp giao diện tìm kiếm 104 Một số hình giao diện khác .108 3.1 Màn hình chương trình .108 3.2 Màn hình tìm kiếm nhiều câu hỏi .109 3.3 Màn hình tìm kiếm ( giao diện Web) 111 3.4 Màn hình trả tài liệu tìm ( giao diện Web) 112 3.5 Màn hình chi tiết tài liệu ( giao diện Web) 113 Phần : TỔNG KẾT 114 Chương trình thử nghiệm 114 Đánh giá kết đạt 114 Hướng phát triển 115 TÀI LIỆU THAM KHẢO 116 Sách 116 Luận văn 116 Website .116 DANH SÁCH CÁC BẢNG Bảng 1-1 So sánh IRS với hệ thống thông tin khác .16 Bảng 4-1 Cách tập tin nghịch đảo lưu trữ 46 Bảng 4-2 Cách tập tin trực tiếp lưu trữ 46 Bảng 4-3 Thêm tài liệu vào tập tin nghịch đảo 47 Bảng 5-1 Danh sách Actor 49 Bảng 5-2 Danh sách UseCase 49 DANH SÁCH CÁC HÌNH VẼ Hình 1-1 Mơi trường hệ tìm kiếm thơng tin 12 Hình 1-2 Tổng quan chức hệ tìm kiếm thơng tin 13 Hình 2-1 Hệ tìm kiếm thơng tin tiêu biểu 17 Hình 3-1 Quá trình học 34 Hình 3-2 Giai đoạn xác định từ cho tài liệu 35 Hình 4-1 Các từ theo thứ tự 38 Hình 4-2 Quá trình chọn từ làm mục 44 Hình 5-1 Sơ đồ Use-case hệ thống 48 Nguyễn Thị Thanh Hà - 0112215 Nguyễn Trung Hiếu - 0112216 Xây dựng hệ thống tìm kiếm thông tin tiếng Việt dựa mục có cấu trúc Hình 5-2 Sơ đồ lớp thể 50 Hình 5-3 Sơ đồ lớp xử lý .51 Hình 5-4 Sơ đồ Use-case tách từ 52 Hình 5-5 Sơ đồ tách từ 52 Hình 5-6 Sơ đồ cộng tác tách từ 53 Hình 5-7 Sơ đồ lớp tách từ 53 Hình 5-8 Sơ đồ use-case lập mục 54 Hình 5-9 Sơ đồ tạo mục 55 Hình 5-10 Sơ đồ cập nhật mục 56 Hình 5-11 Sơ đồ cộng tác tạo mục 57 Hình 5-12 Sơ đồ cộng tác cập nhật mục 58 Hình 5-13 Sơ đồ lớp lập mục .59 Hình 5-14 Sơ đồ use-case tìm kiếm 60 Hình 5-15 Sơ đồ tìm kiếm 60 Hình 5-16 Sơ đồ cộng tác tìm kiếm 61 Hình 5-17 Sơ đồ lớp tìm kiếm 62 Hình 6-1 Sơ đồ lớp tách từ 82 Hình 6-2 Lớp tách từ ghép 82 Hình 6-3 Lớp tách từ 85 Hình 6-4 Lớp giao diện tách từ 88 Hình 6-5 Màn hình tách từ 88 Hình 6-6 Màn hình chi tiết tách từ .89 Hình 6-7 Sơ đồ lớp lập mục 90 Hình 6-8 Lớp lập mục 91 Hình 6-9 Lớp giao diện tạo mục 93 Hình 6-10 Màn hình tạo mục 94 Hình 6-11 Lớp Màn hình cập nhật mục .95 Hình 6-12 Màn hình cập nhật mục .96 Hình 6-13 Sơ đồ lớp tìm kiếm 97 Hình 6-14 Lớp xử lý tìm kiếm 98 Hình 6-15 Lớp giao diện tìm kiếm 104 Hình 6-16 Màn hình tìm kiếm 105 Hình 6-17 Xem từ khóa câu hỏi .105 Hình 6-18 Xem từ khóa tài liệu 106 Hình 6-19 Màn hình .108 Hình 6-20 Màn hình tìm kiếm nhiều câu hỏi 109 Hình 6-21 Giao diện tìm kiếm Web 111 Hình 6-22 Giao diện tài liệu trả sau tìm kiếm 112 Hình 6-23 Giao diện chi tiết nội dung tài liệu 113 Nguyễn Thị Thanh Hà - 0112215 Nguyễn Trung Hiếu - 0112216 Xây dựng hệ thống tìm kiếm thơng tin tiếng Việt dựa mục có cấu trúc MỞ ĐẦU Trong thời đại bùng nổ thông tin nay, thông tin lưu trữ máy tính ngày nhiều việc tìm kiếm thơng tin xác nhu cầu thiết yếu người lĩnh vực Internet đă trở thành kho tư liệu khổng lồ mà việc tìm kiếm thơng tin kho tư liệu cần phải hỗ trợ cơng cụ tìm kiếm (search engine) tốt Các hệ thống tìm kiếm thơng tin thơng dụng Google, Yahoo Search đáp ứng phần nhu cầu người Tuy nhiên, hệ thống xây dựng để xử lý tìm kíếm văn tiếng Châu Âu, chúng chưa thật phù hợp cho văn tiếng Việt Do nhu cầu phải có cơng cụ tìm kiếm “hiểu” xử lý tốt văn tíếng Việt Các hệ tìm kiếm thông tin phải thực giai đoạn lập mục (indexing) cho văn để trích từ mục (index term) biểu diễn tốt nội dung văn Giai đoạn phụ thuộc vào ngôn ngữ văn phương pháp xử lý tự động ngơn ngữ Hiện chưa có nhiều hệ thống tìm kiếm thơng tin kho tài liệu tiếng Việt có khai thác đặc trưng tiếng Việt cho việc lập mục Vì mục tiêu luận văn nhằm xây dựng hệ thống tìm kiếm thơng tin tiếng Việt có sử dụng kết xử lý ngôn ngữ tự nhiên tự động để xác định mục từ (word) hay từ ghép (compound word) tiếng Việt Nguyễn Thị Thanh Hà - 0112215 Nguyễn Trung Hiếu - 0112216 Xây dựng hệ thống tìm kiếm thơng tin tiếng Việt dựa mục có cấu trúc Phần : TÌM HIỂU LÝ THUYẾT Chương 1: TỔNG QUAN VỀ TÌM KIẾM THƠNG TIN Giới thiệu tìm kiếm thơng tin 1.1 Khái niệm tìm kiếm thơng tin Tìm kiếm thơng tin tìm kiếm tập tài liệu để lấy thông tin mà người tìm kiếm quan tâm 1.2 Một số vấn đề việc tìm kiếm thơng tin: Kể từ năm 40, vấn đề việc lưu trữ thông tin tìm kiếm thơng tin thu hút ý lớn Với lượng thông tin khổng lồ việc tìm kiếm xác nhanh chóng trở nên khó khăn Với đời máy tính, nhiều ý tưởng lớn đưa nhằm cung cấp hệ thống tìm kiếm thơng minh xác Tuy nhiên, vấn đề tìm kiếm cho hiệu chưa giải Về nguyên tắc, việc lưu trữ thơng tin tìm kiếm thơng tin đơn giản Giả sử có kho chứa tài liệu người muốn tìm tài liệu liên quan đến u cầu Người đọc tất tài liệu kho, giữ lại tài liệu liên quan bỏ tài liệu không liên quan Rõ ràng giải pháp khơng thực tế tốn nhiều thời gian Với đời máy vi tính tốc độ cao, máy tính “đọc” thay cho người để trích tài liệu có liên quan toàn tập liệu Tuy nhiên vấn đề Nguyễn Thị Thanh Hà - 0112215 10 Nguyễn Trung Hiếu - 0112216 ... TIN Giới thiệu tìm kiếm thơng tin 1.1 Khái niệm tìm kiếm thơng tin Tìm kiếm thơng tin tìm kiếm tập tài liệu để lấy thơng tin mà người tìm kiếm quan tâm 1.2 Một số vấn đề việc tìm kiếm thông tin: ... có nhiều hệ thống tìm kiếm thơng tin kho tài liệu tiếng Việt có khai thác đặc trưng tiếng Việt cho việc lập mục Vì mục tiêu luận văn nhằm xây dựng hệ thống tìm kiếm thơng tin tiếng Việt có sử... đích hệ thống tìm kiếm thông tin tự động truy lục tất tài liệu có liên quan đến yêu cầu Hệ tìm kiếm thơng tin – IRS Sau định nghĩa hệ thống tìm kiếm thơng tin số tác giả: [2.1] Salton (1989): “Hệ
