-1- BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG TRẦN HỮU PHÚ XÂY DỰNG HỆ THỐNG THU THẬP THÔNG TIN TỰ ĐỘNG PHỤC VỤ CẬP NHẬT NỘI DUNG CHO TRANG WEB Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2011 -2- Cơng trình ñược hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: PGS.TS PHAN HUY KHÁNH Phản biện 1: PGS.TSKH TRẦN QUỐC CHIẾN Phản biện 2: PGS.TS LÊ MẠNH THẠNH Luận văn ñược bảo vệ Hội ñồng chấm Luận văn tốt nghiệp thạc sĩ kỹ thuật họp Đại học Đà Nẵng vào ngày 16 tháng 10 năm 2011 Có thể tìm hiểu luận văn tại: • Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng • Trung tâm Học liệu, Đại học Đà Nẵng -3- MỞ ĐẦU Lý chọn ñề tài Sự phát triển nhanh chóng mạng Internet kèm theo khối lượng liệu khổng lồ, đa dạng tăng trưởng khơng ngừng Đối với cá nhân, tổ chức, việc cập nhật thường xuyên nguồn thông tin mạng Internet quan trọng, ñịnh ñến hiệu quả, thành cơng, lĩnh vực hoạt động Tuy nhiên, việc tìm kiếm thơng tin phù hợp có giá trị người truy cập từ mạng Internet tốn thời gian liệu nằm phân tán mạng khơng xếp, phân loại mong muốn Do đó, việc tìm kiếm, trích lọc thu thập thơng tin có ý nghĩa từ Internet ñiểm truy cập tập trung phục vụ nhu cầu người khai thác toán cần thiết ñược giải Nhu cầu thu thập phát lại thơng tin cần thiết từ internet trang TTĐT Quảng Nam lớn Là cán cơng tác Sở Thơng Tin & Truyền Thơng Quảng Nam, đơn vị quản lý cổng TTĐT này, tơi thiết nghĩ cần thiết phải đưa giải pháp xây dựng hệ thống thu thập thông tin tự ñộng phục vụ cập nhật nội dung cho trang TTĐT Từ lý nên chọn đề tài: "Xây dựng hệ thống thu thập thơng tin tự ñộng phục vụ cập nhật nội dung cho trang web" Các nội dung nghiên cứu luận văn : - Tìm hiểu tổng quan kỹ thuật thu thập thông tin Internet, tổng quan khai phá liệu, thuật toán phân cụm liệu -4- - Tiếp cận tốn Tìm kiếm phân cụm tài liều web ứng dụng thuật toán K-means kỹ thuật tiền xử lý biểu diễn liệu - Áp dụng Bài tốn Tìm kiếm phân cụm tài liệu web vào việc Xây dựng hệ thống thu thập tin tự ñộng hỗ trợ thu thập biên tập tin tức từ nguồn Internet, phục vụ nhu cầu người truy cập cách tập trung tin tức liên quan ñến chủ ñề cần thu thập Trang TTĐT Quảng Nam Mục tiêu nhiệm vụ Nắm vững sở lý thuyết khai phá liệu kỹ thuật phân cụm tài liệu web, qua xây dựng hệ thống thu thập thơng tin tự động phục vụ cập nhật nội dung trang TTĐT Quảng Nam, kết thực nghiệm ñáp ứng yêu cầu ñề Đối tượng phạm vi nghiên cứu Khai phá liệu lĩnh vực rộng lớn ngành khoa học máy tính, phân cụm tài liệu web lĩnh vực ứng dụng điển hình khai phá liệu, nhiên có nhiều kỹ thuật thơng qua nhiều thuật toán cho toán phân cụm liệu, phạm vi ñề tài này, chủ yếu tập trung ñi vào nghiên cứu lý thuyết phân cụm tài liệu web thuật tốn, trọng tâm vào phân tích, ứng dụng thuật tốn K-Means để tiến hành cài ñặt ứng dụng thực nghiệm Phương pháp nghiên cứu Trong ñề tài sử dụng phương pháp nghiên cứu lý thuyết kết hợp với phát triển ứng dụng thực nghiệm Trên sở lý thuyết khai phá liệu, cụ thể lý thuyết phân cụm liệu thuật toán phân cụm tài liệu, tiến hành cài đặt phân tích tối -5- ưu thuật tốn, đến chọn lựa thuật toán phù hợp cho việc triển khai xây dựng ứng dụng thực nghiệm Tiến hành ñánh giá kết thực nghiệm ñể ñưa hướng phát triển mở rộng ñề tài ñể ñáp ứng yêu cầu triển khai thực tế Ý nghĩa khoa học thực tiễn ñề tài Về mặt lý thuyết: ñề tài tổng hợp sở lý thuyết khai phá liệu, phân cụm tài liệu, phân tích phương pháp phân cụm, cài ñặt ñánh giá hiệu thuật tốn phân cụm từ chọn thuật tốn tối ưu để triển khai thực nghiệm Về mặt thực tiễn: với việc phát triển triển khai thực nghiệm ứng dụng thu thập tin tự ñộng Internet, đề tài ứng dụng vào thực tế hỗ trợ cho việc thu thập biên tập tin tức cho Trang thơng tin điện tử tỉnh Quảng Nam, ñem lại hiệu kinh tế nhờ tiết kiệm thời gian chi phí Cấu trúc luận văn Ngồi phần mở đầu, phần kết luận, mục lục, danh mục hình vẽ, danh mục bảng biểu, tài liệu tham khảo, phụ lục, phần luận văn gồm chương sau : Chương 1: Nguyên cứu tổng quan Chương : Phân tích thiết kế hệ thống Chương : Xây dựng triển khai hệ thống -6- Chương 1: NGHIÊN CỨU TỔNG QUAN 1.1 Tổng quan kỹ thuật thu thập thông tin Internet Có nhiều hình thái thu thập bóc tách thơng tin nghiên cứu phát triển Chúng ta có loạt khái niệm Robot, Search, Web Crawler, Data Wrapper, Web Spider, Web Clipping, Semantic Web, để mơ tả hình thái khai thác nội dung thơng tin Internet Xin lấy mơ hình tìm kiếm ví dụ: Nội dung sau khai thác lưu trữ hệ thống database phát hành lại tới người dùng trực tiếp thơng qua hệ thống tích hợp, tìm kiếm, lọc, chia sẻ ñặt tả, hay sử dụng cho mục đích chun biệt Google minh chứng cụ thể cho giải pháp đó, Website tồn Internet ñược Google Crawler ghé thăm thu thập lại tồn bộ, sau nội dung lưu trữ sở liệu, ñược ñánh mục, tìm kiếm có u cầu từ phía người dùng Một sản phẩn khác GoogleNews lại có nhiệm vụ tổng hợp tất tin tức diễn hàng ngày Internet Ở Việt nam, ta tìm kiếm mơ hình tương tự Baomoi.com hay Thegioitin.com, VietSpider, InewsCrawler Có nhiều giải pháp khác RSS, phân tích DOM, web clustering (phân cụm tài liệu web) Trong khóa luận ta chọn giải pháp web clustering 1.2 Tổng quan Khai phá liệu 1.2.1 Khái niệm Khai phá liệu Khai phá liệu (Data Mining) khái niệm ñời vào năm cuối thập kỷ 1980 Nó q trình trích xuất thơng tin có giá trị tiềm ẩn bên lượng lớn liệu ñược lưu trữ CSDL, kho liệu Đây giai ñoạn quan trọng tiến trình Phát tri thức từ sở liệu, tri thức hỗ -7- trợ việc ñịnh khoa học kinh doanh hoạt động khác 1.2.2 Q trình phát tri thức Q trình Phát trị thức tiến hành qua giai đoạn hình 1.1: Hình 1.1 : Q trình phát tri thức Bắt đầu q trình kho liệu thô kết thúc với tri thức chiết xuất Về lý thuyết ñơn giản thực ñây q trình khó khăn gặp phải nhiều vướng mắc như: quản lý tập liệu, phải lặp lặp lại tồn q trình, v.v Q trình gồm bước: (1) Gom liệu (2) Trích lọc liệu 3) Làm sạch, tiền xử lý chuẩn bị trước liệu 4) Chuyển ñổi liệu (5) Khai phá liệu (6) Đánh giá luật biểu diễn tri thức 1.2.3 Quá trình khai phá liệu Khai phá liệu giai ñoạn quan trọng trình phát tri thức Về chất, giai đoạn tìm -8- thơng tin mới, thơng tin tiềm ẩn có CSDL chủ yếu phục vụ cho mô tả dự đốn Q trình Khai phá liệu bao gồm bước thể Hình 1.2 sau: Hình 1.2: Q trình Khai phá liệu • Xác ñịnh nhiệm vụ: Xác ñịnh xác vấn ñề cần giải • Xác định liệu liên quan: Dùng để xây dựng giải pháp • Thu thập tiền xử lý liệu: Thu thập liệu liên quan tiền xử lý chúng cho thuật tốn KPDL hiểu Đây q trình khó khăn, gặp phải nhiều vướng mắc như: liệu phải ñược nhiều (nếu ñược chiết xuất vào tệp), quản lý tập liệu, phải lặp ñi lặp lại nhiều lần tồn q trình (nếu mơ hình liệu thay đổi), v.v • Thuật tốn khai phá liệu: Lựa chọn thuật toán KPDL thực việc KPDL để tìm mẫu có ý nghĩa, mẫu ñược biểu diễn dạng luật kết hợp, ñịnh tương ứng với ý nghĩa -9- 1.2.4 Các phương pháp khai phá liệu Với hai mục đích khai phá dư liệu Mơ tả Dự đốn, người ta thường sử dụng phương pháp sau cho khai phá liệu: - Luật kết hợp (association rules) - Phân lớp (Classfication) - Hồi qui (Regression) - Trực quan hóa (Visualiztion) - Phân cụm (Clustering) - Tổng hợp (Summarization) - Mơ hình ràng buộc (Dependency modeling) - Biểu diễn mơ hình (Model Evaluation) - Phân tích phát triển độ lệch (Evolution and deviation analyst) - Phương pháp tìm kiếm (Search Method) Có nhiều phương pháp khai phá liệu nghiên cứu trên, có phương pháp ñược nhà nghiên cứu sử dụng nhiều ñó là: Luật kết hợp, Phân lớp liệu Phân cụm liệu 1.2.5 Các tốn thơng dụng Khai phá liệu Trong Khai phá liệu, tốn phân thành loại chính: Phân lớp liệu, Dự đốn liệu, Tìm luật liên kết (Association Rule), Phân cụm liệu 1.3 Phân cụm liệu 1.3.1 Khái niệm Phân cụm liệu Phân cụm liệu kỹ thuật Data Mining, nhằm tìm kiếm, phát cụm, mẫu liệu tự nhiên tiềm ẩn, quan tâm tập liệu lớn, từ cung cấp thơng tin, tri thức hữu ích cho định - 10 - Trong học máy, phân cụm liệu ñược xem vấn đề học khơng có giám sát, phải ñi giải vấn ñề tìm cấu trúc tập hợp liệu chưa biết trước thông tin lớp hay thơng tin tập ví dụ huấn luyện Trong lĩnh vực khai thác liệu, vấn ñề nghiên cứu phân cụm chủ yếu tập trung vào tìm kiếm phương pháp phân cụm hiệu tin cậy sở liệu lớn Trong lĩnh vực khai phá liệu Web, phân cụm khám phá nhóm tài liệu quan trọng, có nhiều ý nghĩa mơi trường Web Các lớp tài liệu trợ giúp cho việc khám phá tri thức từ liệu 1.3.2 Ứng dụng Phân cụm liệu Phân cụm liệu ñược ứng dụng nhiều lĩnh vực như: thương mại, sinh học, thư viện, bảo hiểm, quy hoạch thị, nghiên cứu trái ñất, WWW… 1.3.3 Các tiêu chuẩn Phân cụm liệu Phân cụm thách thức lĩnh vực nghiên cứu chỗ ứng dụng tiềm chúng đưa yêu cầu ñặc biệt chúng Sau ñây yêu cầu phân cụm KPDL: - Có khả mở rộng - Khả thích nghi với kiểu thuộc tính khác - Khám phá cụm với hình dạng - Tối thiểu lượng tri thức cần cho xác ñịnh tham số đầu vào Khả thích nghi với liệu nhiễu - Ít nhạy cảm với thứ tự liệu vào - Số chiều lớn - Phân cụm có tính ràng buộc - 12 - khơng gian d chiều Xi =(xi1,xi2,…xid)(i= 1, n ) cho hàm tiêu chuẩn: đạt giá trị tối thiểu Trong đó: mi trọng tâm cụm Ci, khoảng cách hai ñối tượng 1.4 Đề xuất giải pháp 1.4.1 Đặt vấn đề Máy tìm kiếm giúp tìm kiếm thơng tin cần thiết phân tán mạng internet, danh sách tài liệu trả theo truy vấn ñã ñược xác ñịnh thứ hạng quan trọng nó, thơng thường người dùng khó ñưa ñịnh xác ñối với tài liệu khả gây nhập nhằn danh sách trả người dùng khơng đủ kiên nhẫn ñể duyệt qua tất tài liệu Để thu thập thơng tin có ý nghĩa ñưa giải pháp là: phân cụm tài liệu trả từ máy tìm kiếm để chọn cụm tài liệu phù hợp phục vụ cho mục ñích sử dụng Như vậy, giải pháp ñược ñưa ñồng nghĩa với việc ñi giải tốn tìm kiếm phân cụm tài liệu web Trên sở áp dụng lý thuyết khai phá liệu, giải tốn 1.4.2 Các u cầu • Tính phù hợp • Tính đa hình • Sử dụng mẩu thơng tin • Tốc độ • Tính gia tăng 1.4.3 Hướng tiếp cận - 13 - Thay dựa vào liên kết trang để xác định trọng số cho trang, ta tiếp cận theo hướng khác dựa vào nội dung tài liệu ñể xác ñịnh trọng số, tài liệu "gần nhau" nội dung quan trọng tương đương thuộc nhóm, nhóm gần với câu truy vấn quan trọng Cách tiếp cận giải vấn đề sau: + Kết tìm kiếm ñược phân thành cụm chủ ñề khác nhau, tùy vào yêu cầu cụ thể mà người dùng xác ñịnh chủ ñề mà họ cần + Quá trình tìm kiếm xác định trọng số cho trang chủ yếu tập trung vào nội dung trang dựa vào liên kết trang + Giải ñược vấn ñề từ/cụm từ ñồng nghĩa câu truy vấn người dùng + Có thể kết hợp phương pháp phân cụm lĩnh vực khai phá liệu với phương pháp tìm kiếm có 1.4.4 Quá trình tìm kiếm phân cụm tài liệu Quá trình bao gồm bước sau: 1.4.4.1 Tìm kiếm liệu web Nhiệm vụ chủ yếu giai ñoạn dựa vào tập từ khóa tìm kiếm để tìm kiếm trả tập gồm tồn văn tài liệu, tiêu đề, mơ tả tóm tắt tài liệu, URL,… tương ứng với trang Dữ liệu lưu trữ vào CSDL ñể tiếp tục ñược xử lý 1.4.4.2 Tiền xử lý biểu diễn liệu Quá trình làm liệu chuyển dịch tài liệu thành dạng biểu diễn thích hợp bao gồm bước: • Chuẩn hóa văn • Xóa bỏ từ dừng • Kết hợp từ có gốc - 14 - • Xây dựng từ điển • Tách từ, số hóa văn biểu diễn tài liệu 1.4.4.3 Phân cụm tài liệu: Sau tìm kiếm, trích rút liệu tiền xử lý, sử dụng kỹ thuật phân cụm ñể phân cụm tài liệu thuật tốn K-means nêu 1.4.5 Ứng dụng Với hướng tiếp cận trên, tốn Tìm kiếm Phân cụm tài liệu web áp dụng việc xây dựng hệ thống thu thập tin tự ñộng Việc tìm kiếm thơng tin internet tận dụng mạnh Search Engine Internet nay, việc phân cụm kết tìm kiếm thuật tốn K-means đem lại cụm tài liệu với ñộ tương tự tài liệu cụm cao từ hỗ trợ người dùng ñịnh việc chọn lựa cụm tài liệu để phục vụ cho mục đích - 15 - Chương 2: PHÂN TÍCH THIẾT KẾ HỆ THỐNG 2.1 Hiện trạng nhu cầu Xây dựng hệ thống thu thập thông tin tự ñộng phục vụ cập nhật nội dung cho trang TTĐT việc làm cần thiết Trang TTĐT Quảng nam có số lượng truy cập lớn nhu cầu tìm kiếm thơng tin cao Hiện chủ đề “Xây dựng nơng thơn mới” chủ đề quan tâm nhất, thơng tin chủ ñề ñược ñăng nhiều báo bộ, ngành, ñịa phương cần ñược thu thập trang TTĐT Quảng Nam ñể phục vụ nhu cầu nhân dân tỉnh Các thông tin thu thập ñăng tải lại trang TTĐT Quảng Nam phải có nội dung thật phù hợp với chủ đề thơng tin thống, không lấy từ nguồn báo không rõ ràng 2.2 Yêu cầu hệ thống 2.2.1 Cơ sở lý thuyết áp dụng - Hệ thống ñược xây dựng sở áp dụng phương pháp phân cụm tài liệu web trả máy tìm kiếm - Thuật tốn phân cụm áp dụng thuật tốn K-means (với số cụm tùy chọn) - Các lý thuyết hỗ trợ độ đo dộ tương tự, chuẩn hóa, tách từ, biễu diễn liệu theo vecto khơng gian áp dụng 2.2.2 Xác ñịnh yêu cầu hệ thống 2.2.2.1 Yêu cầu phi chức - Hệ thống ñược phát triển ñể tích hợp phục vụ cho trang TTĐT Quảng Nam phải thiết kế tn theo mơ hình Portal sử dụng (Liferay) - Đảm bảo yếu tố tốc độ q trình xử lý thu thập phân cụm tài liệu - 16 - - Hệ thống ñược xây dựng với module chức chuyên trách giao diện dễ sử dụng, tạo ñiều kiện dễ dàng cho người biên tập tin 2.2.2.2 Yêu cầu chức Đối với thành viên Ban biên tập: - Hệ thống cho phép quản lý cấu hình hệ thống - Có thể xem kết tập tài liệu tìm kiếm theo từ khóa trả từ máy chủ Google - Có thể xem kết phân cụm - Có thể xuất tài liệu cụm tài liệu lên trang chủ Đối với người truy cập vào Trang TTĐT: - Có thể xem tin tức thu thập từ Internet trang chủ - Tin tức ñược hiển thị bao gồm tiêu ñề trích dẫn, ñể xem chi tiết tin bài, người dùng kích chuột vào tiêu đề viết trích dẫn 2.3 Mơ hình hoạt động hệ thống Q trình hoạt động hệ thống ñược thực qua giai ñoạn sau ñây: Giai ñoạn 1: Lấy liệu trả từ máy tìm kiếm theo nội dung truy vấn Đễ lấy ñược liệu danh sách trả từ máy tìm kiếm, chức Crawler thực download tài liệu lưu trữ vào sở liệu Giai ñoạn 2: ñây giai ñoạn chuẩn bị liệu bao gồm tiền xử lý, chuẩn hóa biểu diễn liệu trước thực phân cụm Giai ñoạn 3: chức phân cụm tài liệu tiến hành phân cụm liệu ñã thu thập thành cụm với ñộ tương tự tài liệu cụm gần Giai ñoạn 4: ñánh giá lựa chọn cụm tài liệu ñể phát hành lên trang chủ website - 17 - Hình minh họa mơ hình hoạt động hệ thống: Hình 2.2: Mơ hình hoạt động hệ thống thu thập tin tự ñộng 2.4 Chức hệ thống Dựa mơ hình hoạt động hệ thống ta thiết kế thành phần chức sau:  Quản lý hệ thống: quản lý cấu hình hệ thống  Lập từ điển:Xây dựng từ ñiển ñể phục vụ cho việc tách từ vecto hóa tài liệu chuẩn bị cho q trình phân cụm tài liệu  Lấy liệu:Thành phần Crawler hệ thống download tập tài liệu từ danh sách trả máy tìm kiếm sau lưu vào CSDL ñể tiếp tục tiền xử lý trước - 18 - phân cụm  Xử lý liệu phân cụm:Hệ thống tiến hành tiền xử lý liệu trả từ máy chủ tìm kiếm thực phân cụm Đầu cụm liệu ñược gom theo chủ ñề nhỏ với mức ñộ tương ñồng tài liệu cụm  Đánh giá chọn kết xuất bản:Đây bước người biên tập ñưa ñịnh chọn cụm tài liệu cần xuất lên trang chủ Quá trình thiết lập tự động dựa vào tiêu chí đánh giá độ tương tự cụm với chủ ñề theo tiêu chuẩn ñánh giá ñịnh trước  Biễu diễn tài liệu trang chủ: liệu ñược phát hành lên trang chủ phục vụ nhu cầu truy cập 2.5 Phân tích thiết kế hệ thống 2.5.1 Xác ñịnh Actor - Người biên tập: quản lý trình thu thập, xử lý, phân cụm xuất tài liệu - Người truy cập: Xem tài liệu ñược xuất trang chủ 2.5.2 Xác ñịnh Use Case Ta xác ñịnh ñược use case sau ñây: Đăng nhập, Quản lý hệ thống, Lấy liệu, Xây dựng từ ñiển, Xử lý phân cụm, Xuất tài liệu, Truy cập tài liệu - 19 - 2.5.3 Sơ đồ Use Case Hình 2.3 : Sơ đồ Use case hệ thống thu thập tin tự ñộng 2.5.4 Đặc tả Use Case Bao gồm ca sử dụng đặc tả với thơng tin : tác nhân, mơ tả, tiền điều kiện, hậu điều kiện Các use case bao gồm: Xây dựng từ ñiển, Lấy liệu, Xử lý phân cụm, Xuất tài liệu, Truy cập tài liệu 2.5.5 Biểu ñồ Chúng ta có biểu đồ sau: Đăng nhập, Quản lý, Xây dựng từ ñiển, Lấy liệu, Xử lý phân cụm, Xuất tài liệu, Truy cập tài liệu - 20 - 2.5.6 Biểu ñồ hoạt ñộng Xây dựng biểu ñồ hoạt ñộng cho ca sử dụng Lấy liệu 2.5.7 Biểu đồ lớp Dựa vào mơ tả hệ thống Use case, ta xác định lớp hệ thống thu thập tin tự ñộng sau: Lớp Dictionary : lưu trữ thơng tin từ điển Lớp Document : lưu trữ tài liệu ñược lấy từ internet Lớp Cluster: lưu trữ thông tin cụm liệu sau phân cụm Lớp DocumentIndex: Lưu trữ thơng tin q trình làm liệu tách từ Lớp ClusterIndex: Lưu trữ kết phân cụm 2.5.8 Thiết kế sở liệu 2.5.8.1 Các bảng liệu Document, Dictionary, Cluster, DocumentIndex, ClusterIndex 2.5.8.1 Mơ hình sở liệu quan hệ Hình 2.13: Mơ hình sở liệu quan hệ ... chọn đề tài: "Xây dựng hệ thống thu thập thơng tin tự động phục vụ cập nhật nội dung cho trang web" Các nội dung nghiên cứu luận văn : - Tìm hiểu tổng quan kỹ thu? ??t thu thập thông tin Internet,... Quảng Nam Mục tiêu nhiệm vụ Nắm vững sở lý thuyết khai phá liệu kỹ thu? ??t phân cụm tài liệu web, qua xây dựng hệ thống thu thập thơng tin tự động phục vụ cập nhật nội dung trang TTĐT Quảng Nam, kết... vào việc Xây dựng hệ thống thu thập tin tự ñộng hỗ trợ thu thập biên tập tin tức từ nguồn Internet, phục vụ nhu cầu người truy cập cách tập trung tin tức liên quan ñến chủ ñề cần thu thập Trang