Đang tải... (xem toàn văn)
LUẬN VĂN NGHIÊN CỨU CÔNG NGHỆ KHAI PHÁ DỮ LIỆU VĂN BẢN, ÁP DỤNG CHO CÁC TRANG TIN TỨC TRÊN CÁC THIẾT BỊ CẦM TAY (PDAS & SMARTPHONES)
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ NGỌC ANH NGHIÊN CỨU CÔNG NGHỆ KHAI PHÁ DỮ LIỆU VĂN BẢN, ÁP DỤNG CHO CÁC TRANG TIN TỨC TRÊN CÁC THIẾT BỊ CẦM TAY (PDAS & SMARTPHONES) LUẬN VĂN THẠC SỸ KHOA HỌC HÀ NỘI-2006 Kênh tin tức điện tử cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ NGỌC ANH NGHIÊN CỨU CÔNG NGHỆ KHAI PHÁ DỮ LIỆU VĂN BẢN, ÁP DỤNG CHO CÁC TRANG TIN TỨC TRÊN CÁC THIẾT BỊ CẦM TAY (PDAS & SMARTPHONES) NGÀNH CÔNG NGHỆ THÔNG TIN CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: 01.01.10 LUẬN VĂN THẠC SỸ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. HÀ QUANG THỤY HÀ NỘI-2006 Kênh tin tức điện tử cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 2 LỜI CAM ĐOAN Tôi xin cam đoan các kết quả nêu trong luận văn là trung thực và chưa từng được công bố trong các công trình khác. Tác giả luận văn Vũ Ngọc Anh Kênh tin tức điện tử cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 3 MỤC LỤC TÓM TẮT 5 CÁC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT 6 CHÚ GIẢI KÝ HIỆU VÀ MÔ HÌNH 7 CÁC HÌNH MINH HỌA 8 MỞ ĐẦU 9 CHƯƠNG I. XÂY DỰNG KÊNH CUNG CẤP TIN ĐIỆN TỬ TRÊN THIẾT BỊ CẦM TAY 12 1.1. Báo điện tử và công nghệ Internet không dây 12 1.1.1. Báo điện tử - một thành tựu của Internet 12 1.1.2. Sự phát triển của các thiết bị cầm tay 13 1.1.3. Công nghệ kết nối internet không dây 14 1.2. Bài toán xây dựng kênh tin tức điện tử trên thiết bị cầm tay 15 1.2.1. Mô tả bài toán 15 1.2.2. Mô tả các chức năng cơ bản của hệ thống 16 1.3. Hướng tiếp cận giải quyết bài toán 16 Chương II. THUẬT TOÁN RTDM VÀ ỨNG DỤNG TRONG TRÍCH XUẤT TIN 18 2.1. Khái niệm “Chi phí chuyển đổi cây” 18 2.2. Thuật toán RTDM 22 2.3. Áp dụng RTDM trích xuất tin tức tự động 29 2.3.1 Phân cụm trang 31 2.3.2 Trích xuất mẫu chung 32 2.3.3 Khớp dữ liệu 35 2.3.4 Gán nhãn dữ liệu 37 Kênh tin tức điện tử cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 4 Chương III . PHÂN TÍCH THIẾT KẾ HỆ THỐNG 39 3.1.Giới thiệu 39 3.2. Mô hình Use Case: 40 3.2. Mô hình lớp 45 3.4. Danh sách các thực thể 47 3.5. Mô hình thực thể liên kết 48 Chương IV. KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 49 4.1. Giới thiệu chung về hệ thống 49 4.2. Thực nghiệm và đánh giá kết quả 49 KẾT LUẬN 54 TÀI LIỆU THAM KHẢO 55 PHỤ LỤC. MÔ TẢ CHI TIẾT CÁC THỰC THỂ 58 Kênh tin tức điện tử cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 5 TÓM TẮT Luận văn quan tâm nghiên cứu các giải pháp trích chọn thông tin trên Web nhằm xây dựng một hệ thống cung cấp tin tức trên các thiết bị cầm tay thông minh mà tin tức này được trích chọn từ các báo điện tử tiếng Việt. Luận văn sử dụng thuật toán RTDM (Restricted Top-Down Mapping) do Davi de Castro Reis và các đồng tác giả đề xuất [28], một thuật toán được đánh giá rất hiệu quả trong việc trích chọn tin tức tức tự động thông qua việ c phân tích cấu trúc cây. Hiện nay RTDM được dùng như là thành phần lõi chính của hệ thống trích xuất tin tức có tên là AkwanClipping (Akwan Information Technologies, http://www.akwan.com, thuộc công ty Google tại Braxin) cung cấp tin tức hàng ngày của các tờ báo phổ biến nhất tại Braxin. Luận văn đã tiến hành chi tiết và hoàn thiện các phần nội dung không công bố của thuật toán RTDM, đồng thời tiến hành xây dựng một hệ thống kênh cung cấp tin điện tử trên các thiết bị cầm tay thông minh. Hệ th ống thử nghiệm việc trích chọn tin tức trên các báo điện tử tiếng Việt phổ dụng hiện nay và đã cho kết quả đáng khích lệ. Chúng tôi đang tiến hành cải tiến tốc độ làm việc của hệ thống nhằm tiến tới đưa hệ thống vào hoạt động thực tế. Kênh tin tức điện tử cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 6 CÁC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT Từ viết tắt Giải nghĩa RTDM Restricted Top-Down Mapping PDA Personal digital assistant Data extraction Trích xuất dữ liệu Trees Cây biểu diễn cấu trúc trang HTML Edit distance Chi phí chuyển đổi giữa 2 cây (thay thế, chèn, xoá nút) PK Primary Key FK Foreign Key PF Primary & Foreign Key T x Cây biểu diễn trang Web. T x [i] Nút thứ i của cây T x t[i] Cây con có nút gốc tại vị trí thứ i Kênh tin tức điện tử cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 7 CHÚ GIẢI KÝ HIỆU VÀ MÔ HÌNH STT Ký hiệu Giải thích 1 Tiến trình thực hiện một nhiệm vụ nào đó trong hệ thống 2 Tác nhân của hệ thống, đóng vai trò tương tác với hệ thống trong quá trình thực hiện 3 Nguồn thông tin cung cấp cho hệ thống 4 Điều kiện kiểm tra và đưa ra các quyết định tương ứng với các kết quả nhận được 5 Miêu tả sự phụ thuộc lẫn nhau của các đối tượng Kênh tin tức điện tử cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 8 CÁC HÌNH MINH HỌA Hình 3 - Ví dụ về ánh xạ giữa 2 cây 20 Hình 4 – Ví dụ ánh xạ trên-xuống 21 Hình 5 – Một ví dụ về ánh xạ trên xuống hạn chế 23 Hình 6 - Một mẫu tin chi tiết Quốc tế trên trang tienphongonline.com.vn 30 Hình 7: Các bước trích xuất tin tức [28] 31 Hình 8 - Các bước hình thành ne-pattern từ các nhóm 37 Hình 9 : Gói các lớp quản lý các cây HTML Error! Bookmark not defined. Hình 10 : Gói các lớp phục vụ tính toán giá trị RTDM 46 Hình 11 : Gói các lớp quản lý các trang tin tức 46 Kênh tin tức điện tử cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 9 MỞ ĐẦU Sự phát triển của báo điện tử, một thành quả của Internet nói riêng và của Công nghệ thông tin nói chung, đã dẫn tới các thay đổi lớn đối với thói quen đọc báo. Internet với ưu thế về tốc độ và khả năng vươn xa cho phép độc giả có thể tiếp cận tin tức mọi lúc mọi nơi. Với sự tiến bộ không ngừng của công nghệ viễn thông, ngày nay thiết bị cầm tay thông minh ngày càng được phổ biến với giá cả ngày càng hạ và đã trở thành một công cụ đắc lực, bình dân và không thể thay thế. Tốc độ kết nối Internet không dây được cải thiện không chỉ về tốc độ mà cả về phạm vi phủ sóng, trong đó, thế hệ mạng không dây chuẩn WIMAX (IEEE 802.16) cho phép khoảng cách phủ sóng tới 50km và thông lượng tối đa tới 70Mbps. Tất cả những yếu tố trên đây đ ã trở thành tiền đề cho việc đáp ứng nhu cầu xem tin tức trên thiết bị cầm tay, một nhu cầu đã trở thành thiết yếu, hàng ngày, hàng giờ của mỗi người dùng cuối các thiết bị này. Tuy nhiên, việc đọc báo trên các thiết bị cầm tay còn nhiều bất tiện. Khung màn hình hạn chế của thiết bị cầm tay không cho phép hiển thị trang Web được thiết kế cho máy tính để bàn: font chữ thường bị lỗ i khi xem tin tức trên thiết bị cầm tay, các thông tin quảng cáo và banner cũng được tải về cùng với tin tức làm giảm đáng kể tốc độ và gây tràn màn hình… Chính vì vậy, mục đích của luận văn này là xây dựng một hệ thống cho phép dễ dàng và thuận tiện xem tin tức tiếng Việt của báo điện tử bất kỳ trên thiết bị cầm tay thông minh. Luận văn sử dụng thuật toán RTDM (Restricted Top-Down Mapping) do Davi de Castro Reis và các đồng tác giả đề xuất [28], một thuật toán được đánh giá rất hiệu quả trong việc trích xuất tin tức tức tự động thông qua việc phân tích cấu trúc cây. Thuật toán RTDM được cải tiến trên thuật toán trích xuất thông tin Web đã có để áp dụng đặc thù riêng cho bài toán trích xuất tin tức. Qua thực nghiệm trên 35 trang tin tức, thuật toán RTDM cho kết quả trung bình 87.71% trích xuất tin tức thành công không cần có sự can thiệp của con người. Hiện tại, RTDM được sử dụng như là thành phần lõi chính của hệ thống trích xuất tin tức có tên là AkwanClipping (Akwan Information Technologies, http://www.akwan.com, [...]... RTDM [28] Giải pháp này áp dụng định dạng cho các trang tin bất kì có thể xem được trên các màn hình thiết bị cầm tay có kích thước hạn chế b) Chức năng xử lý trang tin - Yêu cầu: xử lý nội dung trang tin cần xem, xác định kiểu trang tin, lọc bỏ các thông tin dư thừa và xây dựng lại trang tin cho phép hiển thị trên thiết bị cầm tay c) Chức năng định dạng hiển thị tin trên các thiết bị cầm tay - Yêu cầu:... tin tức cho các thiết bị cầm tay Vũ Ngọc Anh – K9T3 Trang 15 Kênh tin tức điện tử cho các thiết bị cầm tay 1.2.2 Mô tả các chức năng cơ bản của hệ thống Hệ thống cần thực hiện được các chức năng cơ bản là xác định các tin - mục tin trên các báo điện tử, xử lý trang tin và định dạng hiển thị tin trên các thiết bị cầm tay Dưới đây là một số yêu cầu cơ bản của các chức năng này a) Chức năng xác định các. .. http://vnexpress.net/Vietnam/Vi-tinh/2004/06/3B9D3AA2/ http://www.vnexpress.net/Vietnam/Vi-tinh/2005/12/3B9E4EC3/ 5 http://vnexpress.net/Vietnam/Vi-tinh/2005/12/3B9E511E/ 4 Vũ Ngọc Anh – K9T3 Trang 14 Kênh tin tức điện tử cho các thiết bị cầm tay 1.2 Bài toán xây dựng kênh tin tức điện tử trên thiết bị cầm tay 1.2.1 Mô tả bài toán Mục tiêu của luận văn là nghiên cứu các công nghệ khai phá dữ liệu văn bản, áp dụng cho việc... Ngọc Anh – K9T3 Trang 10 Kênh tin tức điện tử cho các thiết bị cầm tay Phần Kết luận tóm tắt các kết quả chính yếu nhất của luận văn Vũ Ngọc Anh – K9T3 Trang 11 Kênh tin tức điện tử cho các thiết bị cầm tay CHƯƠNG I XÂY DỰNG KÊNH CUNG CẤP TIN ĐIỆN TỬ TRÊN THIẾT BỊ CẦM TAY 1.1 Báo điện tử và công nghệ Internet không dây 1.1.1 Báo điện tử - một thành tựu của Internet Đọc báo chí, xem tin tức là một nhu... kênh tin tức điện tử hỗ trợ cho những người sử dụng có thể đọc tin tức trên thiết bị cầm tay (PDA) Hệ thống này sẽ trích lọc, thu gọn các trang báo cồng kềnh thành các trang tin gọn nhẹ, dễ đọc với sự loại bỏ các thông tin dư thừa, các banner quảng cáo, thu nhỏ các hình ảnh sao cho phù hợp với màn hình hạn chế của các thiết bị cầm tay (Hình 1) Hình 2 mô tả sơ đồ của hệ thống kênh tin tức điện tử cho các. .. điện tử và công nghệ kết nối Internet không dây, tiền đề cho việc ra đời của kênh cung cấp tin điện tử trên các thiết bị cầm tay Mô tả bài toán và hướng tiếp cận giải quyết bài toán xây dựng kênh tin điện tử từ các báo điện tử tiếng Việt trên các thiết bị cầm tay cũng được trình bày Bài toán xây dựng kênh tin tức điện tử trên các thiết bị cầm tay được giải quyết trên cơ sở phân cụm các trang Web trong... xác định các tin - mục tin trên các báo điện tử - Yêu cầu: xác định được các mục tin của các trang báo điện tử, trong các trang chi tiết, hệ thống phải xác định được các vùng tin cần trích xuất, vùng tin có thể loại bỏ Các vùng tin tức sau khi trích xuất sẽ được định dạng lại cho phép hiển thị trên thiết bị cầm tay - Đề xuất giải pháp: Sử dụng kĩ thuật phân tích cấu trúc trang tin sử dụng thuật toán... - Yêu cầu: Hiển thị các trang tin (phân phối giữa hình ảnh, văn bản cho phù hợp để có thể hiển thị tốt trên các thiết bị cầm tay) - Đề xuất giải pháp: Bản thân các trình duyệt trên các thiết bị cầm tay khi kết nối vào một trang bất kì sẽ hiển thị hết nội dung của trang đó, do vậy ta xây dựng một Web site thu nhỏ kích thước của trang Web tin tức Công việc chỉnh sửa này thực hiện trên Web server sẽ làm... tử cho các thiết bị cầm tay Hệ thống được tích hợp vào phục vụ truy nhập Web của các thiết bị cầm tay, cung cấp dịch vụ đọc tin tức PDA Mỗi khi người dùng cuối sử dụng dịch vụ này, hệ thống căn cứ vào các khuôn mẫu đã được nhận biết về mỗi báo điện tử để trích chọn chỉ nội dung tin tức cần thiết cho người dùng Cách làm như vậy rất thích hợp với việc khai thác tin tức từ các thiết bị cầm tay Hình 2... sau: trang chủ” (home page) chỉ hiển thị một số tiêu đề tóm tắt của các mục tin, các trang mục tin có các tin tức theo chủ đề nhất định và các tin này được tóm tắt bằng tiêu đề, hình ảnh đi kèm, và tin tóm lược Những trang tin chi tiết” chứa nội dung tin thường có tiêu đề, tên tác giả, ngày đăng và nội dung Vũ Ngọc Anh – K9T3 Trang 29 Kênh tin tức điện tử cho các thiết bị cầm tay của tin tức Nhiệm . HỌC CÔNG NGHỆ VŨ NGỌC ANH NGHIÊN CỨU CÔNG NGHỆ KHAI PHÁ DỮ LIỆU VĂN BẢN, ÁP DỤNG CHO CÁC TRANG TIN TỨC TRÊN CÁC THIẾT BỊ CẦM TAY (PDAS & SMARTPHONES). HỌC CÔNG NGHỆ VŨ NGỌC ANH NGHIÊN CỨU CÔNG NGHỆ KHAI PHÁ DỮ LIỆU VĂN BẢN, ÁP DỤNG CHO CÁC TRANG TIN TỨC TRÊN CÁC THIẾT BỊ CẦM TAY (PDAS & SMARTPHONES)