ĐẠI HỌC QUỐC GIA TH ÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  BÀI THU HOẠCH MÔN: KHAI PHÁ DỮ LIỆU VÀ KHO DỮ LIỆU Đề tài: Ứng dụng khai phá dữ liệu trong văn bản Giảng viên hướng dẫn : PGS. TS ĐỖ PHÚC Học viên thực hiện : NGUYỄN THỊ DIỆU ANH MSHV : CH1101064 TP HCM, ngày 22 tháng 11 năm 2012 LỜI NÓI ĐẦU BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Hiện nay, nhu cầu tìm kiếm các thông tin hữu ích trong các nguồn dữ liệu lớn đang là xu hướng phát triển mạnh mẽ. Các ứng dụng công nghệ thông tin với cơ sở dữ liệu khổng lồ góp phần không nhỏ trong tất cả các lĩnh vực đời sống, xã hội, kỹ thuật, quản lý, kinh tế mang lại nguồn lợi lớn cho các doanh nghiệp và người dùng. Việc khai thác nguồn thông tin từ các cơ sở dữ liệu lớn không chỉ dựa vào những phương pháp truyền thống, mà còn vận dụng từ những kỹ thuật, phương pháp phân tích tổng hợp thông tin. Lượng thông tin quyết định tuy nhỏ nhưng là phần cốt lõi, có giá trị cao trong các tiến trình ra quyết định. Khai phá dữ liệu là quá trình trích lọc những tri thức hoặc những mẫu tiềm ẩn và hữu ích từ những sự kiện rời rạc. Tính ứng dụng cao của khai phá dữ liệu là thách thức và xu hướng phát triển của ngành CNTT. Một trong những lĩnh vực đang được quan tâm và đặt ra nhiều bài toán đó là khai phá dữ liệu văn bản. Quá trình này phân tích và trích lọc ra những thông tin có chất lượng cao trong các văn bản dựa vào các mô hình học thống kê, phân tích, xử lý, đánh giá và cho kết quả. Việc phát triển khai thác dữ liệu văn bản đang được vận dụng vào thực tiễn rất nhiều như phân loại văn bản, email, xác định chủ đề văn bản, lấy thông tin quyết định, giúp cho quá trình xử lý văn bản của con người trở nên nhanh gọn và chính xác. Trong giới hạn bài thu hoạch này, tôi xin trình bày sơ lược những kiến thức nền tảng trong khai thác dữ liệu và khai thác dữ liệu văn bản. Từ đó vận dụng để viết một ứng dụng nhỏ trong việc phân tích, xử lý văn bản. Chân thành cảm ơn PGS. TS Đỗ Phúc đã tận tình chỉ dẫn, giảng dạy nhiệt tình những kiến thức nền tảng cho tôi có cơ hội tìm hiểu và nghiên cứu các lĩnh vực này. Đồng cảm ơn quý thầy cô quản lý phòng đào tạo sau đại học, trường đại học CNTT đã tạo mọi điều kiện tốt nhất để chúng tôi học tập. Trân trọng! MỤC LỤC LỜI NÓI ĐẦU 2 I. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 4 Nguyễn Thị Diệu Anh (T11 - 2012) Page 2 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining 1. Khái niệm 4 2. Sơ lược lịch sử phát triển các mô hình CSDL 5 3. Khám phá tri thức8 4. Kỹ thuật khai thác dữ liệu 10 II. KHAI THÁC DỮ LIỆU VĂN BẢN 11 1. Các bài toán khai thác dữ liệu văn bản 11 2. Kiến trúc khai thác văn bản 13 3. Phương pháp kỹ thuật 15 a. Tìm tập phổ biến và luật kết hợp 15 b. Xây dựng vector đặc trưng của văn bản 17 c. Phân lớp 19 d. Gom cụm 20 III. DEMO KHAI THÁC VĂN BẢN SỬ DỤNG BIDS 22 1. Giới thiệu công cụ BIDS 22 2. Mô tả bài toán 23 3. Demo 24 KẾT LUẬN 29 TÀI LIỆU THAM KHẢO 30 Nguyễn Thị Diệu Anh (T11 - 2012) Page 3 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining I. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1. Khái niệm Trong thời đại bùng nổ thông tin như hiện nay, con người tiếp cận lượng dữ liệu khổng lồ qua các kênh khác nhau như internet, truyền thông, trực tiếp hay gián tiếp, những ứng dụng trả về kết quả liên tục cập nhật như hình ảnh vệ tinh, điểm trên sàn chứng khoán, giá cả trên thị trường, Thậm chí sự kết nối ở mọi lúc, mọi nơi khi mà những công cụ nhỏ gọn cầm tay như điện thoại cũng có chức năng đầy đủ của một chiếc máy tính. Chỉ với một từ khóa tìm kiếm trên internet cũng đã cho chúng ta hàng ngàn kết quả và link liên kết. Vậy làm sao để từ những thông tin đó ta trích lọc được những lượng thông tin cốt lõi, hữu ích? Khai phá dữ liệu là tiến trình khám phá tri thức tiềm ẩn từ các cơ sở dữ liệu lớn, nhằm rút trích các thông tin hữu ích. Là tiến trình khái quát các sự kiện rời rạc trong dữ liệu thành các tri thức có tính khái quát cao, mang lại thông tin súc tích nhưng nhiều giá trị quyết định. Khai phá dữ liệu là một bước trong quy trình phát hiện tri thức (Knowledge Discovery in database – KDD). Với những tính năng đó, khai thác dữ liệu phát huy được tác dụng lớn khi xử lý trong hệ thống cơ sở dữ liệu lớn hoặc không có cấu trúc, khi mà những phương pháp phân tích tổng hợp truyền thống không đủ để con người nhận định và xử lý. Hay nói cách khác, việc khai thác dữ liệu giúp cho con người dễ khái quát hóa, sắp xếp lại trật lượng thông tin đa chiều theo tính hữu ích nó mang lại. Việc khai thác dữ liệu hiện nay có thể được phân chia thành hai thể loại: khai thác dữ liệu theo hướng kiểm tra và khai thác dữ liệu theo hướng khám phá. Khai thác dữ liệu theo hướng kiểm tra: người dùng đề xuất những giả thiết và hệ thống kiểm tra tính đúng đắn của giả thiết. Khai thác dữ liệu theo hướng khám phá: tìm kiếm các tri thức tiềm ẩn trong cơ sở dữ liệu bằng các tiến hành xem xét tất cả các giả thiết khả dĩ. Việc tìm kiếm này cần phải có những thuật toán heuristic thu gọn không gian lời giải nhằm hỗ trợ quy trình được nhanh gọn. Nguyễn Thị Diệu Anh (T11 - 2012) Page 4 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Những thông tin được rút trích có thể được dùng để giải thích dữ liệu, cung cấp các thông tin hữu ích của các đối tượng hoặc dự đoán giá trị của các đối tượng mới. Với những sự phát triển vượt bậc của các công cụ thu thập dữ liệu và công nghệ lưu trữ dữ liệu, việc khai thác dữ liệu không chỉ đơn giản là rút trích các thông tin hữu ích mà còn phải khám phá các mối quan hệ giữa các đối tượng, từ đó đưa ra những quy luật, xu hướng trong các lĩnh vực liên quan. 2. Sơ lược lịch sử phát triển các mô hình CSDL Vào những năm 1960, cơ sở dữ liệu theo mô hình mạng và mô hình phân cấp xuất hiện. Loại mô hình này giúp cho người dùng phân chia cơ sở dữ liệu thành những nơi lưu trữ khác nhau và tạo điều kiện thuận lợi trong quá trình quản lý, thao tác, đồng thời việc phân quyền làm cho người dùng chuyên biệt hóa các tính năng tùy thuộc vào mức độ quản trị cơ sở dữ liệu. Hình 1: Ví dụ mô hình CSDL phân cấp Nguyễn Thị Diệu Anh (T11 - 2012) Page 5 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Hình 2: Mô hình cơ sở dữ liệu mạng Từ những năm 1970, E. Codd đề xuất lý thuyết về cơ sở dữ liệu quan hệ , các hệ quản trị cơ sở dữ liệu quan hệ, đặt nền tảng cho nhiều kỹ thuật tổng hợp thông tin có cấu trúc. Mô hình dữ liệu này cho phép người dùng thao tác các đối tượng trên bảng thông tin hai chiều, mỗi bảng mô tả các thuộc tính và giá trị của thuộc tính, các quan hệ giữa các bảng trong hệ thống. Mô hình này trực quan, dễ thiết kế và truy vấn, được ứng dụng rộng rãi và đảm bảo tính toàn vẹn dữ liệu. Mô hình này tuy cũ nhưng được sử dụng rộng rãi bởi nó có những ưu điểm vượt trội, đặc biệt là tính độc lập dữ liệu và hình thức hóa toán học tốt. Những năm 1980, lý thuyết về cơ sở dữ liệu quan hệ được hoàn thiện, xuất hiện các cơ sở dữ liệu cao cấp như hướng đối tượng, suy diễn, vv và các hệ cơ sở dữ liệu ứng dụng cao như lĩnh vực không gian, khoa học, công nghiệp. Nguyễn Thị Diệu Anh (T11 - 2012) Page 6 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Hình 3: Tổng quan về mô hình cơ sở dữ liệu quan hệ Những năm 1999 – 2000: phát triển các kỹ thuật khai thác dữ liệu và kho dữ liệu, cơ sở dữ liệu đa phương tiện và cơ sở dữ liệu web. Khai thác dữ liệu là một công đoạn trong tiến trình khám phá tri thức từ cơ sở dữ liệu (Knowledge Discovery in Database – KDD), bao gồm: - Xác định vấn đề và không gian dữ liệu để giải quyết vấn đề (problem understanding and data understanding) - Chuẩn bị dữ liệu (Data preparation): làm sạch dữ liệu (data cleaning), tích hợp dữ liệu (data integration), chọn dữ liệu (data selection), biến đổi dữ liệu (data transformation) - Khai thác dữ liệu (Data mining): xác định nhiệm vụ khai thác dữ liệu và lựa chọn kỹ thuật khai thác dữ liệu. Kết quả là một nguồn tri thức thô. - Đánh giá (Evaluation): dựa trên một số tiêu chí tiến hành kiểm tra và lọc nguồn tri thức thu được. - Triển khai (Deployment) Nguyễn Thị Diệu Anh (T11 - 2012) Page 7 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Cùng với những xu hướng phát triển mạnh mẽ của các mô hình lưu trữ và xử lý dữ liệu, khai thác dữ liệu cho phép thu lại những hiểu biết rõ ràng và sâu sắc , giúp phát hiện những xu thế phát triển của những thông tin quá khứ, dự báo mang tính thống kê, gom cụm và phân loại dữ liệu từ kho dữ liệu. Khai thác dữ liệu được sử dụng hiệu quả trong các lĩnh vực: - Xây dựng mô hình dự báo từ dữ liệu nền tảng: khai thác khả năng dự báo tiềm ẩn trong cơ sở dữ liệu, gợi ý các chiều và nhóm dữ liệu có khả năng chứa các tri thức hữu ích. - Tạo tóm tắt và các báo cáo rõ ràng: Tự động tìm những phân đoạn trong dữ liệu. Tìm những phân đoạn mà nhà phân tích chưa biết hoặc chưa nhận thấy nguồn tri thức trong đó. - Cung cấp cơ chế hỗ trợ ra quyết định: dự báo và mô hình hóa. 3. Khám phá tri thức Các công đoạn của tiến trình khám phá tri thức bao gồm:  Chuẩn bị dữ liệu:  Chọn lọc dữ liệu: trong giai đoạn này chúng ta chỉ trích rút dữ liệu cần thiết từ cơ sở dữ liệu tác nghiệp vào cơ sở dữ liệu riêng cần thiết cho các giai đoạn sau. Giai đoạn này gặp khó khăn bởi dữ liệu nằm rải rác nhiều nơi khác nhau và không nhất quán về kiểu, về cấu trúc, tính ổn định của chất lượng dữ liệu đầu vào không cao.  Làm sạch dữ liệu: Cần tiến hành xóa bỏ những dữ liệu không cần thiết, nhất là những dữ liệu sai, bởi cần đảm bảo tính đúng đắn trong cơ sở dữ liệu. Giai đoạn này có thể được thực hiện nhiều lần vì trong quá trình khai thác dữ liệu có thể xuất hiện những bất thường, và tùy vào hệ thống để lựa chọn những tiến trình cấp thấp hay cấp cao. Các thao tác trong giai đoạn này là:  Chống trùng lặp  Giới hạn vùng giá trị  Làm giàu dữ liệu: giai đoạn này nhằm bổ sung thêm nhiều loại thông tin vào cơ sở dữ liệu gốc từ những cơ sở dữ liệu khác. Cần phải giải quyết vấn đề làm sao để kết hợp thông tin giữa dữ liệu gốc và dữ liệu bổ sung, khôi phục các quan hệ trong dữ liệu gốc sau khi đã làm giàu Nguyễn Thị Diệu Anh (T11 - 2012) Page 8 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining  Mã hóa dữ liệu: Chuyển đổi kiểu dữ liệu về những dạng thuận tiện để tiến hành các thuật toán khám phá dữ liệu. Tùy vào dữ liệu khác nhau để lựa chọn các cách mã hóa khác nhau cho phù hợp và đảm bảo tính toàn vẹn thông tin dữ liệu, ví dụ: - Dữ liệu kiểu chuỗi: phân vùng - Dữ liệu kiểu số: chia theo hệ số để chuyển về vùng dữ liệu nhỏ hơn - Nam – Nữ: biến đổi sang dạng bit: 1 – 0  Khai thác dữ liệu: điều chỉnh đúng các mô hình dữ liệu, sử dụng chức năng biến đổi dữ liệu để trình diễn dữ liệu.  Tường trình, báo cáo kết quả: Giải thích và hiển thị trực quan các kết quả khai thác dữ liệu để hỗ trợ việc đánh giá chất lượng dữ liệu, mô hình dữ liệu được lựa chọn có phù hơp hay không và mô tả mô hình . Mỗi bước có thể được thực hiện trên sự tương tác với người dùng, trừ việc lưu trữ dữ liệu, và một số bước có thể thực hiện theo phương pháp thủ công. Hình 4: Mô tả tiến trình khám phá tri thức 4. Các kỹ thuật khai thác dữ liệu a. Khai thác tập phổ biến và luật kết hợp Khám phá các tập giá trị thuộc tính xuất hiện phổ biến trong các đối tượng dữ liệu. Từ tập phổ biến tạo ra các luật kết hợp giữa các giá trị thuộc tính nhằm phản ánh khả năng xuất hiện đồng thời các giá trị thuộc tính trong tập các đối tượng. Ví dụ: Luật kết hợp A → B: Nếu xuất hiện đối tượng A thì sẽ xuất hiện đối tượng B. (Có thể tính xác suất của luật để thể hiện chính xác) Nguyễn Thị Diệu Anh (T11 - 2012) Page 9 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Dựa vào luật kết hợp để người dùng có thể phân tích kết quả, xu hướng và lựa chọn các đối tượng có liên quan, ảnh hưởng lẫn nhau. b. Khai thác mẫu tuần tự Là tiến trình khai thác các mẫu tuần tự phổ biến nhằm phản ánh mối quan hệ giữa các biến cố trong cơ sở dữ liệu hướng thời gian. Dạng của luật này là A → B phản ánh sự xuất hiện của biến cố A sẽ dẫn đến việc xuất hiện kế tiếp biến cố Y. Nhờ vào mẫu tuần tự để khám phá các xu thế hành vi của đối tượng. c. Phân lớp dữ liệu Khám phá các luật phân loại hay đặc trưng cho các dữ liệu được xếp lớp. Tập dữ liệu học bao gồm tập đối tượng đã được xác định lớp dựa trên các đặc trưng. Phân lớp có vai trò quan trọng trong tiến trình dự báo các khuynh hướng của các đối tượng hay quy luật phát triển. d. Gom cụm Các đối tượng cùng đặc trưng, tính chất, có mối quan hệ mật thiết sẽ được gom cụm dựa trên mức độ tương tự sao cho giữa các đối tượng cùng một cụm có mức độ tương tự đạt cực đại, còn giữa các cụm khác nhau là cực tiểu. Việc gom cụm giúp khái quát, tổng kết nhanh chóng nội dung của khối dữ liệu lớn. Do khối lượng dữ liệu trong lĩnh vực này thường là lớn, nhiều sự thay đổi, nhiều nguồn dữ liệu khác nhau nên việc xử lý cần có những thuật toán và công cụ tốt để giải quyết vấn đề tốc độ xử lý, dữ liệu được trích xuất và thông tin đầu ra phát huy đầy đủ tính hiệu quả. Nguyễn Thị Diệu Anh (T11 - 2012) Page 10 [...]... thác dữ liệu Nguyễn Thị Diệu Anh (T11 - 2012) Page 25 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Nguyễn Thị Diệu Anh (T11 - 2012) Page 26 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Mạng vector đặc trưng Term vector Nguyễn Thị Diệu Anh (T11 - 2012) Page 27 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong. ..BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining II KHAI THÁC DỮ LIỆU VĂN BẢN Khai thác văn bản là một trong những hướng nghiên cứu mới, có nhiều ứng dụng cụ thể trong kho dữ liệu văn bản, vận dụng các kỹ thuật khai thác dữ liệu Khai thác văn bản tập trung chủ yếu vào việc phân tích, phát hiện các mối quan hệ tron các tập tin văn bản như text, bản tính, email,... BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Tạo cơ sở dữ liệu lưu trữ tập phổ biến các từ B2 Tiến hành các bước khai thác dữ liệu thực hiện bằng công cụ BIDS và xem kết quả ở các report: Nguyễn Thị Diệu Anh (T11 - 2012) Page 24 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Ma trận phân lớp Một số report trong tiến trình khai. .. Page 12 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Lựa chọn tài Xây dựng dữ Rút trích Lưu trữ dữ Khai phá dữ Trình diễn dữ nguyên liệu thông tin liệu vào kho liệu liệu Hình 5: Khai thác văn bản - Thu thập dữ liệu: Là quá trình lựa chọn tài nguyên và xây dựng cơ sở dữ liệu Trong giai đoạn này cần nhận biết tài nguyên nào là cần thiết, các lĩnh vực ứng dụng liên quan... 28 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining IV KẾT LUẬN Trong phạm vi bài thu hoạch này, tôi đã cố gắng hết sức để tiếp cận các phương pháp và kỹ thuật khai thác dữ liệu, đặc biệt là kỹ thuật khai thác dữ liệu trong văn bản Tuy nhiên do hạn chế về mặt thời gian nên chưa thật sự hoàn chỉnh và chưa tích hợp được trong một ứng dụng xử lý nguồn dữ liệu văn bản mà... (T11 - 2012) Page 29 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining TÀI LIỆU THAM KHẢO 1 Đỗ 2 Đỗ Phúc (2006) – Giáo trình Khai thác dữ liệu, nhà xuất bản ĐH Quốc gia TP HCM Phúc (2012) – Bài giảng môn Khai phá tri thức và kho dữ liệu, Cao học khóa 6, ĐH CNTT 3 Nguyễn Thị Thanh Tâm (2010) – Tóm tắt luận văn thạc sỹ: Tiếp cận khai thác dữ liệu văn bản, 4 Thomas Kejser... (T11 - 2012) Page 11 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining  Trích chọn từ khóa: Đưa ra các từ khóa quan trọng nhất của văn bản, thể hiện được đặc thù của nội dung văn bản thông qua các từ khóa Tùy vào mục đích cụ thể của việc khai thác thông tin văn bản mà chúng ta vận dụng những phương pháp, kỹ thuật khác nhau Việc khai thác văn bản có thể hỗ trợ cho chúng... hiện văn bản như file khác nhau, thể thức lưu trữ, - Siêu dữ liệu: một số kho văn bản khi sử dụng phải được trả phí và chứa siêu dữ liệu Đưa dữ liệu vào kho: xác định siêu dữ liệu, rút trích thông tin, lưu dữ liệu vào kho (tiền xử lý) Rút trích đặc trưng: có những tài nguyên sau đây dùng để nhận diện ý nghĩa văn bản: Nguyễn Thị Diệu Anh (T11 - 2012) Page 13 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng. .. đặc trưng văn bản 2 Dùng đồ thị đồng hiện liên kết và dãy từ phổ biến để điều chỉnh các thành phần của vector đặc trưng văn bản 3 Huấn luyện mạng Kohonen 4 Truy vấn văn bản trong thư viện số qua Kohonen Nguyễn Thị Diệu Anh (T11 - 2012) Page 20 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Một ứng dụng tiêu biểu trong loại này là WEB-SOM, ta có thể sử dụng công cụ... sở dữ liệu có thể được kết nối trên data source và dễ dàng thao tác Với mô hình các báo cáo trực quan, dễ dàng lựa chọn thuật toán phát triển project, BIDS là một công cụ mạnh để chúng ta khai thác các nguồn tri thức tiềm ẩn trong cơ sở dữ liệu 2 Mô tả bài toán Nguyễn Thị Diệu Anh (T11 - 2012) Page 22 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Dữ liệu được sử dụng . dựng dữ liệu Rút trích thông !n Lưu trữ dữ liệu vào kho Khai phá dữ liệu Trình diễn dữ liệu BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Hình 5: Khai. mining II. KHAI THÁC DỮ LIỆU VĂN BẢN Khai thác văn bản là một trong những hướng nghiên cứu mới, có nhiều ứng dụng cụ thể trong kho dữ liệu văn bản, vận dụng các kỹ thuật khai thác dữ liệu. Khai thác văn. 6 BTH Khai phá dữ liệu và kho dữ liệu - Ứng dụng khai phá dữ liệu trong Text mining Hình 3: Tổng quan về mô hình cơ sở dữ liệu quan hệ Những năm 1999 – 2000: phát triển các kỹ thuật khai thác dữ liệu