i Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Lời cảm ơn BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Trong lời báo cáo luận văn tốt nghiệp “Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch” này, muốn gửi lời cảm ơn biết ơn chân thành tới tất người hỗ trợ, giúp đỡ chuyên môn, vật chất tinh thần trình thực Đồ án Trước hết, xin chân thành cảm ơn TS Nguyễn Kim Anh, môn Hệ LUẬN VĂN THẠC SĨ KHOA HỌC thống thông tin, Khoa Công nghệ thông tin trường Đại học Bách khoa Hà Nội, người trực tiếp hướng dẫn, nhận xét, giúp đỡ suốt trình thực luận văn Xin chân thành cảm ơn Khoa Công nghệ thông tin, Trung tâm Đào tạo TÌM HIỂU VỀ ĐỐI SÁNH LƯỢC ĐỒ VÀ XÂY DỰNG ỨNG DỤNG VNMATCH Bồi dưỡng sau đại học Trường Đại học Bách Khoa Hà Nội giúp đỡ suốt trình học tập nghiên cứu Tôi muốn gửi lời cảm ơn tới TS Đỗ Hồng Hải1, tác giả hệ thống COMA++; anh Lê Hồng Phương2 tác giả vnTokenizer, vnLTag; Enrico May, NGÀNH: CÔNG NGHỆ THÔNG TIN sinh viên nghiên cứu dự án Cupid Tôi xin bày tỏ lòng biết ơn đến gia đình người bạn thân giúp đỡ, động viên nhiều suốt trình học tập làm luân văn tốt nghiệp Do thời gian thực có hạn, kiến thức chuyên môn nhiều hạn chế NGÔ VĂN QUÂN nên đồ án thực chắn không tránh khỏi thiếu sót định Tôi mong nhận ý kiến đóng góp thầy, cô giáo bạn Xin chân thành cảm ơn ! Hà Nội, ngày 09 tháng 10 năm 2006 HÀ NỘI 2006 http://dbs.uni-leipzig.de/personen/hong_hai_do Lê Hồng Phương, công tác trường Đại Học Quốc Gia Hà Nội, làm nghiên cứu sinh Pháp Ngô Văn Quân, lớp cao học CNTT 2004 ii Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch 3 Mở đầu Chương Đối sánh lược đồ Sự hỗn tạp ngữ nghĩa Định nghĩa toán 3.1 Schemas 3.2 Đầu vào toán (Input) 3.3 Đầu toán (Output) 3.4 Kiến trúc chung Ứng dụng toán đối sánh lược đồ 4.1 Các ứng dụng tích hợp liệu data warehouse 4.2 E-Business 11 4.3 Semantic Web 12 Các vấn đề mở 13 5.1 Khả biểu diễn ngôn ngữ 13 5.2 Làm việc với lược đồ có kích thước lớn 13 5.3 Sự kết hợp phương pháp đối sánh 14 Chương Các phương pháp tiếp cận 15 Các dự án liên quan 15 1.1 COMA++ 15 1.2 SEMINT 16 1.3 LSD 16 1.4 SKAT 16 1.5 TransScm 16 1.6 DIKE 17 1.7 SIMILARITY FLOODING 17 1.8 Cupid 17 Các phương pháp đối sánh lược đồ 20 2.1 Tiêu chuẩn phân loại 20 2.2 Đối sánh dựa schema (schema-based) 21 2.2.1 Phương pháp tiếp cận dựa ngôn ngữ (linguistic) 22 2.2.2 Phương pháp tiếp cận dựa ràng buộc 23 2.2.3 Phương pháp tiếp cận dựa cấu trúc 23 2.3 Đối sánh dựa liệu 23 2.4 Đối sánh kết hợp 24 2.5 Match Cardinality 24 2.6 Các hệ số mặc định toán đối sánh 25 Các phương pháp đánh giá hệ thống đối sánh 26 Chương Thiết kế hệ thống đối sánh lược đồ 30 Khảo sát 30 Giới thiệu 33 2.1 Giới thiệu toán đối sánh lược đồ 33 2.2 Xử lý schema tiếng Việt 33 Thiết kế 35 Ngô Văn Quân, lớp cao học CNTT 2004 iii Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch 3.1 Kiến trúc hệ thống 35 3.2 Input 36 3.2.1 Schema Error! Bookmark not defined 3.2.2 WordNet 39 3.2.3 Output 40 3.3 Mức ngôn ngữ (linguistic matching) 41 3.3.1 Các thuật toán đối sánh 42 3.3.2 Thuật toán đối sánh kết hợp 44 3.4 Mức cấu trúc 51 3.5 Chọn lựa ánh xạ 55 Cài đặt kết 56 4.1 Cài đặt 56 4.2 Kết thử ngiệm 60 Kết luận hướng phát triển 71 5.1 Kết luận 71 5.2 Hướng phát triển 72 Tài liệu tham khảo 75 Sách, báo, luận văn 75 Website 75 Ngô Văn Quân, lớp cao học CNTT 2004 iv v Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Mục lục hình ảnh Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình 1-1: Đối sánh lược đồ 1-2: Xung đột ngôn ngữ 2-1: Schemas 2-2: Kiến trúc chung toán đối sánh lược đồ 2-3: Minh họa hệ thống tích hợp liệu giúp người dùng tìm văn 10 2-4: Data warehouse 11 2-5: Kiến trúc COMA++ 15 2-6: Kiến trúc SEMINT Error! Bookmark not defined 2-7: Các phương pháp đối sánh lược đồ 20 2-8: Xây dựng hệ số ưu tiên 26 2-9: Đánh giá hệ thống đối sánh 27 2-10: So sánh F-Measure Overall 28 3-1: Sự hỗn tạp nguồn liệu 31 3-2:Lược đồ văn 33 3-3: Kiến trúc hệ thống 36 3-4: Hợp lược đồ phân tán 38 3-5: Hợp kiểu thiết kế schema 38 3-6: Loại bỏ nút có kiểu đơn giản 38 3-7: Tái sử dụng định nghĩa 39 3-8:Sơ đồ đối sánh mức ngôn ngữ (linguistic matching) 41 3-9: Sơ đồ thuật toán đối sánh kết hợp 45 3-10: Phân tích phần tử đầu vào 46 3-11: Thực bước Direction Selection 48 3-12: Tổng hợp kết 49 3-13: SimCube theo phương pháp đối sánh kết hợp 50 3-14: Kết sau thực Aggregation 50 3-15: Kết sau thực Direction Selection 50 3-16:Kết sau tổng hợp 51 3-17: Hệ số tương tự node 52 3-18: Hệ số tương tự node 52 3-19: Sự phụ thuộc hệ số tương tự vào ngữ cảnh 55 3-20:Cấu trúc VNMatch 57 3-21: MatchLib, phần core VNMatch 57 3-22: Lớp HybridMatcher 58 3-23: VNMatch Framework (đề xuất) 73 Ngô Văn Quân, lớp cao học CNTT 2004 Mục lục công thức Công Công Công Công Công Công Công Công Công Công Công Công thức thức thức thức thức thức thức thức thức thức thức thức 1: Cupid, hệ số tương tự hai tập hợp 19 19 19 2: Công thức EditDistance biến đổi 42 3: Lấy Max 47 4: Lấy theo trọng số 47 5: Lấy theo trung bình 47 6: AverageSim 49 7: DiceSim 49 8: Wsim cho node 54 9: Liên kết mạnh 54 10: ssim trường hợp node 54 Ngô Văn Quân, lớp cao học CNTT 2004 vi vii Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Bảng từ viết tắt thuật ngữ Tiếng Anh Ý nghĩa Data integration Tích hợp liệu Data translation Chuyển đổi liệu Data warehouse Nhà kho liệu DTD Document Type Definition Global schema Lược đồ tổng thể Holonym Bao hàm phần tử Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Semantic integration Ghi Schema mapping Tích hợp ngữ nghĩa Ánh xạ lược đồ, tương tự đối sánh lược đồ Schema matching Đối sánh lược đồ Synonym Từ đồng nghĩa Web Semantic Web ngữ nghĩa XSD XML Schema Definition “Cây” bao hàm phần tử “Thân cây” Hypernym Hyponym Bao hàm khái niệm thuật “Thực vật” bao hàm ngữ khái niệm “Cây” Ngược với Hypernym “Cây” nằm khái niệm “thực vật” Local schema Lược đồ địa phương Meronym Ngược với Holonym “Thân cây” phận Ontology Đặc tả khái niệm OWL Web Ontology Language Schema Lược đồ liệu Schema integration Tích hợp lược đồ Ngô Văn Quân, lớp cao học CNTT 2004 Ngô Văn Quân, lớp cao học CNTT 2004 viii Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Tóm tắt luận văn Luận văn cao học với đề tài “Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch” nghiên cứu tìm hiểu toán đối sánh lược đồ (schema matching) Bài toán đối sánh lược đồ áp dụng ứng dụng tích hợp liệu (data integration), chuyển đổi liệu (data translation), nhà kho liệu (data warehousing), ứng dụng web ngữ nghĩa (Web Semantic) Bài toán đối sánh lược đồ định nghĩa sau: “Cho hai lược đồ S1 S2 tìm tương đồng phần tử S1và S2 cách khai thác tất thông tin tồn hai lược đồ đó, liệu nguồn thông Chương Mở đầu Mục tiêu luận văn tốt nghiệp nghiên cứu toán đối sánh lược đồ (schema matching) Đối sánh lược đồ trình xác định ngữ nghĩa tương ứng cấu trúc siêu liệu (metadata) lược đồ sở liệu, XSD, Ontology Đối sánh lược đồ đóng vai trò quan trọng việc tương tác dịch vụ với ứng dụng tích hợp liệu, Data warehouse, E-Business tin hỗ trợ khác” Luận văn tập trung nghiên cứu phương pháp đối sánh lược đồ dựa dự án phát triển viện nghiên cứu, trường đại học công ty giới, tìm hiểu đề xuất số phương pháp xử lý cho lược đồ thiết kế dùng tiếng Việt Đồng thời thiết kế thi công hệ thống đối sánh lược đồ, gọi VNMatch VNMatch xử lý đầu vào hai lược đồ thiết kế dùng ngôn ngữ XML Schema, kết đầu tập ánh xạ có tương đồng mặt ngữ nghĩa phần tử hai lược đồ Từ khóa: Schema matching, semantic integration, schema mapping, matcher; đối sánh lược đồ, ánh xạ lược đồ, tích hợp ngữ nghĩa, tích hợp liệu Ngô Văn Quân, lớp cao học CNTT 2004 Ngô Văn Quân, lớp cao học CNTT 2004 Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Quá trình tự động người ta gọi chung Đối sánh lược đồ đối sánh lược đồ (schema matching) Nó chìa khóa ứng dụng tích hợp liệu chuyển đổi Một lược đồ cấu trúc siêu liệu để mô tả liệu lưu giữ, truy cập, diễn dịch người dùng ứng dụng Ngoài khía cạnh liên quan đến quản lý liệu định dạng liệu, kiểu liệu, lược đồ có liệu Sự hỗn tạp ngữ nghĩa mở rộng liên quan đến ngữ nghĩa liệu tập giá trị cho phép, Việc xác định thành phần tương đương hai lược đồ cần yếu tố tập hợp, toàn vẹn ràng buộc tham chiếu… Hiện có nhiều ngôn ngữ phân tích ngữ nghĩa lược đồ hay nói cách khác suy diễn biểu diễn lược đồ phát triển cho lĩnh vực ứng dụng khác nhau, ví dụ ngược lại khái niệm lược đồ người tạo Qúa trình SQL, DTD, XSD, OWL Mặc dù có nhiều khả ngôn ngữ biểu diễn khác thực gặp nhiều khó khăn xung đột nguồn thông lược đồ xuất nói khắp nơi hầu hết ứng tin hỗn tạp cần xem xét, ví dụ lược đồ, liệu, tài liệu đặc tả, tình dụng quản lý liệu xử lý liệu trạng liệu… Việc trích lọc ngữ nghĩa xác từ thông tin metadata cách tự động thực việc nặng nhọc phương pháp chuẩn để thực Lược đồ cung cấp nhiều thông tin mà khai thác chúng để category publishDate ND 22/10/1990 TT 22/09/1999 id 15 32 org_id 15 32 topic ND TT publishDate 22/10/1990 22/09/1999 org_name Bộ tài Bộ thương mại thu nhận ngữ nghĩa phần tử chứa lược đồ Ví dụ thuộc tính name, description, constraints…Tuy nhiên thông tin khác lược đồ, chúng phụ thuộc vào ngôn ngữ biểu diễn, cấu trúc biểu diễn, Vì lược đồ thường thiết kế người khác với name Bộ tài Bộ thương mại nhận thức khác giới thực cho mục đích khác Dưới tìm hiểu phân loại khó khăn, thách thức gặp phải nghiên cứu giải pháp cho toán đối sánh lược đồ Hình 1-1: Đối sánh lược đồ Cho sở liệu với hai lược đồ tương ứng S , T Chúng ta phải xử lý để tự động để xác định tương ứng phần tử category S với topic Hình 1-1 minh họa cho việc tích hợp liệu sử dụng kịch đơn giản T, name S với org_name T, nghĩa s S t T ta muốn tích hợp nguồn liệu S vào nguồn liệu T Cả S T mô tả chung khái niệm lĩnh vực chúng coi chứa thông tin sở liệu văn pháp quy S người ta dùng tương đương Điều thách thức cho số yếu tố sau: hai bảng để biểu diễn, T người ta sử dụng bảng để biểu diễn, công Lược đồ việc xây dựng trình tự động ánh xạ phần tử tương đương phần tử S với phần tử T: S-›category ‹-› T-›Topic Ngô Văn Quân, lớp cao học CNTT 2004 • Ngữ nghĩa phần tử suy diễn từ số thông tin người tạo, thích, lược đồ liệu liên quan Trích lọc ngữ nghĩa Ngô Văn Quân, lớp cao học CNTT 2004 Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch từ thông tin vây thực toán khó thông tin metadata thường không đầy đủ xác, thích không đủ, không phù hợp, nhiều trường hợp xây dựng hệ thống tích hợp liệu qua Web thông tin metadata truy cập • Do phần tử lược đồ thường đối sánh dựa thông tin hỗ trợ lược đồ liệu Ví dụ name, type, value, cấu trúc Hình 1-2: Xung đột ngôn ngữ ràng buộc, thông tin không thực tin cậy Ví dụ từ mô tả hai khái niệm khác giới thực ngược lại, khái niệm phân rã mức chi tiết với cấu trúc khác • Các ràng buộc toàn vẹn thực tế thường xử lý chương trình truy cập liệu lược đồ • Để xác định phần tử s S match với t T phải kiểm tra tất phần tử T để phần tử khác T tốt s Điều ảnh hưởng lớn đến hiệu qúa trình tích hợp Dữ liệu Đối với liệu gặp trở ngại sau • Các giá trị khác sử dụng cho thông tin, ví dụ F • Các giá trị lưu giữ không quán định dạng, ví dụ sử dụng Female để biểu diễn thông tin giới tính chẳng hạn Kb Mb để lưu giữ kích thước liệu chẳng hạn • Dữ liệu không quán thời gian • Dữ liệu chứa lỗi, sai tả, thiếu giá trị, dư thừa Dưới số hình ảnh thể xung đột lược đồ Ngô Văn Quân, lớp cao học CNTT 2004 Ngô Văn Quân, lớp cao học CNTT 2004 Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu đối sánh lược đồ xây dựng ứng dụng VNMatch Bài toán đối sánh lược đồ định nghĩa sau: “Cho hai lược đồ S1và S2 tìm tương đồng phần tử S1và S2 cách khai thác tất thông tin tồn lược đồ, liệu nguồn thông tin hỗ trợ ” Bài toán cần phải giải tới chừng theo ý nghĩa tự động Mục tiêu giảm thao tác thủ công nhiều để tránh việc giải toán đối sánh hỗn tạp 3.1 Lược đồ Trong thao tác đối sánh, lược đồ đầu vào phần tử cần CREATE TABLE Document( docID INT, signerID INT, content TEXT, PRIMARY KEY (docID ), FOREIN KEY (signerID) REFERENCES Users(userID ) ); Hình 1-3: Lược đồ Tùy thuộc vào lĩnh vực ứng dụng lược đồ tồn nhiều • • 3.2 SQL (Structured Query Language): Định nghĩa lược đồ cho sở liệu quan hệ XSD (XML Schema Definition): Định nghĩa cho tài liệu có cấu trúc XML OWL (Web Ontology Language): Định nghĩa Ontology cho Sematic Web Đầu vào toán (Input) Bài toán đối sánh lược đồ bao gồm loại thông tin đầu vào để tính toán mức độ tương đồng sau • để trao đổi qua môi trường Web • [...]... Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch 2.4 Đối sánh kết hợp Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch 2.6 Các hệ số mặc định trong bài toán đối sánh Đối sánh chỉ sử dụng một phương pháp tiếp cận sẽ không thích hợp để cho Trong các phương pháp đối sánh đã trình bày ở trên trong các dự án cụ thể ra một kết quả tốt với sự đa dạng của lược đồ Vì vậy... 2004 42 Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch 43 Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch 3.3.1 Các thuật toán đối sánh cơ bản Ví dụ: s T sim(s,t) thuật toán này ta xây dựng được một mảng các hệ số tương tự giữa các phần tử Document Doc 0.37 đầu vào Tiếp theo là ta xây dựng thuật toán kết hợp các kết quả đối sánh được Documents Document... Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch 37 Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch 1 XSD Schema có thể được thiết kế theo kiểu phân tán hoặc nguyên khối, thường thì các lược đồ được thiết kế theo cách truyền thống là tất cả các thành phần được gộp vào chung một tài liệu Tuy nhiên đối với các lược đồ có kích thước lớn, đặc biệt là trong các ứng dụng. .. CNTT 2004 56 57 Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch Hình 3-20:Cấu trúc VNMatch và s trong lược đồ đích nếu ssim lớn hơn một giá trị thaccept (giá trị ngưỡng chấp nhận được) thì chọn ánh xạ này Đối với trường hợp không là node lá, ta sẽ duyệt theo thứ tự sau hai lược đồ một lần nữa để tính toán... Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch Hình 3-4: Hợp nhất các lược đồ phân tán Hình 3-7: Tái sử dụng các định nghĩa 2 Hợp nhất các các kiểu thiết kế: Composition là phương pháp chung để xây dựng kiểu, kiểu thừa kế (derivation) được chuyển thành kiểu composition Kết quả thu được là đồ thị liên thông... Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch Trong [8]8 có đề cập vấn đề sử dụng WordNet để xây dựng thuật toán tính Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch • toán độ tương tự của hai câu Hiện tại trong phiên bản này, do hạn chế về thời cặp ánh xạ Ngược lại InvertDomain trả về tập các phần tử nguồn không gian nên WordNet chưa được tích hợp vào trong... có thể Bảng 1: Đối sánh dựa trên số lượng phần tử Ngô Văn Quân, lớp cao học CNTT 2004 Ngô Văn Quân, lớp cao học CNTT 2004 26 27 Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch nhưng không được thuật toán tìm thấy và D là tập ánh xạ sai được thuật toán loại bỏ Hình 2-4: Đánh giá hệ thống đối sánh Ta có hai...12 13 Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch XML hoặc bất kỳ định dạng nào Để hệ thống trao đổi được các message đó, các ứng dụng cần phải chuyển đổi được các message từ định dạng này sang định dạng khác Điều này chính là động lực cho bài toán đối sánh lược đồ phát triển để 5 Các vấn đề... Để so sánh độ tương tự của hai chuỗi đầu vào dựa trên phân tích token, Đây là công thức cho ra kết quả cuối cùng của đối sánh dựa trên ngôn ngữ T1 ,T2 ∈C Cupid sử dụng công thức sau Ngô Văn Quân, lớp cao học CNTT 2004 Ngô Văn Quân, lớp cao học CNTT 2004 20 21 Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch. .. (s2,t2) Hình 3-15: Kết quả sau khi thực hiện Direction và Selection Ngô Văn Quân, lớp cao học CNTT 2004 Ngô Văn Quân, lớp cao học CNTT 2004 52 Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch Thuật toán đối sánh lược đồ dựa trên cấu trúc được mô tả dưới đây t1 s1 53 Luận văn Th.s: Tìm hiểu về đối sánh lược đồ và xây dựng ứng dụng VNMatch TreeMatch(Source S, Target T) For s ∈ S, t