Đang tải... (xem toàn văn)
Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)Sử dụng ngôn ngữ trục trong dịch đa ngữ (Luận án tiến sĩ)
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG PHAN THỊ LỆ THUYỀN SỬ DỤNG NGÔN NGỮ TRỤC TRONG DỊCH ĐA NGỮ LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG PHAN THỊ LỆ THUYỀN SỬ DỤNG NGÔN NGỮ TRỤC TRONG DỊCH ĐA NGỮ Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62 48 01 01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: PGS.TS Võ Trung Hùng Đà Nẵng 2018 LỜI CAM ĐOAN Tôi cam đoan kết nghiên cứu riêng Các nội dung kết nghiên cứu trình bày Luận án trung thực chưa công bố công trình khác Tác giả NCS Phan Thị Lệ Thuyền LỜI CẢM ƠN Trước tiên, tác giả xin gửi lời cảm ơn đến Ban Đào tạo - Đại học Đà Nẵng, Khoa Cơng nghệ Thơng tin, Phòng Đào tạo Trường Đại học Bách khoa - Đại học Đà Nẵng tạo điều kiện thuật lợi thời gian học tập nghiên cứu Tác giả muốn tri ân đến Thầy Cô giáo Khoa Công nghệ Thông tin Trường Đại học Bách khoa - Đại học Đà Nẵng, đặc biệt thầy Võ Trung Hùng tận tình giúp đỡ tác giả từ bước hình thành ý tưởng, suốt trình nghiên cứu Thầy ủng hộ, động viên tạo điều kiện tốt để tác giả hoàn thành luận án Tác giả nhận thấy trưởng thành sau năm học tập nghiên cứu hướng dẫn Thầy Tác giả chân thành cảm ơn chuyên gia, nhà ngôn ngữ học (PGS.TS Nguyễn Ngọc Chinh, TS Nguyễn Quý Thành) dành thời gian để hỗ trợ tác giả nghiên cứu mặt ngôn ngữ học, kiểm tra, đánh giá kết dịch tự động so sánh chất lượng dịch hệ thống Sự giúp đỡ nhà ngơn ngữ học giúp ích nhiều suốt q trình nghiên cứu hồn thành báo cáo luận án Tác giả xin gửi lời cảm ơn chân thành tới anh chị NCS Khoa Công nghệ Thông tin Trường Đại học Bách khoa - Đại học Đà Nẵng, người thân bạn bè bên cạnh động viên, hỗ trợ mặt tinh thần để tác giả vượt qua khó khăn hoàn thành tốt luận án MỤC LỤC DANH MỤC HÌNH VẼ iv DANH MỤC BẢNG vii MỞ ĐẦU Chương TỔNG QUAN VỀ DỊCH MÁY VÀ NGÔN NGỮ UNL 1.1 Một số khái niệm sử dụng luận án 1.2 Một số hướng tiếp cận dịch tự động 1.2.1 Dịch máy dựa luật 10 1.2.2 Dịch máy dựa ngữ liệu 12 1.2.3 Phương pháp dịch kết hợp 14 1.2.4 Đánh giá 15 1.3 Dịch đa ngữ 16 1.4 Vấn đề dịch tự động cho tiếng Việt 20 1.5 Tổng quan UNL 22 1.5.1 Giới thiệu 22 1.5.2 Ngôn ngữ UNL 22 1.5.3 Hệ thống UNL 29 1.5.4 Một số kết nghiên cứu liên quan 31 1.5.5 Ứng dụng UNL làm ngôn ngữ trục hệ thống dịch đa ngữ 33 1.6 Tiểu kết chương 35 Chương ĐỀ XUẤT MƠ HÌNH DỊCH TIẾNG VIỆT - UNL 37 2.1 Đặt vấn đề 37 2.2 Ngữ pháp tiếng Việt 39 2.3 Đề xuất mơ hình dịch 41 -i- 2.3.1 Công cụ EnCoVie 42 2.3.2 Công cụ DeCoVie 45 2.3.3 Từ điển UNL 46 2.3.4 Luật ngữ pháp UNL 49 2.4 Một số vấn đề cần xử lý cho tiếng Việt 56 2.5 Tiểu kết chương 58 Chương GIẢI PHÁP XÂY DỰNG TỪ ĐIỂN VÀ LUẬT 60 3.1 Giải pháp xây dựng từ điển tiếng Việt - UNL 60 3.2 Giải pháp xây dựng luật ngữ pháp 69 3.2.1 Xây dựng luật mã hóa 69 3.2.2 Xây dựng luật giải mã 83 3.3 Tiểu kết chương 94 Chương THỬ NGHIỆM VÀ ĐÁNH GIÁ 96 4.1 Xây dựng công cụ EnCoVie DeCoVie 96 4.1.1 Xây dựng công cụ EnCoVie 96 4.1.2 Xây dựng công cụ DeCoVie 99 4.2 Thử nghiệm đánh giá 114 4.2.1 Từ điển tiếng Việt – UNL 114 4.2.2 Dịch đa ngữ qua ngôn ngữ trục UNL 115 4.3 Tiểu kết chương 122 KẾT L ẬN 123 TÀI LIỆ THAM KHẢO 128 PHỤ LỤC 137 -ii- ANH MỤC CÁC TỪ VIẾT T T LGW Left Generation Window Cửa sổ tạo bên trái LW Left Window Cửa sổ trái RGW Right Generation Window Cửa sổ tạo bên phải RW Right Window Cửa sổ phải UNL Universal Networking Language Ngôn ngữ mạng dùng chung UNLKB Universal Networking Language Cơ sở tri thức ngôn ngữ Knowledge Base mạng dùng chung Universal Word Từ vựng chung UW -iii- ANH MỤC HÌNH VẼ Hình Sơ đồ hệ thống dịch trực tiếp [13] 11 Hình Sơ đồ hệ thống dịch chuyển đổi [13] 11 Hình Sơ đồ hệ thống dịch qua ngơn ngữ trung gian [13] 12 Hình Sơ đồ hệ thống dịch dựa ví dụ [13] 13 Hình Sơ đồ hệ thống dịch dựa thống kê [13] 14 Hình Kết hợp phương pháp dịch dựa luật thống kê [13] .14 Hình Mơ hình dịch máy dựa luật 15 Hình Dịch trực tiếp cặp ngôn ngữ dịch đa ngữ 16 Hình ịch qua ngơn ngữ trục dịch đa ngữ .17 Hình Mơ hình đánh giá dịch trực tiếp dịch qua ngôn ngữ trung gian 17 Hình Biểu diễn câu tiếng Anh sang UNL 28 Hình Biểu diễn biểu thức UNL dạng đồ thị .29 Hình Cơ chế chuyển đổi hệ thống UNL 29 Hình Hệ thống UNL14 30 Hình Quá trình chuyển đổi liệu dự án UNL – EOLSS [15] 33 Hình Hệ thống UNL cho ngơn ngữ 34 Hình Dịch qua ngôn ngữ trục UNL 34 Hình Mơ hình dịch tiếng Việt – UNL 42 Hình Sơ đồ chuyển đổi công cụ EnCoVie 43 Hình Danh sách nút Node-list 43 Hình Sơ đồ liên kết Headword 44 -iv- Hình Sơ đồ mã hóa câu tiếng Việt sang UNL 44 Hình Sơ đồ chuyển đổi công cụ DeCoVie 45 Hình Mối quan hệ nhị phân hai từ vựng 45 Hình Sơ đồ mã hóa biểu thức UNL sang câu tiếng Việt 46 Hình Trạng thái cuối Node-list 46 Hình Sử dụng UW để tìm HeadWord trình giải mã 48 Hình Thay đổi Node-list cửa sổ phân tích luật “+” .51 Hình Thay đổi Node-list cửa sổ phân tích luật “-” 52 Hình Thay đổi Node-list cửa sổ phân tích luật “” .53 Hình Thay đổi Node-list cửa sổ phân tích luật “:” 54 Hình Luật chèn phải nút từ Node vào Node-list .54 Hình Luật chèn trái nút từ Node vào Node-list 55 Hình Luật xóa nút phải nút từ Node-list 56 Hình Luật xóa nút trái nút từ Node-list 56 Hình Mơ-đun xử lý câu tiếng Việt đầu vào [9] .58 Hình Luật ngữ pháp chuyển đổi tiếng Việt sang biểu thức UNL 69 Hình Đồ thị biểu diễn biểu thức UNL .83 Hình Mối tương quan hai ngôn ngữ tiếng Việt UNL 83 Hình Sắp xếp trật tự từ câu đầu tiếng Việt .84 Hình Sắp xếp trật tự từ câu đầu tiếng Việt .84 Hình Đồ thị UNL biểu diễn cho biểu thức có nút .84 Hình Đồ thị UNL biểu diễn cho biểu thức có nhiều nút 86 -v- Hình Đồ thị UNL biểu diễn biểu thức chứa nút kết hợp trường hợp .88 Hình Đồ thị UNL biểu diễn biểu thức chứa nút kết hợp trường hợp .89 Hình Đồ thị UNL biểu diễn biểu thức chứa nút kết hợp trường hợp 92 Hình Đồ thị biểu diễn biểu thức UNL .100 Hình Đồ thị biểu diễn biểu thức UNL chứa hay nhiều nút .106 Hình Đồ thị biểu diễn biểu thức UNL chứa nút kết hợp 112 Hình Hệ thống dịch đa ngữ dựa vào UNL 118 Hình Biểu đồ chất lượng dịch qua UNL dịch trực tiếp 120 -vi- ... dụng ngôn ngữ có chữ viết, việc phát triển hệ thống dịch đa ngữ cho cặp ngôn ngữ vô khó khăn ngơn ngữ có số lượng người dùng ít1 Một hướng tiếp cận dịch đa ngữ quan tâm sử dụng ngôn ngữ trục để dịch, ... nguồn liệu đa ngữ để người sử dụng lựa chọn ngơn ngữ mà họ muốn sử dụng; thứ hai ứng dụng phần mềm dịch tự động để dịch giao diện, nội dung từ ngơn ngữ có sang ngôn ngữ mà người sử dụng chọn lựa... cho người sử dụng Internet khả truy cập vào trang web ngôn ngữ họ Hệ thống dịch tự động đa ngữ bao gồm nhiều máy chủ ngôn ngữ khác dịch thông qua ngôn ngữ trục UNL Mỗi máy chủ ngơn ngữ đảm nhận