ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYỄN THỊ NGỌC MAI TÍCH HỢP THÔNG TIN HÌNH THÁI TỪ VÀO HỆ DỊCH MÁY THỐNG KÊ ANH - VIỆT LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH Thành phố Hồ Chí Minh - 2010 Trang 1 MỤC LỤC MỤC LỤC 1 DANH SÁCH CÁC BẢNG 4 DANH SÁCH CÁC HÌNH 5 CHƢƠNG 1: GIỚI THIỆU 6 1.1. Đặt vấn đề 6 1.2. Hƣớng tiếp cận của đề tài 8 1.3. Nội dung của luận văn 9 CHƢƠNG 2: TỔNG QUAN 11 2.1. Dịch máy thống kê 11 2.1.1. Dịch máy thống kê dựa trên từ 11 2.1.2. Mô hình dịch máy thống kê dựa trên ngữ 19 2.1.3. Mô hình dịch thống kê factored (Factored SMT) 26 2.1.4. Mô hình dịch máy thống kê dựa trên cú pháp 29 2.2. Các tiêu chuẩn đánh giá chất lƣợng dịch 31 2.2.1. BLEU (Bilingual Evaluation Understudy) 32 2.2.2. NIST 32 2.2.3. TER (Translation Error Rate) 32 CHƢƠNG 3: 33 CÁC HƢỚNG TÍCH HỢP TRI THỨC NGÔN NGỮ VÀO DỊCH MÁY THỐNG KÊ 33 3.1. Sử dụng tri thức ngôn ngữ để tiền xử lý 33 3.1.1. Dùng thông tin cú pháp 34 Trang 2 3.1.2. Sử dụng thông tin từ loại 36 3.1.3. Sử dụng luật biến đổi hình thái từ 37 3.2. Tích hợp tri thức vào hệ thống dịch máy 39 3.2.1. Tích hợp thông tin hình thái vào mô hình dịch 39 3.2.2. Tích hợp thông tin cú pháp vào mô hình dịch 40 3.2.3. Tích hợp vào mô hình ngôn ngữ 41 CHƢƠNG 4: MÔ HÌNH CỦA ĐỀ TÀI 42 4.1. Tích hợp thông tin hình thái từ tiếng Anh 43 4.1.1. Thông tin từ loại 43 4.1.2. Thông tin biến cách của từ 44 4.1.3. Sử dụng luật chuyển đổi trật tự 45 4.2. Thêm thông tin hình thái từ tiếng Việt 50 4.2.1. Thông tin ranh giới từ 50 4.2.2. Thông tin từ loại 51 4.3. Thêm thông tin hình thái từ cho tiếng Anh và tiếng Việt 52 CHƢƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ 54 5.1. Ngữ liệu 54 5.2. Các công cụ 55 5.3. Thí nghiệm 55 5.3.1. Tích hợp thông tin hình thái từ trong câu tiếng Anh 55 4.4. Tóm tắt kết quả thí nghiệm 74 CHƢƠNG 6: KẾT LUẬN 76 TÀI LIỆU THAM KHẢO 78 PHỤ LỤC 82 Trang 3 A. Đối chiếu hình thái từ Anh – Việt (biến cách) 82 B. Kết quả dịch của một số mô hình 82 Trang 4 DANH SÁCH CÁC BẢNG Bảng 2.1. Bảng biểu diễn gióng hàng từ dạng bảng 15 Bảng 5.1 Thông tin về ngữ liệu 59 Bảng 5.2. Kết quả dịch của các hệ tích hợp thông tin hình thái từ vào câu tiếng Anh 60 Bảng 5.3. Kết quả dịch của các hệ chuyển đổi trật tự từ 63 Bảng 5.4. Kết quả dịch của các hệ tích hợp thông tin hình thái từ vào câu tiếng Việt 64 Bảng 5.5. Số liên kết gióng hàng từ trong các mô hình 65 Bảng 5.6 Kết quả dịch của hệ dịch tích hợp từ loại tiếng Việt 68 Bảng 5.7. Kết quả dịch của các hệ tích hợp thông tin hình thái từ vào câu tiếng Anh và tiếng Việt 71 Trang 5 DANH SÁCH CÁC HÌNH Hình 2.1. Mô hình dịch máy thống kê 12 Hình 2.2. Biểu diễn gióng hàng từ dạng liên kết 14 Hình 2.3. Hình minh hoạ quá trình cải tiến gióng hàng từ 19 Hình 2.4. Ví dụ về dịch thống kê dựa trên ngữ 20 Hình 2.5. Mô hình dịch factored SMT 27 Hình 4.1. Mô hình chung của luận văn 43 Hình 4.2. Mô hình ngôn ngữ từ vựng 49 Hình 4.3. Mô hình ngôn ngữ từ loại 49 Hình 4.4. Mô hình factored SMT tích hợp từ loại 50 Hình 4.5. Mô hình factored SMT tích hợp nguyên mẫu và từ loại 51 Hình 4.5. Mô hình factored SMT tích hợp các thông tin hình thái từ 51 Trang 6 CHƢƠNG 1: GIỚI THIỆU 1.1. Đặt vấn đề Dịch máy hay còn gọi là dịch tự động đã và đang đƣợc con ngƣời quan tâm hiện nay. Các nhà nghiên cứu đƣa tri thức nhằm khai thác sức mạnh xử lý tính toán của máy tính và tạo ra ứng dụng phục vụ con ngƣời trong thời đại công nghệ thông tin phát triển. Khi việc giao tiếp và việc nắm bắt thông tin nhanh chóng sẽ tạo nên nhiều cơ hội cho con ngƣời đi đến thành công, chƣơng trình dịch tự động sẽ là công cụ giúp họ vƣợt qua rào cản ngôn ngữ, giúp họ chuyển đổi ngôn ngữ nhanh và tiết kiệm công sức. Dịch máy là một lĩnh vực rất thú vị, thu hút sự quan tâm của rất nhiều nhóm nghiên cứu trên thế giới. Tuy nhiên, bản thân từng ngôn ngữ đã rất phức tạp, thƣờng hay có nhập nhằng. Mặc khác, giữa các ngôn ngữ luôn có sự khác biệt, từ từ vựng đến các cấu trúc để tạo thành câu. Việc xây dựng một hệ dịch máy có khả năng hiểu ngữ cảnh, khử nhập nhằng và dịch đƣợc gần với con ngƣời vẫn đang là một thách thức lớn. Đối với tiếng Việt, hiện nay có rất nhiều nhóm đầu tƣ vào các hệ dịch theo nhiều hƣớng tiếp cận khác nhau: - Nhóm nghiên cứu của PGS. TS. Đinh Điền (Đại học Khoa học Tự nhiên- Đại học Quốc gia Thành phố Hồ Chí Minh): Dự án nghiên cứu của nhóm dựa trên việc học luật chuyển đổi từ ngữ liệu song ngữ. - Nhóm nghiên cứu của PGS. TS. Phan Thị Tƣơi (Đại học Bách Khoa Thành phố Hồ Chí Minh): Nhóm sử dụng phƣơng pháp phân tích cú pháp có xác suất để dịch văn bản Anh-Việt và Việt-Anh. - Nhóm nghiên cứu của TS. Lê Khánh Hùng Softex (Phòng Công nghệ Phần Mềm - Viện Ứng dụng công nghệ - Bộ Khoa học và Công nghệ Việt Nam): hệ dịch đã đƣợc đƣa vào sử dụng trong thực tế và thƣơng mại hoá sản phẩm (http://vdict.com). EVTRAN là một hệ dịch máy hoàn toàn dựa vào luật, sử Trang 7 dụng các luật đƣợc xây dựng bằng tay để dịch văn bản từ Anh sang Việt. Từ năm 2006, bản EVTRAN 3.0 (đƣợc gọi là Ev-Shuttle) có thể dịch đƣợc văn bản hai chiều Anh-Việt và Việt-Anh. Do hệ dịch dựa trên luật nên kết quả của hệ dịch phụ thuộc nhiều vào câu đầu vào có phù hợp với các luật đã đƣợc thiết lập hay không. - Nhóm dự án ERIM của Đại học Bách Khoa Đà Nẵng kết hợp với GETA – ĐHBK Grenoble, thử nghiệm dịch Anh-Việt, Pháp-Việt của Đoàn Nguyên Hải (http://www.latl.unige.ch/vietnamese/) tại LATL. - Google Transle (www.translate.google.com): Hỗ trợ hơn 50 ngôn ngữ bao gồm cả tiếng Việt. Sử dụng phƣơng pháp dịch máy thống kê dựa trên kho ngữ liệu song ngữ. Tốc độ dịch nhanh và có tính năng tƣơng tác với ngƣời dùng nhằm tăng chất lƣợng dịch cho các lần sau. - Dịch máy trên Xalo.vn (www.dich.xalo.vn): đƣa ra dịch vụ dịch trực tuyến một chiều từ Anh sang Việt, do công ty Cổ phần Công nghệ Tinh Vân tự phát triển, hỗ trợ dịch theo từng lĩnh vực, đồng thời cho phép ngƣời dùng chỉnh sửa, góp ý về nội dung dịch nhằm nâng cao chất lƣợng dịch. - Lạc Việt (công ty từng phát triển và đƣa ra bộ từ điển Lạc Việt www.vietgle.vn/tratu/dich-tu-dong): chỉ hỗ trợ dịch từ Anh sang Việt có thêm phần dịch chuyên ngành (tin học, toán học, y học và kế toán) và hỗ trợ dịch tốt hơn bởi ngƣời dùng. Do xây dựng trên các mô hình khác nhau, các hệ thống cho ra chất lƣợng dịch khác nhau, tuỳ thuộc vào dạng câu đầu vào. Các hệ thống dựa trên luật do sử dụng tri thức ngôn ngữ nhƣ thông tin cú pháp, ngữ nghĩa nên dịch khá hiệu quả. Tuy nhiên, máy tính khó có thể phân tích cú pháp chính xác cho những câu có ngữ nghĩa phức tạp. Mặc khác, việc xây dựng tập luật cú pháp và luật chuyển đổi có thể bao quát đƣợc mọi trƣờng hợp rất khó khăn, đòi hỏi ngƣời thực hiện phải có kiến thức sâu về ngôn ngữ. Ngƣợc lại, hệ dịch máy thống kê (Statistical Machine Translation – SMT) lại hoàn toàn dựa trên các kết quả thống kê từ kho ngữ liệu song ngữ. Kết quả trung gian của Trang 8 hệ dịch này là các bảng thống kê về từ, ngữ và các qui luật chuyển đổi mà không cần đến tri thức ngôn ngữ. Với phƣơng pháp này, ngữ liệu càng lớn và có chất lƣợng tốt thì hệ dịch sẽ càng hiệu quả. Ƣu điểm của hệ dịch này là do chỉ thuần tuý thống kê nên độc lập về ngôn ngữ, có thể áp dụng đƣợc trên bất kì cặp ngôn ngữ nào. Mặc khác, chúng ta có thể tiền xử lý trên dữ liệu đầu vào, miễn là thực hiện biến đổi đồng nhất trong cả quá trình huấn luyện và dịch. Ngoài ra, những ngƣời cũng có thể theo dõi hoặc can thiệp vào quá trình dịch thông qua các bảng thống kê trung gian. Chính vì những đặc điểm này mà mô hình dịch máy thống kê có tiềm năng rất lớn trong ứng dụng dịch máy. Rất nhiều nhóm nghiên cứu đang tập trung khai thác và phát triển hệ dịch máy trên mô hình này. Do đó, chúng tôi hƣớng đến phát triển một hệ dịch sử dụng đồng thời tri thức thống kê từ kho ngữ liệu song ngữ và tri thức về phân tích ngôn ngữ. Luận văn sẽ tập trung khảo sát việc tích hợp thông tin hình thái từ vào dịch máy thống kê và phát triển một hệ thống dịch máy thống kê Anh - Việt sử dụng các tri thức ngôn ngữ này. 1.2. Hƣớng tiếp cận của đề tài Đề tài sẽ tập trung vào khảo sát các hƣớng tích hợp trực tiếp tri thức ngôn ngữ vào trong hệ dịch máy thống kê dựa trên ngữ. Khảo sát các tri thức ngôn ngữ trong dịch máy thống kê Anh - Việt. Các tri thức đƣợc tập trung khảo sát bao gồm hình thái từ, từ loại và các cách kết hợp các thông tin này và tìm hiểu ảnh hƣởng của các thông tin này lên hệ dịch. Tiếng Anh và tiếng Việt rất khác biệt về loại hình ngôn ngữ. Tiếng Việt là ngôn ngữ đơn lập, quan hệ ngữ pháp chỉ đƣợc diễn đạt bằng trật tự trƣớc sau của từ và bằng các hƣ từ. Trong tiếng Việt, từ không có hiện tƣợng biến hình, đơn vị cơ bản là hình tiết: đây là một đơn vị có nghĩa, có vỏ ngữ âm thƣờng trùng với âm tiết, có khả năng vừa dùng nhƣ từ vừa dùng nhƣ hình vị. Ở loại hình này, ngƣời ta thƣờng hay nói đến vấn đề khó xác định ranh giới từ, vấn đề khó phân biệt các yếu tố hƣ với yếu tố thực cũng nhƣ vấn đề mặt cấu tạo từ ít phát triển. Trong khi tiếng Anh là Trang 9 ngôn ngữ hoà kết, từ tiếng Anh chính là những từ chính tả phân biệt bởi khoảng trắng. Từ vựng tiếng Anh có hai đặc điểm là biến cách và dẫn xuất. Biến cách là dạng mà trong đó có một hình vị ràng buộc kết hợp vào một từ để thể hiện những ý nghĩa ngữ pháp nhƣ: thì (tense), số (number), cách (case), v.v… Dẫn xuất là dạng từ mới đƣợc hình thành trên cơ sở từ gốc kết hợp với các phụ tố nhằm thể hiện những ý nghĩa từ vựng, nhƣ: lặp lại (re-), chống (anti-), ngƣời/vật thực hiện (-er/-or), Phụ tố của dẫn xuất bao gồm các hậu tố và tiền tố. Nhiều nghiên cứu đã tiếp cận theo hƣớng tập trung vào giải quyết sự khác biệt về trật tự từ giữa tiếng Anh và tiếng Việt nhƣ nghiên cứu của nhóm Nguyễn Phƣơng Thái [32], nhóm nghiên cứu của nhóm Nguyễn Thị Hồng Nhung [24], Duy Vũ [3] và đạt đƣợc một số kết quả khả quan. Tuy nhiên, sự khác nhau về hình thái từ giữa tiếng Anh và tiếng Việt vẫn chƣa đƣợc quan tâm. Do đó, đề tài sẽ tiếp cận theo hƣớng tích hợp tri thức ngôn ngữ vào hệ thống dịch máy thống kê Anh - Việt ở mức độ hình thái từ. Từ tiếng Anh sẽ đƣợc đƣa về nguyên mẫu, tách các phụ tố và gán nhãn từ loại, từ tiếng Việt sẽ đƣợc phân đoạn từ và gán nhãn từ loại. Đề tài cũng sẽ phân tích các từ loại có ảnh hƣởng tích cực đến chất lƣợng dịch của hệ thống. 1.3. Nội dung của luận văn Phần còn lại của luận văn sẽ bao gồm các chƣơng sau: Chƣơng 2 – TỔNG QUAN: Chƣơng này sẽ trình bày hƣớng tiếp cận dịch máy thống kê dựa trên ngữ, các thành phần cấu thành hệ thống dịch máy thống kê này. Chƣơng 3 – CÁC HƢỚNG TÍCH HỢP TRI THỨC NGÔN NGỮ VÀO DỊCH MÁY THỐNG KÊ: Chƣơng này sẽ khảo sát các hƣớng tiếp cận để đƣa tri thức ngôn ngữ vào trong hệ máy thống kê, phân tích ƣu khuyết điểm của các hƣớng tiếp cận này. . tin hình thái vào mô hình dịch 39 3.2.2. Tích hợp thông tin cú pháp vào mô hình dịch 40 3.2.3. Tích hợp vào mô hình ngôn ngữ 41 CHƢƠNG 4: MÔ HÌNH CỦA ĐỀ TÀI 42 4.1. Tích hợp thông tin hình thái. Dùng thông tin cú pháp 34 Trang 2 3.1.2. Sử dụng thông tin từ loại 36 3.1.3. Sử dụng luật biến đổi hình thái từ 37 3.2. Tích hợp tri thức vào hệ thống dịch máy 39 3.2.1. Tích hợp thông tin. tích hợp thông tin hình thái từ vào câu tiếng Anh 60 Bảng 5.3. Kết quả dịch của các hệ chuyển đổi trật tự từ 63 Bảng 5.4. Kết quả dịch của các hệ tích hợp thông tin hình thái từ vào câu tiếng