BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG PHẠM TUẤN ANH NGHIÊN CỨU CÁC PHƢƠNG PHÁP VÀ XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ CHẤT LƢỢNG DỊCH TỰ ĐỘNG SONG NGỮ ANH – VIỆT Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2016 Cơng trình hoàn thành ĐẠI HỌC ĐÀ NẴNG Ngƣời hƣớng dẫn khoa học: TS Huỳnh Công Pháp Phản biện 1: PGS.TSKH Trần Quốc Chiến Phản biện 2: GS.TS Nguyễn Thanh Thủy Luận văn bảo vệ Hội đồng chấm Luận văn tốt nghiệp thạc sĩ kỹ thuật họp Đại học Đà Nẵng vào ngày 25 tháng 07 năm 2016 Có thể tìm hiểu luận văn tại: Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng MỞ ĐẦU Tính cấp thiết đề tài Trong bối cảnh hội nhập tồn cầu, Việt Nam nói riêng giới nói chung cần hợp tác, trao đổi phối hợp với nhu cầu thiết yếu, không phân biệt quốc gia, ngôn ngữ hay văn hóa Trong q trình hội nhập, ngơn ngữ có lẽ rào cản lớn mà quốc gia có kiểu chữ viết, thứ tiếng khác Xây dựng hệ thống dịch tự động coi mấu chốt vấn đề kinh tế xã hội quốc gia bối cảnh hội nhập quốc tế Việt Nam nước phát triển, cần sử dụng nhiều công nghệ tiên tiến giới Việc sử dụng hệ thống dịch tự động yêu cầu cần thiết bắt nguồn từ hàng loạt nguyên nhân khách quan Thứ nhất, Việt Nam nhu cầu đọc nhanh để lấy nhiều thơng tin mới, bổ ích, đặc biệt thông tin khoa học, công nghệ kỹ thuật nước tiên tiến giới tăng cao Thứ hai, tất trường học cơng sở Việt nam đòi hỏi việc nắm vững tiếng Anh phương tiện cần thiết giao tiếp Thứ ba, nhu cầu giao lưu nhiều ngoại ngữ chuyên ngành khoa học ngày tăng Thứ tư, phát triển công nghệ máy tính Internet thúc đẩy nhu cầu khai thác thông tin nhiều trang web, nhiều ngôn ngữ khác Cần thừa nhận dịch tự động khơng thể thay hồn tồn việc dịch thuật thực người Tuy nhiên, nhờ hệ thống tự động chương trình dịch máy, nâng cao đáng kể hiệu lao động người dịch chất lượng cán chuyên ngành Tuy nhiên, Việt Nam chưa có hệ thống dịch tự động: Tiếng nước – Tiếng Việt – Tiếng nước ngồi có độ chuẩn xác cao Còn hệ thống dịch có dịch sang tiếng Việt chưa có tổ chức hay hệ thống đánh giá vấn đề chất lượng dịch hệ thống sang tiếng Việt công bố, đưa lời khuyến cáo đến người dùng để lựa chọn hệ thống dịch phù với mục đích nhu cầu trình dịch từ thứ tiếng sang tiếng Việt Xuất phát từ nhu cầu nên lựa chọn đề tài: “Nghiên cứu phƣơng pháp xây dựng hệ thống đánh giá chất lƣợng dịch tự động song ngữ Anh-Việt” làm đề tài tốt nghiệp cao học Mục tiêu nghiên cứu Mục tiêu nghiên cứu cụ thể đề tài sau: - Hệ thống sở lý luận phương pháp đánh giá chất lượng dịch cách vận dụng phương pháp vào đánh giá - Hệ thống tạo môi trường cho nhiều người tham gia đánh giá, đáp ứng chức đánh giá người thực - Tạo hệ thống tích hợp nhiều phương pháp đánh giá khác để đánh giá hệ thống, tăng tính xác hệ thống đánh giá Đối tƣợng phạm vi nghiên cứu Đối tượng nghiên cứu Đối tượng nghiên cứu đề tài gồm: - Các phương pháp đánh giá chất lượng dịch phổ biến - Hệ thống dịch tự động trực tuyến Google Bing Phạm vi nghiên cứu - Đề nghiên cứu số phương pháp đánh giá chất lượng dịch chủ quan khách quan phổ biến, đánh giá với cặp ngôn ngữ Anh – Việt, đề khơng tiếp cận góc độ nghiên cứu phương pháp đánh giá - Đề tài sử dụng tóm tắt báo khoa học tạp chí Đại học Đà Nẵng, hội thảo CITA 2014, 2015 kho ngữ liệu Bitex Phƣơng pháp nghiên cứu - Phương pháp nghiên cứu lý thuyết: Đề tài tập trung nghiên cứu tài liệu sở lý thuyết phương pháp đánh giá chất lượng dịch máy Tiến hành thu thập, phân tích liệu đánh giá độ liên quan bảng liệu - Phương pháp thực nghiệm: Thực việc cài đặt, thử nghiệm đánh giá hai hệ thống dịch tự động với cặp ngôn ngữ Anh – Việt; xây dựng ứng dụng thực môi trường Windows hệ quản trị CSDL SQL Server Bố cục luận văn Cấu trúc luận văn bao gồm chương: Chương 1: Nghiên cứu tổng quan Chương 2: Đề xuất hệ thống đánh giá chất lượng dịch Chương 3: Cài đặt thử nghiệm hệ thống Tổng quan tài liệu nghiên cứu Để thực đề tài, tác giả nghiên cứu kết phương pháp nhóm nghiên cứu TS Đinh Điền, để tìm hiểu giải pháp đề xuất việc chuyển đổi từ ngữ song ngữ Trên sở tìm hiểu rõ vấn đề tồn việc dịch chuyển đổi ngơn ngữ khó khăn việc dịch Tiếng Việt - sang tiếng Anh Tác giả nghiên cứu kết nhóm nghiên cứu PGS TS Phan Thị Tươi xử lý ngôn ngữ tự nhiên, ứng dụng vào dịch tự động Anh – Việt, Việt – Anh Tác giả nghiên cứu phương pháp đánh giá chất lượng dịch phổ biến Trong tài liệu nghiên cứu, so sánh số đánh giá theo phương pháp, phân tích điểm cải tiến, tương quan với phương pháp tồn trước Tác giả nghiên cứu hệ thống tác giả Võ Trung Hùng nhóm tác giả Huỳnh Cơng Pháp với đề xuất xây dựng hệ thống đánh giá hệ thống dịch phương pháp đánh giá khác CHƢƠNG NGHIÊN CỨU TỔNG QUAN 1.1 XỬ LÝ NGƠN NGỮ TỰ NHIÊN Xử lý ngơn ngữ tự nhiên lĩnh vực thuộc trí tuệ nhân tạo, tập trung vào ứng dụng ngôn ngữ người nhằm giúp cho hệ thống máy tính hiểu xử lý ngơn ngữ người Dịch máy ứng dụng Xử lý ngôn ngữ tự nhiên ứng dụng thực tế để giải toán như: nhận dạng chữ viết, nhận dạng tiếng nói, dịch tự động, tìm kiếm thơng tin, tóm tắt văn bản, khai phá liệu phát tri thức 1.1.1 Xử lý ngữ nghĩa dịch máy a Vai trò chức xử lý ngữ nghĩa b Các mức độ nhập nhằng tầng xử lý ngữ nghĩa 1.1.2 Những thách thức xử lý ngữ nghĩa a Nhập nhằng nghĩa b Phụ thuộc vào ngữ cảnh c Phụ thuộc vào tri thức d Sự khác biệt tiếng Anh tiếng Việt 1.2 DỊCH TỰ ĐỘNG Dịch tự động hay gọi dịch máy, kết hợp ngơn ngữ, dịch thuật khoa học máy tính Dịch tự động thực dịch ngôn ngữ sang ngơn ngữ khác cách tự động, khơng có can thiệp người trình dịch Có nhiều hướng tiếp cận để đưa chiến lược dịch khác theo cấp độ từ đơn gian đến phức tạp 1.2.1 Dịch trực tiếp 1.2.2 Dịch dựa luật 1.2.3 Dịch dựa chuyển đổi cú pháp 1.2.4 Dịch dựa thống kê 1.2.5 Dịch dựa ngữ liệu 1.2.6 Các hệ thống dịch tự động hỗ trợ tiếng Việt 1.3 ĐÁNH GIÁ CHẤT LƢỢNG DỊCH Đánh giá chất lượng dịch quy trình nhằm xác định so sánh chất lượng dịch hệ thống dịch tự động khác so sánh chất lượng dịch máy với tập liệu chuẩn người tạo Có nhiều phương pháp đánh giá chất lượng dịch, nhiên lại nhóm thành hai loại đánh giá chủ quan (subjective evaluation) đánh giá khách quan (objective evaluation) Đánh giá chủ quan tức sử dụng người để đánh giá Nhìn chung, đánh giá chủ quan thường có kết xác Tuy nhiên, nhiều trường hợp kết thường phụ thuộc tính chủ quan (quan điểm) người bị ảnh hưởng vào hoàn cảnh, tâm sinh lý người Đánh giá chủ quan thường tốn sử dụng người để thực việc đánh giá cách thủ công Trong đó, đánh giá khách quan sử dụng chương trình thay cho người để đánh giá Các phương pháp đánh giá khách quan phổ biến BLEU, NIST, Edition distance,…Nhìn chung, đánh giá khách quan xác đánh giá chủ quan kết thường ổn định mà không bị tác động ngoại cảnh Đánh giá khách quan thường tốn sử dụng chương trình để đánh giá chất lượng cách tự động 1.4 CÁC CƠNG TRÌNH LIÊN QUAN ĐẾN ĐÁNH GIÁ CHẤT LƢỢNG DỊCH TIẾNG VIỆT Trong trình nghiên cứu, tác giả nhận thấy chưa có hệ thống đánh giá cho phép tự động gửi nhận kết trả từ hệ thống dịch trực tuyến, đồng thời cho phép đánh giá phương pháp đánh giá chủ quan đánh giá khách quan Các hệ thống có thường cho phép đánh giá chủ quan khách quan mà Hệ thống hỗ trợ đánh giá nhóm tác giả Huỳnh Công Pháp, Hervé Blanchon, Christian Boitet cung cấp số dịch vụ hỗ trợ cho việc đánh giá máy dịch tự động [6] Hệ thống SECTra_w cho phép đánh giá hệ thống dịch tự động Reverso Systran Với nghiên cứu nhóm tác giả cho thấy tương quan kết loại đánh giá chủ quan khách quan, nhiên hệ thống đóng, khơng cho phép người dùng phổ thông sử dụng Việc xây dựng công cụ đánh giá hệ thống dịch tự động mạng tác giả Võ Trung Hùng nghiên cứu đề cập đến nghiên cứu [7] Ơng xây dựng công cụ để đánh giá chất lượng hệ thống dịch tự động với phương pháp BLEU NIST, hệ thống tiến hành đánh giá hệ thống dịch Systran, Gist – In – Time Reverso Ưu điểm: Các cơng trình đánh giá số hệ thống dịch tự động Systran, Reverso, số phương pháp đánh giá khách quan, chủ yếu phương pháp BLEU NIST Các hệ thống thực việc đánh giá hệ thống dịch theo nhiều phương pháp khác nhau, kết trình bày rõ ràng theo phương pháp từ so sánh kết phương pháp khác với hệ thống dịch Một số hệt hống tích hợp chức cho chỉnh sửa lại kết dịch để sử dụng chỉnh sửa làm thành tham chiếu cho hoạt động sau Nhược điểm: Bên cạnh ưu điểm hệ thống tồn số vấn đề sau: hệ thống hệ thống đóng, chưa thực dễ dàng với người dùng việc đánh giá chất lượng hệ thống dịch Và quan trọng hơn, hệ thống chưa quan tâm nhiều đến đánh giá chất lượng dịch ngôn ngữ tiếng Việt, có hệ thống khơng đề cập khơng cho phép đánh giá chất lượng dịch ngôn ngữ tiếng Việt TIỂU KẾT CHƢƠNG 10 kết trả mà người dùng đồng thời nhìn thấy kết đánh giá độc lập tương đồng với giúp người dùng cảnh giác, đặt nghi vấn có sai khác lớn cách đánh giá 2.2 CÁC PHƢƠNG PHÁP ĐÁNH GIÁ ĐỀ XUẤT Hệ thống cho phép tiến hành đánh giá cách độc lập chất lượng dịch phương pháp đánh giá chủ quan phương pháp đánh giá khách quan 2.2.1 Phƣơng pháp đánh giá chủ quan Phương pháp đánh giá chủ quan sử dụng người để đánh giá Về cách đánh giá thường có kết xác đáng tin cậy để thử nghiệm hay đánh giá hệ thống dịch máy người có kiến thức ngơn ngữ, đánh giá chủ quan phản ánh thực tế, chất lượng thực dịch Tuy nhiên, bên cạnh tích cực tồn số điểm mà phương pháp khó loại bỏ hồn tồn thiếu xác phương thức phụ thuộc vào cá nhân thực đánh giá Điều lý giải chịu ảnh hưởng hồn cảnh, tâm trạng lực vốn kiến thức người tham gia đánh giá gây kết đánh giá khác Đồng thời phương pháp vấp phải vấn đề lớn có chi phí đánh giá cao, tốn thời gian công sức sử dụng người để thực thủ công Việc đánh giá chủ quan thực cách có chuyên gia song ngữ gán điểm cho câu dịch cách sử dụng số thang điểm đánh giá thường sử dụng thang điểm Likert 1-5 để đánh giá Việc đánh giá thường sử dụng nhiều tiêu chí khác Tiêu chí phổ biến dễ sử dụng để đánh giá chất lượng 11 dịch tính xác, đầy đủ thơng tin câu dịch đánh giá tính trơi chảy câu dịch a Đánh giá tính xác, đầy đủ thơng tin b Đánh giá tính trơi chảy câu dịch 2.2.2 Phƣơng pháp đánh giá khách quan a WER b TER c BLEU d NIST e METEOR 2.3 ĐẶC TẢ, PHÂN TÍCH THIẾT KẾ HỆ THỐNG ĐÁNH GIÁ 2.3.1 Đặc tả chức có hệ thống Hệ thống đánh giá chất lượng dịch với cặp ngôn ngữ Anh – Việt dự kiến xây dựng cần có tính nhằm mục đích sau : - Hỗ trợ việc quản lý, chỉnh sửa lưu trữ liệu nguồn, đích làm sở để cải tiến nâng cao chất lượn sở liệu ngày tốt hơn, - Cung cấp phương pháp đánh giá chủ quan khách quan, - Hỗ trợ hiển thị, phân tích, tổng hợp đánh giá kết phương pháp đánh giá a Chức tiền xử lý liệu đầu vào b Chức gửi nhận kết dịch hệ thống dịch c Chức hậu xử lý câu dịch tự động d Chức đánh giá chủ quan e Chức đánh giá khách quan 2.3.2 Kiến trúc tổng quan 12 Hệ thống đảm bảo tính nêu phần phân tích thiết kế Như gồm tính tiền xử lý liệu đầu vào, gửi lấy kết dịch trả về, tiến hành chỉnh sửa bổ sung vào kho liệu sau tiến hành đánh giá kết theo phương pháp Hình 2.9 Kiến trúc tổng quan hệ thống dịch 2.3.3 Phân tích thiết kế hệ thống Phần mô tả chi tiết cách thức hoạt động chức có hệ thống, phương thức thực thi để hệ thống hoạt động Trước hết, để thực chức đặc 13 tả trên, lược đồ lược đồ cộng tác xây dựng cho chức nhằm trình tự thực cơng việc tương tác qua lại đối tượng, quan hệ đối tượng Sau hình mơ tả biểu đồ tính hệ thống Hình 2.10 Biểu đồ ca sử dụng hệ thống đánh giá a Chức xử lý liệu đầu vào Chức cho phép người dùng nạp liệu đầu vào từ file *.txt hay file *.xml kho liệu song ngữ có sẵn, nhập trực tiếp câu văn vào hệ thống để đánh giá Việc nhập trực tiếp tính hữu ích để bổ sung giúp cho nguồn liệu hệ thống ngày phong phú Hệ thống tiến hành định dạng lại theo chuẩn hệ thống để dễ dàng lưu trữ xử lý 14 b Chức gửi nhận kết dịch hệ thống dịch Hệ thống yêu cầu người dùng lựa chọn hệ thống dịch cần đánh giá, cặp ngôn ngữ nguồn đích, sau hệ thống gửi văn nguồn đến hệ thống dịch, nhận kết dịch hiển thị kết dịch hệ thống c Chức đánh giá chủ quan Sau nhận kết dịch gửi trả về, hệ thống yêu cầu người dùng nhập tên, thực đánh giá theo tiêu chí tính đầy đủ thơng tin tính trôi chảy câu dịch dựa vào kết dịch câu dịch tham chiếu Biểu đồ hoạt động chức đánh giá chủ quan sau: Hình 2.11 Biểu đồ tính đánh giá chủ quan d Chức đánh giá khách quan Hệ thống cho phép người dùng lựa chọn phương pháp đánh giá khách quan cách đánh dấu vào phương pháp có sẵn hệ thống Từ phương pháp mà người dùng lựa chọn, hệ thống 15 tiến hành đánh giá trả kết tương ứng sở đánh giá câu dịch trả hệ thống câu dịch tham chiếu Sơ đồ tính đánh giá khách quan sau: Hình 2.12 Sơ đồ tính đánh giá khách quan 16 2.3.4 Cơ sở liệu Để tiến hành đánh giá chất lượng dịch theo phương pháp chủ quan khách quan ta cần có bảng chứa liệu ngơn ngữ, với câu nguồn gồm có bảng chứa kết dịch hệ thống cần đánh giá bảng chứa câu tham chiếu Trong bảng câu nguồn bảng câu tham chiếu tồn hệ thống Vậy sơ đồ sở liệu hệ thống sau: Hình 2.13 Sơ đồ mơ hình liệu quan hệ TIỂU KẾT CHƢƠNG Trong chương 2, tác giả đưa đề xuất mơ hình số chức hệ thống đánh giá chất lượng dịch tự động Hệ thống dựa vào văn đầu vào văn nguồn, dịch tham khảo dịch máy liệu chung, từ đưa kết 17 đánh giá chất lượng dịch hệ thống phương pháp nêu Mỗi kết đánh giá phương pháp khác phù hợp với nhu cầu khác người dùng Với kết phương pháp đánh giá, người dùng để đưa lựa chọn phù hợp cần tìm hệ thống dịch theo mong muốn Bên cạnh kết trả từ phương pháp đánh giá tự động – khách quan – hệ thống cho phép chuyên gia đánh giá thủ công – chủ quan – kết dịch với thang điểm tự điền vào Đây quan trọng bổ sung cho việc đưa lựa chọn hệ thống dịch người sử dụng 18 CHƢƠNG CÀI ĐẶT VÀ THỬ NGHIỆM HỆ THỐNG 3.1 LỰA CHỌN CÔNG CỤ PHÁT TRIỂN 3.1.1 Mơi trƣờng ngơn ngữ lập trình 3.1.2 Hệ quản trị sở liệu 3.2 XÂY DỰNG DỮ LIỆU THỬ Dữ liệu sử dụng đề tài sử dụng kho ngữ liệu song ngữ Anh – Việt Bitext-PTB Đây kho ngữ liệu song ngữ gồm file chứa câu tiếng Anh câu tiếng Việt tương ứng với Mỗi câu thể dòng Số lượng câu kho liệu song ngữ 27.145 câu gồm câu lĩnh vực xã hội, công nghệ thông tin, kinh tế v.v Bên cạnh tơi sử dụng thêm kho ngữ liệu câu nói song ngữ Việt – Anh lĩnh vực kinh tế, xã hội khác, tổ chức theo dạng câu gồm thành phần phân cách dấu ";" theo dạng sau: "text;text;" Đồng thời sử dụng tóm tắt báo khoa học tạp chí Đại học Đà Nẵng hội thảo CITA 2014, 2015 3.3 Xây dựng chức quan trọng hệ thống 3.3.1 Giao diện hệ thống đánh giá 19 Hình 3.1 Giao diện hệ thống đánh giá chất lượng dịch 3.3.2 Chức nhập văn nguồn văn tham chiếu Chức cho phép người dùng tiến hành nhập liệu câu nguồn, câu tham chiếu vào hệ thống, việc nhập tiến hành cách người dùng nhập trực tiếp đoạn văn vào chèn file *.txt file *.xml hệ thống nhận Văn nguồn: Người sử dụng nhập nội dung đoạn văn cần dịch vào khung văn nguồn Văn tham chiếu: Người dùng cần nhập nội dung đoạn văn tham chiếu câu dịch hoàn chỉnh 20 Hình 3.2 Nhập văn nguồn tham chiếu 3.3.3 Chức lựa chọn hệ thống dịch cặp ngôn ngữ Để thực đánh giá hệ thống dịch, người dùng lựa chọn hệ thống dịch cần đánh giá, lựa chọn cặp ngơn ngữ nguồn đích Hình 3.3 Lựa chọn hệ thống dịch cần đánh giá 3.3.4 Chức gửi nhận kết dịch Sau nhập lựa chọn hệ thống cặp ngôn ngữ nguồn - đích, người dùng click nút Dịch để gửi nhận kết dịch trả hệ thống dịch cần đánh giá Kết trả hiển thị khu vực hiển thị kết dịch 21 Hình 3.4 Kết dịch hiển thị 3.3.5 Chức lựa chọn phƣơng pháp đánh giá Khi có kết dịch trả từ hệ thống, người dùng lựa chọn phương pháp đánh giá khách quan, nhập tên người tham gia đánh giá chủ quan đồng thời lựa chọn mức đánh giá tương ứng với mức đầy đủ thông tin trôi chảy câu dịch Chọn phương pháp đánh giá khách quan: Hình 3.5 Lựa chọn phương pháp đánh giá khách quan Nhập tên người tham gia đánh giá mức đánh giá câu dịch: Hình 3.6 Chức đánh giá chủ quan 3.3.6 Chức hiển thị kết Kết tổng hợp lại theo hệ thống dịch, cột điểm phương pháp người đánh giá 22 Hình 3.7 Kết hiển thị 3.4 ĐÁNH GIÁ THỬ NGHIỆM Hệ thống tiến hành đánh giá câu kho ngữ liệu Bitext với hệ thống dịch tự động phổ biến là: https://translate.google.com.vn/ https://www.bing.com/translator Nguồn liệu tiến hành đánh giá chia thành nhiều lĩnh vực khác để đánh giá Các kết trả hai hệ thống với số lượng câu đủ lớn thấy khác chất lượng dịch Số lượng câu kho liệu khoảng 27.000 câu Dữ liệu thuộc lĩnh vực xã hội hệ thống dịch tự động https://translate.google.com.vn chiếm ưu chất lượng dịch trả Những câu dịch có chất lượng tốt gần sát với cách dịch người hệ thống dịch https://www.bing.com/translator Đặc biệt liệu lĩnh vực chuyên ngành hẹp cơng nghệ thơng tin hệ thống https://translate.google.com.vn dịch chuẩn xác Việc dịch từ tiếng Anh sang tiếng Việt hệ thống dịch https://www.bing.com/translator dừng lại mức dịch từ, ý nghĩa câu văn nhiều sai khác, chí có nhiều câu sai khác Trong trình thực đánh giá, tơi thực dịch thử đối 23 với hệ thống theo phương án: nguồn Anh – tiếng Việt – Tiếng Anh, nguồn Việt – tiếng Anh – tiếng Việt nhận thấy với hệ thống, kết trả câu nguồn câu dịch trả lại có khác biệt Điều cho thấy hệ thống nhiều vấn đề q trình dịch từ ngơn ngữ Anh sang Việt ngược lại Chính điều cho thầy lĩnh vực dịch tự động cần quan tâm nghiên cứu cải tiến nhiều người để đưa đến hoàn thiện sản phẩm dịch TIỂU KẾT CHƢƠNG 24 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Trong khuôn khổ luận văn, tiến hành nghiên cứu tổng hợp hệ thống lại vấn đề lý thuyết phương pháp đánh giá chất lượng dịch, đề tài tiến hành đánh giá văn theo số phương pháp đánh giá khách quan chủ quan Đề tài tạo môi trường cho phép người dùng đánh giá phương pháp khách quan sở gửi nhận kết dịch trả hệ thống dịch trực tuyến Đây sở để chuẩn bị xây dựng kho ngữ liệu cho ngôn ngữ tiếng Việt Bên cạnh đóng góp tích cực, đề tài có thiếu sót, hạn chế Hệ thống cần phải đưa sổ tổng hợp để người dùng có nhìn tổng quan hơn, từ có lựa chọn xác phù hợp với nhu cầu Đối với phương pháp đánh giá chủ quan, cần xây dựng thêm nhiều tiêu chí để đánh giá linh hoạt, phù hợp với cách đánh thường sử dụng kết dịch Trên sở kết đạt luận văn, thời gian tới tổng hợp thêm nhiều kho liệu liên quan đến nhiều lĩnh vực chuyên ngành để tiến hành đánh giá so sánh Tiến hành đánh giá thêm với hệ thống dịch có hỗ trợ tiếng Việt để cung cấp thêm thông tin lựa chọn cho người sử dụng ... Việt - sang tiếng Anh Tác giả nghiên cứu kết nhóm nghiên cứu PGS TS Phan Thị Tươi xử lý ngôn ngữ tự nhiên, ứng dụng vào dịch tự động Anh – Việt, Việt – Anh Tác giả nghiên cứu phương pháp đánh... Bing Phạm vi nghiên cứu - Đề nghiên cứu số phương pháp đánh giá chất lượng dịch chủ quan khách quan phổ biến, đánh giá với cặp ngôn ngữ Anh – Việt, đề không tiếp cận góc độ nghiên cứu phương pháp... tơi lựa chọn đề tài: Nghiên cứu phƣơng pháp xây dựng hệ thống đánh giá chất lƣợng dịch tự động song ngữ Anh- Việt” làm đề tài tốt nghiệp cao học Mục tiêu nghiên cứu Mục tiêu nghiên cứu cụ thể đề