... 2009.
Học viên
Lưu Văn Tăng
4
Luận văn tốt nghiệp
Chương 2. Các công cụ phân tích vănbảntiếng Việt
Trong chương này em giới thiệu một số công cụ phân tích vănbản
tiếng Việt đã có áp dụng ... một vănbảntiếngViệt bất kỳ. Hãy phân tách vănbản đó ra thành
các đơn vị câu độc lập.
Bài toán tách câu đặt ra với mục đích xây dựng công cụ tự động tách các câu
trong một vănbảntiếngViệt ... ngữ liệu cho phân tích vănbảntiếng
Việt, các hướng tiếp cận để giải các bài toán đó.
Chương 2 – Giới thiệu một số công cụ trong xây dựng kho ngữ liệu cho phân
tích vănbảntiếng Việt.
• Công...
...
4. Bài toán phânloạivănbản
Tiếng Việt
Xét bài toán phânloạivănbản
Tiếng Việt, cho một vănbản bất kỹ hãy xác
định chủ đề của vănbản đó dựa trên một tập
gồm 200 văn bản.
5. Thực ... quan
đến phânloạivănbản như: các phương pháp
phân loạivănbảnTiếng Anh, các phương
pháp tách từ Tiếng Việt, và cách tiến hành đi
vào làm công cụ phânloạivăn bản.
Trong luận văn có sử ... trọng liên quan đến vấn đề
phân loạivăn bản. Rút ra những kinh
nghiệm của bản thân
[1] Nguyễn Phương Thái, Kiểm lỗi Chính tả
Cảm Ngữ cảnh Tiếng Việt, Luận văn thạc sĩ,
Khoa Công nghệ,...
...
hợp tiếng nói, các hệ thống nhận dạng tiếng
nói cũng như trong các hệ thống dịch máy.
Đối với các vănbảnViệt ngữ, việc gán
nhãn từ loại có nhiều khó khăn, đặc biệt là
bản thân việc phânloại ... lệ lỗi càng giảm
- Tập mẫu v
ới các vănbản có văn phong
khác nhau có ảnh hưởng tới kết quả gán
nhãn.
Bảng 1. Kết quả gán nhãn từ loại mức 1
Văn bản / Văn phong Số đơn vị từ Test 1 Test 2 ... TỪ LOẠI
Trong phần này chúng tôi giới thiệu
tổng quan về các kĩ thuật gán nhãn từ loại và
các bước giải quyết bài toán gán nhãn từ loại
cho vănbảntiếng Việt.
Quá trình gán nhãn từ loại...
...
từ loại hay không. Công việc gán nhãn từ loại cho một vănbản là xác định từ loại của mỗi từ
trong phạm vi vănbản đó. Các công cụ gán nhãn (hay chú thích) từ loại cho các từ trong một
văn bản ... Toán tin; Gán nhãn từ loại; Vănbảntiếng Việt; Máy tính
Content
MỞ ĐẦU
Một trong các vấn đề nền tảng của ngôn ngữ tự nhiên là việc phânloại các từ thành các
lớp từ loại dựa theo thực tiễn ... tiếngViệt theo cách tiếp cận này.
loại chính xác nhờ kết quả liên kết từ Anh -Việt và phép chiếu từ loại từ Anh sang
Việt.
Như vậy, có thể thấy rằng bài toán gán nhãn từ loại cho tiếng Việt...
... nhận biết các loại thực
thể trong tiếngViệt
Một hệ thống nhận biết loại thực thể trong tiếngViệt nếu ra đời sẽ góp phần
quan trọng trong xử lý tiếngViệt và hiểu các vănbảntiếng Việt. Tuy ... quá trình phân lớp. Thực nghiệm trên các vănbảntiếngViệt cho thấy qui trình
phân lớp đạt được kết quả rất khả quan.
18
Phương trình (3.6) thể hiện một ràng buộc đối với phân phối mô ...
Nhận biết các loại thực thể là một bước cơ bản trong trích chọn thông tin từ
văn bản và xử lý ngôn ngữ tự nhiên. Nó được ứng dụng nhiều trong dịch tự động, tóm
tắt văn bản, hiểu ngôn ngữ...
... vănbản
2.2 Kỹ thuật phân cụm vănbảntiếngViệt dựa trên thuật toán phân cấp
2.2.1 Phân cụm vănbản
2.2.1.1 Khái niệm phân cụm vănbản
Định nghĩa: Thuật toán phân cụm nhóm tập các vănbản ... vănbảntiếngViệt đã được phân cụm.
2.1 Phương pháp biểu diễn vănbản
2.1.1 Khái niệm
Biểu diễn vănbản là phương pháp mô tả nội dung hoặc đặc trưng của vănbản [1].
Khi biểu diễn vănbản ... tài “Tra cứu vănbản
tiếng Việt dựa trên kỹ thuật phân cụm”. Các đóng góp của luận văn
- Nghiên cứu, cải tiến một số phương pháp tra cứu đối với vănbảntiếng
Anh áp dụng cho tiếng Việt.
- Sử...
... các trường hợp sau:
q là thành phần thô trong vănbản d
j
[3-1]
q là thành phần thô dưới trong vănbản d
j
[3-2]
q là thành phần thô trên trong vănbản d
j
[3-3]
4- q bao hàm thô d
j
(ngược ... Với q là một truy vấn ta có các trường
hợp sau:
Văn bản d
j
là thành phần thô trong q [4-1]
Văn bản d
j
là thành phần thô dưới trong q [4-2]
Văn bản d
j
là thành phần thô trên trong q [4-3]
5- ... thuộc, bổ sung ý nghĩa cho vị ngữ.
4. Các đặc điểm của tiếngViệt
TrÞnh §øc Cêng Trang 10
Đồ án tốt nghiệp
Tìm kiếm vănbảntiếng Việt
3.1 Cõu n
Cõu n l loi cõu c s ca ting Vit, nú bao gm...
...
Bảng 3. Quá trình phân tích từ trên xuống
Bảng 5. Tập luật của văn phạm tiếngViệt 48
Bảng 6. Tập luật của văn phạm tiếng Anh 50
Khoá luận tốt nghiệp
6
Danh mục hình
Hình 1. Phânloại ... phương án phân tích cho một câu tiếngViệt nhập nhằng 62
Hình 19. Cây phân tích ứng với cách tách từ đúng 62
Danh mục bảng
Bảng 1. Phân tích từ trên xuống, ưu tiên chiều sâu cho văn phạm ... toán cho bài toán phân tích cú pháp tiếng Anh.
Trong phần phụ lục của khoá luận em sẽ trình bày chi tiết bài toán tách từ vựng tiếng
Việt.
Chương 4. Xây dựng văn phạm tiếngViệt
Khoá luận tốt...
... việc trên một tập lớn các tài
liệu như phân lớp văn bản, phânloạivăn bản, tìm kiếm vănbản do đó mối
tương quan giữa các từ chiết xuất được và tập vănbản phải được lưu ý đến.
Ngưỡng kết hợp ... liệu vănbản sẽ được trình bầy ở phần sau.
2. Các kỹ thuật khai phá
Các bài toán thường được quan tâm trong khai phá dữ liệu vănbản là
Phân loạivănbản (text categorization), Phân lớp vănbản ... trong tiếngViệt có thể là một tiếng hay gồm nhiều tiến. Hơn nữa,
trong tiếngViệt những từ nhiều tiếng có thể được ghép bởi những tiếng hay
từ khác có nghĩa. Ví dụ như hai từ chỉ một tiếng...
... danh đối với các vănbảntiếngViệt khác.
Cách viết địa danh trên các bản đồ vì thế là vấn đề được lưu tâm từ trước
tới nay. Tuy nhiên, trên thực tế cách viết địa danh trên các bản đồ vẫn chưa ... trong tiếng Việt, âm /r/ chỉ tồn tại với tư c¸ch là một âm
của phương ngữ nhưng do một qúa trình tiếp xúc giữa tiếngViệt và các ngôn
ngữ phương Tây mà những âm /p/ và /r/ vào tiếngViệt và ... tiếp
Chủ yếu phiên theo tiếng Hán và cách đọc Hán Việt
“Ngày 17. 2 tại Hà Nội, ngài Ha- tô- ri, đại sứ Nhật Bản tại Việt Nam và
GS Nguyễn Trọng Nhân, chủ tịch hội Nhãn Khoa Việt Nam cùng ký kết...
... chung và đồng nhất cho các bản đồ để
định
2. Một số ý kiến về vấn đề chuẩn hố địa danh nước ngồi trên các vănbản
tiếng Việt
2.1. Những qui định của quốc tế và Việt Nam về cách viết địa danh ... các văn bản.
4. Bố cục
Ngồi phần mở đầu và kết luận, đề tài của chúng tơi gồm bốn chương và
một phụ lục
Chương 1. Lý luận chung
Chuơng 2. Tình hình viết địa danh trên một số vănbảntiếngViệt ... một văn bản. Vì vậy, chúng ta cần nhận thấy rằng để thống nhất cách
viết địa danh trên tất cả các vănbản thì phải việc trước tiên là cần phải thống
nhất cách viết ngay trong bản thân từng văn...
... PHÁP PHÂNLOẠIVĂNBẢN
TIẾNG ANH
2.1. Bối cảnh các phương pháp phânloạivănbản hiện nay
Phânloạivănbản tự động là một lĩnh vực được chú ý nhất trong những năm
gần đây. Để phânloại ... hướng tiếp cận cho phânloạivănbản và tách từ tiếngViệt hiện
nay; 2 chương tiếp theo trình bày hướng tiếp cận của luận vă
n đối với phânloạivăn
bản và tách từ tiếng Việt; 3 chương cuối ... 1997].
2.2. Các phương pháp phânloạivănbảntiếng Anh hiện hành
2.2.1. Biểu diễn vănbản
Bước đầu tiên của mọi phương pháp phânloại là chuyển việc mô tả vănbản
dùng chuỗi ký tự thành một...