Nghiên cứu một số kỹ thuật xử lý ngôn ngữ tiếng Việt và ứng dụng

MỞ ĐẦU Trong những năm gần đây, Công nghệ thông tin phát triển mạnh mẽ và đã, ứng dụng trên nhiều lĩnh vực trong cuộc sống như y tế, giáo dục,…trong đó việc ứng dụng trong cải cách hành chính đóng vai trò rất quan trọng. Đồng thời, sự phát triển kinh tế xã hội và sự toàn cầu hóa đã dẫn đến sự bùng nổ thông tin. Các thông tin tổ chức theo phương thức sử dụng giấy trong cơ quan nhà nước, trong giao dịch đang dần được số hóa. Có nhiều tính năng vượt trội mà phương thức này mang lại như có thể lưu trữ lâu dài, phân loại, tìm kiếm một cách nhanh chóng. Đó là lý do khiến cho số lượng thông tin số hóa ngày nay đang tăng dần theo cấp số nhân. Nó không chỉ để nâng cao năng lực, hiệu quả hoạt động của các cơ quan quản lý Nhà nước mà là yếu tố góp phần vào sự tăng trưởng, chuyển dịch cơ cấu kinh tế và làm thay đổi cơ bản cách quản lý, học tập, làm việc của con người. Ứng dụng Công nghệ thông tin để giải quyết công việc, phục vụ cải cách hành chính ngày càng trở thành công việc bắt buộc phải thực hiện tại mọi cơ quan tạo điều kiện cho tăng trưởng nhanh nền kinh tế và tạo những yếu tố tiền đề cho sự phát triển kinh tế tri thức, đồng thời tạo ra nhiều sản phẩm dịch vụ tiện ích góp phần đạt hiệu quả trong công tác quản lý điều hành, thúc đẩy hội nhập, nâng cao chất lượng cuộc sống cho xã hội. Xử lý ngôn ngữ là một trong những vấn đề phức tạp của Công nghệ thông tin. Vấn đề là ở chỗ là làm sao giúp máy tính hiểu được ngôn ngữ của con người, qua đó hướng dẫn máy tính thực hiện và giúp đỡ con người trong những công việc có liên quan đến ngôn ngữ như: Dịch thuật, phân tích dữ liệu văn bản, nhận dạng tiếng nói, tìm kiếm thông tin, ... Kỹ thuật xử lý ngôn ngữ tiếng Việt có nhiều hướng tiếp cận khác nhau và đã có nhiều công trình nghiên cứu đạt những kết quả khả quan trong thời gian vừa qua, nó đóng vai trò quan trọng lĩnh vực xử lý dữ liệu văn bản. Tách từ là một quá trình xử lý nhằm mục đích xác định ranh giới của các từ trong câu văn, cũng có thể hiểu đơn giản rằng tách từ là quá trình xác định các từ đơn, từ ghép… có trong câu. Đối với xử lý ngôn ngữ, để có thể xác định cấu trúc ngữ pháp của câu, xác định từ loại của một từ trong câu, yêu cầu nhất thiết đặt ra là phải xác định được đâu là từ trong câu. Vấn đề này tưởng chừng đơn giản với con người nhưng đối với máy tính, đây là bài toán rất khó giải quyết. Chính vì lý do đó tách từ được xem là bước xử lý quan trọng đối với các hệ thống xử lý ngôn ngữ tự nhiên, đặc biệt là đối với các ngôn ngữ thuộc vùng Đông Á theo loại hình ngôn ngữ đơn lập, ví dụ: Tiếng Trung Quốc, tiếng Nhật, tiếng Thái, và tiếng Việt. Với các ngôn ngữ thuộc loại hình này, ranh giới từ không chỉ đơn giản là những khoảng trắng như trong các ngôn ngữ thuộc loại hình hòa kết như tiếng Anh…, mà có sự liên hệ chặt chẽ giữa các tiếng với nhau, một từ có thể cấu tạo bởi một hoặc nhiều tiếng. Vì vậy đối với các ngôn ngữ thuộc vùng Đông Á, vấn đề của bài toán tách từ là khử được sự nhập nhằng trong ranh giới từ. Do yêu cầu công việc cơ quan Hội đồng nhân dân (HĐND) tỉnh ngày càng cao nên số lượng văn bản tăng nhanh cả về số lượng và chủ đề. Tuy với khối lượng thông tin đồ sộ như vậy, nhưng nhu cầu đối với những đối tượng cụ thể khác nhau, tốc độ khác nhau. Để tìm được những thông tin cần thiết cho mục đích của mỗi người sẽ mất rất nhiều thời gian và công sức, như vậy cần có giải pháp để phân loại một cách tự động để giúp chúng ta xử lý văn bản được thuận tiện hơn. Có nhiều kỹ thuật xử lý ngôn ngữ tiếng Việt được đề xuất, mỗi phương pháp đều có lợi thế và bất lợi riêng khi sử dụng. Nhiều ứng dụng đã và đang được xây dựng dựa trên kỹ thuật tách từ rất hiệu quả. Vì vậy luận văn tập trung vào việc “Nghiên cứu một số kỹ thuật xử lý ngôn ngữ tiếng Việt và ứng dụng” với mục đích xây dựng hệ hỗ trợ phân loại văn bản tự động ở Văn phòng HĐND tỉnh. Cấu trúc của luận văn được sắp xếp theo bố cục sau đây: Chương 1 giới thiệu tổng quan ngôn ngữ xử lý tự nhiên, ngôn ngữ tiếng Việt, các đặc trưng cơ bản của tiếng Việt và một số kỹ thuật xử lý ngôn ngữ tự nhiên. Chương 2 tìm hiểu khái quát về tách từ Tiếng việt, lịch sử nghiên cứu và hướng tiếp cận bài toán tách từ. Từ đó đề xuất một số phương pháp tách từ tiếng Việt. Chương 3 tìm hiểu thực trạng việc ứng dụng Công nghệ thông tin trong Văn phòng HĐND tỉnh, đặt bài toán tự động hóa công tác lưu trữ trong Văn phòng, cụ thể nhu cầu phân loại văn bản tiếng Việt ở HĐND tỉnh; Tiếp đó ứng dụng hệ hỗ trợ phân loại văn bản theo nội dung, lĩnh vực, nơi ban hành và cuối chương là một vài đánh giá về phương pháp tách từ. Do thời gian thực hiện luận văn có hạn nên việc nghiên cứu và thực hiện có thể mắc phải một số thiếu sót ngoài ý muốn. Chúng tôi mong muốn nhận được các góp ý của quý thầy cô, bạn bè và những người quan tâm đến lĩnh vực này để đề tài được hoàn thiện hơn.