Xây dựng bộ công cụ cho tiền xử lý và tách từ Tiếng Việt

Abstract

Nghiên cứu gần đây đã tập trung vào các mô hình ngôn ngữ lớn cho tiếng Việt, tuy nhiên, các bước tiền xử lý đóng vai trò bổ sung quan trọng trong sự thành công tương lai của xử lý ngôn ngữ tiếng Việt. Trong bài báo này, chúng tôi thiết kế và phát triển bộ công cụ DaNangNLP mới có thể xử lý các bước tiền xử lý quan trọng của ngôn ngữ tiếng Việt. Mặc dù đã có nhiều mô-đun thành công trong xử lý ngôn ngữ tiếng Việt, nhưng các bộ công cụ hiện có vẫn còn tồn tại một số thiếu sót nhất định, đặc biệt là trong việc tách từ trong các câu tiếng Việt phức tạp. Do đó, chúng tôi đã phát triển một quy trình xử lý ngôn ngữ tự nhiên thực tiễn và mạnh mẽ được thiết kế đặc biệt cho ngôn ngữ tiếng Việt để giải quyết các vấn đề thách thức hiện diện trong các bộ công cụ xử lý tiếng Việt trước đây. Quy trình của DaNangNLP dựa trên các từ điển tích hợp mới được thiết kế để xử lý văn bản tiếng Việt cho các bước tiền xử lý điển hình như phân đoạn câu, biểu thức chính quy cho từ, chuẩn hóa từ và tách từ. Trong suốt quá trình đánh giá, việc tách từ dựa trên ngữ nghĩa được đề xuất đã vượt trội hơn so với tách từ dựa trên tần suất và các bộ công cụ hiện có trong các câu phức tạp.