BIỂU DIỄN NGỮ CẢNH NHẰM KHỬ NHẬP NHẰNG TRONG KHAI TRIỂN CHỮ VIẾT TẮT BẰNG BỘ PHÂN LỚP NAÏVE BAYES

Abstract

Chuẩn hóa văn bản là bài toán rất cần thiết trong các ứng dụng liên quan đến xử lý ngôn ngữ tự nhiên vì văn bản đầu vào thường chứa nhiều từ không chuẩn như chữ viết tắt, chữ số và từ ngữ nước ngoài. Nghiên cứu này giải quyết vấn đề chuẩn hóa chữ viết tắt trong văn bản tiếng Việt khi có nhiều lựa chọn để khai triển. Để khử nhập nhằng trong khai triển chữ viết tắt, phương pháp học máy với bộ phân lớp Naïve Bayes được sử dụng, trong đó thông tin ngữ cảnh của chữ viết tắt được biểu diễn bởi một trong hai mô hình: Bag-of-words (túi từ) hoặc Doc2Vec (vectơ hóa văn bản). Các thử nghiệm phân lớp trên một bộ dữ liệu chữ viết tắt do chúng tôi xây dựng cho thấy tỉ lệ khai triển đúng trung bình của hai mô hình Bag-of-words và Doc2Vec lần lượt là 86,0% và 79,7%. Kết quả thực nghiệm cũng cho thấy thông tin ngữ cảnh đóng vai trò quan trọng trong việc khử nhập nhằng khai triển chữ viết tắt