Ứng dụng các kỹ thuật phân lớp dữ liệu cho bài toán khai thác dữ liệu tiếng dân tộc thiểu số phục vụ xử lý ngôn ngữ tự nhiên

Abstract

Nghiên cứu này phân tích vai trò, thực trạng của kho ngữ liệu phục vụ xử lý ngôn ngữ tự nhiên (XLNNTN), xử lý tiếng Việt (XLTV) nói chung và tiếng dân tộc thiểu số (DTTS) nói riêng. Trên cơ sở mô hình tổng quan của bài toán XLNNTN, tác giả tập trung nghiên cứu bài toán phân lớp dữ liệu. Nghiên cứu đã trình bày những nét chính về mặt ý tưởng, giải thuật; ưu, nhược điểm của một số giải thuật phân lớp dữ liệu được sử dụng phổ biến trong xử lý tiếng Việt như SVM, cây quyết định, giải thuật Bayes… Tuy nhiên, đối với việc xử lý tiếng DTTS thì còn hạn chế do nhiều nguyên nhân khác nhau. Tác giả lựa chọn giải thuật SVM để phân lớp văn bản tiếng DTTS trên tập dữ liệu thử nghiệm, từ đó đánh giá hiệu quả thực hiện và đưa ra những đề xuất liên quan đến bài toán phân lớp dữ liệu trên văn bản tiếng DTTS