Xây dựng và phát triển mô hình nhận dạng phát âm sai trong Tiếng Việt

Abstract

Nhận dạng giọng nói tự động, đã phát triển mạnh mẽ trong thập kỷ qua và được sử dụng để nhận dạng và chuyển đổi giọng nói của con người thành văn bản một cách tự động. Tuy nhiên, nhận dạng giọng nói tiếng Việt đối mặt với những thách thức nghiêm trọng như dễ phát âm sai và sự đa dạng lớn trong giọng nói tiếng Việt. Là một ngôn ngữ có dấu, tiếng Việt không chỉ dựa trên phụ âm và nguyên âm mà còn phụ thuộc vào sự biến đổi của cao độ hoặc dấu trong khi phát âm. Trong bài báo này, chúng tôi đề xuất XÂY DỰNG MỘT BỘ DỮ LIỆU PHÁT ÂM SAI DÀNH RIÊNG CHO NGÔN NGỮ TIẾNG VIỆT gồm bộ dữ liệu sinh viên 3 miền Bắc - Trung - Nam phát âm giọng địa phương được thu thập trên website thu thập dữ liệu chúng tôi đã phát triển và bộ dữ liệu người nước phát âm tiếng Việt được thu thập từ OpenAI TTS. Bên cạnh đó chúng tôi đề xuất MÔ HÌNH DANANGVMD ĐỂ NHẬN DẠNG PHÁT ÂM SAI TRÊN NGÔN NGỮ TIẾNG vIỆT dựa trên âm thanh và bản phiên dịch âm chuẩn tắc. Bằng cách tận dụng các thông tin từ các embedding của bộ mã hóa âm vị và bộ mã hóa ngôn ngữ, DaNangVMD cung cấp một giải pháp mạnh mẽ cho việc phát hiện và chẩn đoán phát âm sai chính xác. Qua quá trình đánh giá mở rộng, DaNangVMD được đề xuất cho thấy hiệu suất vượt trội so với các mô hình cơ bản PAPL với độ chính xác nhận dạng âm vị lên đến 92.3% và điểm F1 cho nhận dạng các âm vị phát âm sai đạt 59.35%, đạt SOTA cho bài toán nhận dạng phát âm sai trên ngôn ngữ Tiếng Việt