Biểu diễn ngữ nghĩa số học sử dụng phương pháp học máy đa phương thức

Abstract

Học đa phương thức Multimodal Learning hiện nay đang trở thành một công cụ học máy hữu ích khi cho thấy sự liên kết mạnh mẽ giữa nhiều loại dữ liệu với nhau để giải quyết vấn đề một cách bao quát và tốt hơn rất nhiều so với việc dùng đơn lẻ 1 mô hình cho 1 kiểu dữ liệu. Hiện nay, bài toán giúp máy tính hiểu được ý nghĩa con số, phép toán, biến số vẫn chưa được quan tâm nhiều dù các mô hình học máy hiện tại chỉ đã có thể phân loại ảnh số, làm các phép toán theo ghi nhớ logic. Để giải quyết vấn đề đó, trong bài báo này chúng tôi đã thử nghiệm phương pháp học đa phương thức để giúp máy tính có thể hiểu được ý nghĩa con số và tác vụ đếm số và ghi nhớ các con số giúp máy tính có thể hình dung được ý nghĩa con số là gì. Việc sử dụng Convolutional LSTM trong biểu diễn và trích xuất hình ảnh theo trình tự thời gian kết hợp với Long short-term memory trong việc ghi nhớ trình tự các con số được đếm đã đạt được kết quả 82% độ chính xác và có triển vọng để tiếp tục phát triển cho máy tính hiểu phép toán khác và biến số trong phương trình số học.