Algoritma Fusi Multimodal dan Sistem Dialog Berbasis Reinforcement Learning dalam Interaksi Manusia-Mesin

Peneliti: Hanif Fakhrurroja, Carmadi Machbub, Ary Setijadi Prihatmanto, Ayu Purwarianti

Studi ini mengembangkan metode sistem interaksi manusia-mesin. Ini melibatkan beberapa tahap, termasuk sistem aktivasi multimodal, metode untuk mengenali modalitas bicara, gerakan, deteksi wajah dan pelacakan kerangka, strategi fusi multimodal, pemahaman niat manusia dan sistem dialog Indonesia, serta metode pengembangan pengetahuan mesin dan respons yang tepat. Penelitian ini berkontribusi pada sistem interaksi manusia-mesin yang lebih mudah dan alami menggunakan sistem berbasis fusi multimodal. Tingkat akurasi rata-rata dari aktivasi multimodal, pengujian sistem dialog menggunakan interaksi pengenalan gestur Indonesia, dan fusi multimodal masing-masing adalah 87,42%, 92,11%, 93,46%, dan 93%. Tingkat kepuasan pengguna terhadap sistem interaksi manusia-mesin berbasis pengenalan multimodal yang dikembangkan adalah 95%. Menurut 76,2% pengguna, sistem interaksi ini terasa alami, sementara 79,4% setuju bahwa mesin tersebut merespons keinginan mereka dengan baik.