(相關資料圖)

微軟研究院近日公開了其最新研究項目——Project Rumi。該項目旨在通過結合文本、音頻和視頻數據，運用多模態方法，提升人工智能系統的理解能力，使其更能理解人類的意圖。 近年來，人工智能系統在自然語言處理（NLP）領域取得了顯著的進步。然而，現有的NLP AI主要依賴于文本輸入輸出，忽略了人類在自然交流中的語調、面部表情、手勢和肢體語言等線索，這在一定程度上導致了其在理解方面的偏差。在AI專業術語中，這些線索被統稱為副語言。 為了解決這個問題，微軟研究院開發了Project Rumi。這是一個新穎的框架，旨在通過多模態副語言提示來增強人工智能的理解。該項目包括兩個主要部分：多模式副語言編碼器和多模式副語言解碼器。

關鍵詞：