新加坡科研團隊開發AI工具DIRFA:輸入圖片和音訊,可生成說話影片
東尋 / 何渝婷編譯
2023-11-17 18:00

(示意圖/取自pixabay)

根據《 IT 之家》 11 月 17 日消息,來自新加坡南洋理工大學(NTU Singapore)的科研團隊近日開發出了 DIRFA 工具,用戶給一張圖片以及音訊內容,可以自動生成 3D 影片,並實現口型和聲音的同步協調。

DIRFA 的全稱為 DIverse yet Realistic Facial Animations,訓練了超過 6000 多人的 100 萬個影片片段,音訊片段來自一個名為 VoxCeleb2 數據集的開源數據庫,並關聯臉部表情和頭部運動。

研究人員表示,DIRFA 可能會在包括醫療保健在內的各個產業和領域帶來新的應用,因為它可以實現更複雜和逼真的虛擬助手和聊天機器人,從而改善用戶體驗。

DIRFA 還可以作為言語或臉部殘疾人士的強大工具,幫助他們通過富有表現力的頭像或數位表示來傳達他們的想法和情感,從而增強他們的溝通能力。

本文為AI新智界授權刊登,原文標題為「新加坡科研團隊開發 AI 工具 DIRFA:輸入圖片和音頻,可生成說話視頻