斯坦福大學與FAIR Meta的研究人員合作開發的CHOIS系統,通過引入基于語言描述、初始狀態和稀疏對象航點的方法,成功解決了在3D場景中生成對象和人物同步運動的難題。該系統通過在指定的3D環境中產生逼真且可控的運動,控制了人物與對象之間的交互。
CHOIS利用大規模高質量的運動捕捉數據集(如AMASS),推動了生成式人體運動建模的興趣,包括動作條件和文本條件的合成。與以往使用VAE公式從文本生成多樣人體運動的方法不同,CHOIS專注于人物與對象的交互。與側重于手部運動合成的現有方法不同,CHOIS考慮了在對象抓取之前的全身運動,并根據人體運動預測對象運動,為交互式3D場景模擬提供了全面的解決方案。
CHOIS解決了在3D環境中合成逼真人物行為的重要需求,對計算機圖形學、具身人工智能和機器人技術至關重要。該系統通過基于語言描述、初始狀態和稀疏對象航點生成同步的人體和對象運動,應對了逼真運動生成、適應環境雜亂、以及從語言描述中合成交互的挑戰,為在不同3D場景中可控的人物-物體交互提供了全面的系統。
在評估階段,CHOIS系統與基線和消融模型進行了嚴格對比,展示了在條件匹配、接觸準確性、減少手-物體穿透和腳浮動等指標上的卓越性能。在FullBodyManipulation數據集上,對象幾何損失提升了模型的性能。在3D-FUTURE數據集上,CHOIS在新對象上的泛化表現優于基線和消融模型。人類感知研究突顯了CHOIS在與文本輸入對齊以及相比基線更優越的交互質量方面的優勢。定量指標包括位置和方向誤差,用于衡量生成結果與地面真實運動之間的偏差。
總體而言,CHOIS是一個基于語言描述和稀疏對象航點生成逼真人物-物體交互的系統。在培訓過程中,該程序考慮了對象幾何損失,并在采樣過程中采用了有效的引導術語,以增強結果的逼真性。CHOIS學到的交互模塊可以集成到一個管道中,用于基于語言和3D場景合成長期交互。CHOIS在生成與提供的語言描述一致的逼真人物-物體交互方面有了顯著改進。
未來的研究可以探索通過整合額外的監督,如對象幾何損失,以提高生成的對象運動與輸入航點的匹配性。研究更先進的引導術語以強制執行接觸約束可能會產生更逼真的結果。將評估擴展到多樣的數據集和場景將測試CHOIS的泛化能力。進一步的人類感知研究可以提供有關生成交互的更深層次的洞察。將學到的交互模塊應用于基于3D場景對象航點生成長期交互也將拓展CHOIS的適用性。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
海報生成中...
海藝AI的模型系統在國際市場上廣受好評,目前站內累計模型數超過80萬個,涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景,基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機器人市場出貨1,2萬臺,同比增長33%,顯示出品類強勁的市場需求。