Twelve Labs 最新發布了 Pegasus-1的公測版本，這款視頻 - 語言基礎模型在視頻理解領域取得了新突破。

　　Pegasus-1是一款具有約17億參數的視頻 - 語言模型，能夠以卓越的準確性和細節處理能力從視頻輸入中生成語言描述。據稱，Pegasus-1視頻解讀能力比Gemini Pro1.5還要強，通過優質數據、優化視頻處理和精細訓練等升級，提供卓越的視頻理解和生成文本能力。在視頻總結、問題回答和對話方面表現卓越。

　　產品特色功能包括：

　　- 數據優化:高質量數據驅動模型表現，100，000個高質量視頻 - 文本對訓練帶來強大基礎視頻理解能力。

　　- 視頻處理提升:優化空間和時間分辨率，使 Pegasus-1能更好地捕捉視頻信息。

　　- 訓練技術改進:多階段訓練避免災難性遺忘，使模型在細節、世界知識和時間理解等方面大幅提升。

　　在基準測試中，Pegasus-1在視頻問答、對話和摘要等任務中勝過谷歌 Gemini Pro 等現有模型，展現出卓越的性能。無論是零樣本表現還是廣泛泛化能力，Pegasus-1都站在行業前沿，為視頻理解任務設立新標桿。

　　然而，仍需關注模型安全性、視頻長度限制和偶發幻覺等方面的改進空間。Pegasus-1的不斷進化與創新，為視頻理解技術開辟新的可能性。值得一提的是，Pegasus-1未開源，通過API使用