圖森未來今日發布“Ruyi”圖生視頻大模型，并將 Ruyi-Mini-7B 版本開源，用戶可以從 huggingface 上下載使用。

　　據介紹，Ruyi 是一個基于 DiT 架構的圖生視頻模型，它由兩部分構成：

　　一個 Casual VAE 模塊負責視頻數據的壓縮和解壓

　　一個 Diffusion Transformer 負責壓縮后的視頻生成

　　模型的總參數量約為 7.1B，使用了約 200M 個視頻片段進行訓練。“Ruyi”專為在消費級顯卡(例如 RTX 4090)上運行而設計，并提供部署說明和 ComfyUI 工作流，以便用戶能夠快速上手。

　　多分辨率、多時長生成：Ruyi 支持最小 384*384，最大 1024*1024 分辨率，任意長寬比，最長 120 幀 / 5 秒的視頻生成。

　　首幀、首尾幀控制生成：Ruyi 可以支持最多 5 個起始幀、最多 5 個結束幀基礎上的視頻生成，通過循環疊加可以生成任意長度的視頻。

　　運動幅度控制：Ruyi 提供了 4 檔運動幅度控制，方便用戶對整體畫面的變化程度進行控制。

　　鏡頭控制：Ruyi 提供了上、下、左、右、靜止共 5 種鏡頭控制。

　　Ruyi 是圖森未來正式發布的第一款“圖生視頻”模型。Ruyi 目前仍然存在手部畸形、多人時面部細節崩壞、不可控轉場等問題，圖森未來稱正在改進這些缺點，在日后的更新中對它們進行修復。

　　圖森未來表示，公司致力于利用大模型降低動漫和游戲內容的開發周期和開發成本。本次發布的 Ruyi 大模型，已經可以實現輸入關鍵幀后，生成之后 5 秒的內容，或輸入兩個關鍵幀，由模型生成中間的過渡內容，降低開發周期。在下一次的發布中，圖森未來將同時發布兩個版本，為不同需求的創作者提供更加靈活的選擇。