Open-Sora 在開源社區悄悄更新了，現在，該項目不僅支持長達16秒的單鏡頭視頻生成，而且視頻分辨率最高可達720p，能夠處理各種寬高比的文本到圖像、文本到視頻、圖像到視頻、視頻到視頻以及無限長視頻的生成需求。

　　技術報告與模型架構:

　　Open-Sora技術報告已在GitHub上發布，詳細介紹了新功能和模型架構。

　　作者團隊對STDiT架構進行了關鍵性改進，提高了模型的訓練穩定性和整體性能。

　　引入了旋轉位置編碼(RoPE embedding)和QK歸一化技術，以增強訓練穩定性。

　　ST-DiT-2架構能夠自動縮放位置編碼，處理不同大小尺寸的輸入。

　　多階段訓練方法:

　　Open-Sora采用了多階段訓練方法，通過分步驟引入數據，高效實現高質量視頻生成。

　　初始階段視頻采用144p分辨率，混訓圖片和更高分辨率視頻。

　　第二階段提升至240p和480p分辨率，第三階段進一步增強至480p和720p。

　　統一的圖生視頻/視頻生視頻框架:

　　基于Transformer，DiT架構可支持圖像到圖像及視頻到視頻任務。

　　提出掩碼策略來支持圖像和視頻的條件化處理。

　　掩碼策略配置:

　　引入了隨機掩碼策略，以隨機方式選擇并取消掩碼的幀，提高模型處理圖像條件化的能力。

　　支持多時間/分辨率/長寬比/幀率訓練:

　　通過分桶策略，使用原始視頻的分辨率、長寬比和長度進行訓練，增加采樣靈活性。

　　數據收集和預處理流程:

　　作者團隊提供了詳盡的數據收集與處理指南，分享了自動化的數據處理流程。

　　性能全方位評測:

　　Open-Sora能夠將文字描述轉化為動人的動態視頻，支持多種內容、分辨率、長寬比和時長的生成。

　　盡管取得了進展，但當前生成的視頻在噪聲問題、時間一致性、人物生成質量以及美學評分方面仍有待改進。作者團隊將在下一版本中優先解決這些挑戰。