OpenAI Sora專題報告：Transformer擴展優勢凸顯，視頻理解與生成能力提升.pdf

OpenAI Sora專題報告：Transformer擴展優勢凸顯，視頻理解與生成能力提升。事件：2024年2月16日，OpenAI發布文生視頻模型——Sora及其技術報告《Video generation models as world simulators》。

從Sora模型看文生視頻的技術路徑：技術路徑尚未收斂，Transformer擴展特性優勢凸顯。市場大 多認為擴散模型是圖像和視頻生成領域的主流路徑，但沒有重視Transformer架構scale up的能力。 OpenAI技術報告指出，Sora是基于擴散模型，但更強調，Sora是一個基于Transformer架構的擴散 模型，其優秀的生成能力離不開Transformer架構優秀的scaling特性。當前，為構建性能更優、效 率更高的視頻生成模型，已出現多種結合Diffusion Model和Transformer架構的構建方式。

從Sora模型看文生視頻的最新能力（假設展示視頻可以代表Sora的一般性表現）：1）強大的理解 能力：Sora模型不僅可以理解Prompt的內容，還能理解事物在物理世界中的存在方式，突出的語言 理解能力是其能夠準確生成視頻的前提。2）優秀的生成能力：①長度：可生成60s視頻；②復雜度 ：能夠生成包含多個角色、多種主題、多類運動形態的復雜場景；③逼真度：能夠呈現更多的視覺 細節，具備更高清的畫質，為用戶提供逼真的視覺體驗；④連貫性&一致性：可以生成同一角色的多 個鏡頭，保持其在整個視頻中的外觀，在角度移動和切換情況下，人物和場景元素在三維空間中的 位置關系能夠保持一致的運動；⑤可控性：在某一Prompt基礎上只改動一個關鍵詞仍能生成優質的 視頻，具備較好的可控性。3）其他能力：圖生視頻，視頻擴展/編輯/拼接/模擬等。

從Sora模型看文生視頻的行業影響：目前OpenAI已向部分視覺藝術家、設計師和電影制作人提供訪 問權限，以獲取專業的反饋。我們認為，以Sora為代表的視頻生成模型有望給廣告/設計/短視頻/游 戲等行業帶來變化。從中短期來看，視頻生成模型將更多的作為創作工具對相關行業進行賦能。