研究者們對如何將文本及其他條件整合到DiT架構(gòu)中進(jìn)行了廣泛的探索。例如，PixArt-Alpha通過采用跨注意力機(jī)制，實現(xiàn)了文本與圖像的有效結(jié)合；SD3則將文本與噪聲塊巧妙結(jié)合，并通過MMDiT模塊實施了自注意力機(jī)制。然而，盡管這些研究取得了一定的成果，但純文本驅(qū)動的視頻生成（T2V）在創(chuàng)建連貫且逼真的視頻方面，仍然面臨著諸多挑戰(zhàn)。

為了克服這些挑戰(zhàn)，業(yè)界提出了文本-圖像到視頻（TI2V）的任務(wù)。這一任務(wù)通過引入初始圖像幀作為參考，為視頻生成提供了更加明確的約束條件，使得生成的視頻在內(nèi)容和形式上更加符合人們的期望。

當(dāng)前，該領(lǐng)域仍面臨著諸多挑戰(zhàn)。如何有效地將圖像條件融入DiT架構(gòu)，如何在保證模型穩(wěn)定性的同時提高大規(guī)模訓(xùn)練效率，都是亟待解決的問題。

在此背景下，研究者提出了一種新的框架——STIV（可擴(kuò)展的文本與圖像條件視頻生成），以期為視頻生成的研究提供一種系統(tǒng)的方法。STIV框架的目標(biāo)是通過整合圖像條件和文本條件，構(gòu)建一個既可以完成T2V任務(wù)，又能處理TI2V任務(wù)的統(tǒng)一模型，從而為視頻生成的多樣化和精確性提供支持。通過對不同架構(gòu)和策略的系統(tǒng)性分析，STIV框架旨在提高生成視頻的質(zhì)量和一致性。

STIV框架解讀

STIV框架專注于可擴(kuò)展的文本與圖像條件視頻生成。其基礎(chǔ)模型架構(gòu)基于PixArt，利用凍結(jié)VAE轉(zhuǎn)換輸入幀為時空潛在嵌入，并由可學(xué)習(xí)的DiT塊處理。文本處理采用T5 tokenizer和CLIP文本編碼器。

模型采用分解的時空注意力機(jī)制，先對空間標(biāo)記執(zhí)行空間自注意力，再對時間標(biāo)記執(zhí)行時間自注意力，有助于預(yù)加載T2I模型權(quán)重并保持視頻信息處理。

STIV使用原始圖像分辨率等元信息作為微觀條件，通過正弦嵌入層和MLP投影到d維嵌入空間，與擴(kuò)散時間步和文本標(biāo)記嵌入相加形成單例條件，用于生成Transformer層的參數(shù)。

模型采用旋轉(zhuǎn)位置嵌入（RoPE）增強(qiáng)處理相對時空關(guān)系的能力，分別對空間和時間注意力應(yīng)用二維和一維RoPE。

訓(xùn)練目標(biāo)采用流動匹配，定義源分布與目標(biāo)分布間的條件最優(yōu)傳輸，通過求解逆向時序SDE從高斯噪聲中生成圖像。

在訓(xùn)練時，STIV通過替換無噪聲圖像條件潛在表示實現(xiàn)圖像條件整合，提升模型靈活性，支持T2V和TI2V生成，以及視頻預(yù)測和幀插值。

結(jié)合聯(lián)合圖像-文本條件下的分類器無關(guān)引導(dǎo)（JIT-CFG）和圖像條件隨機(jī)丟棄，STIV實現(xiàn)多任務(wù)學(xué)習(xí)并緩解過擬合問題，提高生成質(zhì)量。

STIV框架通過獨特策略和結(jié)構(gòu)，高效靈活地應(yīng)對多種視頻生成任務(wù)，為后續(xù)研究提供思路與基礎(chǔ)。

STIV的模型特點

01

支持多模態(tài)條件輸入

TIV模型不僅支持文本條件的輸入，還可以接收圖像作為生成的參考，這為復(fù)雜的多模態(tài)生成任務(wù)提供了強(qiáng)有力的支持。

02

創(chuàng)新的架構(gòu)設(shè)計

STIV基于PixArt-Alpha架構(gòu)，通過凍結(jié)的變分自編碼器（VAE）將輸入幀轉(zhuǎn)換為時空潛變量，并使用可學(xué)習(xí)的DiT塊進(jìn)行處理。

模型采用了分解時空注意力的方法，分別處理空間和時間維度的特征，從而在降低計算復(fù)雜度的同時，實現(xiàn)了高效的信息處理。

03

聯(lián)合圖像-文本無分類器引導(dǎo)（JIT-CFG）

這一技術(shù)突破通過同時利用文本和圖像條件，在視頻生成過程中實現(xiàn)了更高的準(zhǔn)確性和質(zhì)量。

實驗證明，圖像條件隨機(jī)丟棄結(jié)合JIT-CFG不僅能自然地實現(xiàn)多任務(wù)訓(xùn)練，還有效解決了高分辨率視頻生成模型訓(xùn)練的“靜止”問題。

04

高效穩(wěn)定的訓(xùn)練技術(shù)

STIV在穩(wěn)定性和訓(xùn)練效率方面也進(jìn)行了多項創(chuàng)新。

通過適當(dāng)?shù)募夹g(shù)手段，大大降低了內(nèi)存需求，使得更大規(guī)模模型的訓(xùn)練成為可能。

采用了漸進(jìn)式訓(xùn)練策略，首先訓(xùn)練一個文本到圖像（T2I）模型，用以初始化文本到視頻（T2V）模型；隨后，T2V模型用于初始化STIV模型。

多視角生成

多視角生成旨在從給定的輸入圖像創(chuàng)建新視角。這項任務(wù)對視角一致性要求較高，依賴于良好預(yù)訓(xùn)練的視頻生成模型。通過將視頻生成模型適配為多視角生成，可以驗證預(yù)訓(xùn)練是否有效捕獲了3D信息，從而提升生成效果。

當(dāng)使用某些新視角相機(jī)的定義，并以初始幀為給定圖像，預(yù)測接下來的新視角幀。通過訓(xùn)練一個TI2V模型并調(diào)整分辨率和訓(xùn)練步數(shù)，實現(xiàn)了與現(xiàn)有方法相當(dāng)?shù)谋憩F(xiàn)，同時驗證了時空注意力機(jī)制在保持3D一致性方面的有效性。

長視頻生成

該公司開發(fā)了一種高效生成長視頻的分層框架，包括兩種模式的訓(xùn)練：(1) 關(guān)鍵幀預(yù)測，學(xué)習(xí)以較大時間間隔采樣的幀；(2) 插值幀生成，通過學(xué)習(xí)連續(xù)幀，并將首尾幀作為條件。在采樣階段，首先使用關(guān)鍵幀預(yù)測模式生成關(guān)鍵幀，再通過插值模式生成中間幀，從而實現(xiàn)長視頻生成。

未來及其應(yīng)用前景

一、影視制作

高效視頻生成：STIV模型憑借其強(qiáng)大的生成能力，能夠迅速將詳盡的文本描述和豐富的圖像素材轉(zhuǎn)化為細(xì)膩且高質(zhì)量的視頻片段。這一特性不僅縮短了影視制作周期，還極大地提升了制作效率，使得影視作品能夠更快地從策劃走向觀眾。

創(chuàng)意視頻制作：創(chuàng)作者在構(gòu)思視頻內(nèi)容時，可以充分利用STIV模型的靈活性，通過組合不同的文本描述和圖像素材，輕松生成充滿個性和創(chuàng)意的視頻內(nèi)容。這種創(chuàng)作方式不僅拓寬了視頻內(nèi)容的邊界，還為創(chuàng)作者提供了更多元化的表達(dá)手段。

二、廣告創(chuàng)意

廣告視頻制作：在廣告行業(yè)中，STIV模型能夠精準(zhǔn)捕捉廣告文案的精髓，并結(jié)合相關(guān)圖像素材，快速生成富有感染力和吸引力的視頻廣告。這不僅降低了廣告制作成本，還提高了廣告的傳播效率和市場響應(yīng)速度。

個性化廣告定制：STIV模型能夠根據(jù)廣告目標(biāo)受眾的喜好、興趣和行為特點，調(diào)整輸入條件和參數(shù)，生成符合其個性化需求的廣告視頻。這種定制化的廣告內(nèi)容不僅提高了廣告的投放效果，還增強(qiáng)了受眾對廣告品牌的認(rèn)同感和忠誠度。

三、教育培訓(xùn)

教學(xué)視頻制作：教育機(jī)構(gòu)在利用STIV模型制作教學(xué)視頻時，可以將復(fù)雜的文本和圖像內(nèi)容轉(zhuǎn)化為直觀且易于理解的視頻形式。這種教學(xué)方式不僅提高了學(xué)生的學(xué)習(xí)興趣和參與度，還提升了教學(xué)效果和學(xué)生的學(xué)習(xí)成績。

虛擬實驗?zāi)M：在理工科教學(xué)中，STIV模型能夠生成逼真的虛擬實驗?zāi)M視頻，幫助學(xué)生更好地理解實驗過程和原理。這種虛擬實驗不僅避免了傳統(tǒng)實驗中的安全隱患，還為學(xué)生提供了更多動手實踐的機(jī)會和平臺。

四、智能監(jiān)控

視頻預(yù)測：STIV模型能夠根據(jù)已有的圖像和視頻內(nèi)容，預(yù)測未來的視頻幀，從而實現(xiàn)對監(jiān)控視頻的智能分析和預(yù)警。這種預(yù)測能力不僅提高了監(jiān)控系統(tǒng)的智能化水平，還為安全防范提供了有力支持。

異常行為檢測：通過訓(xùn)練STIV模型識別異常行為模式，監(jiān)控系統(tǒng)能夠在實時視頻中自動檢測并標(biāo)記出異常行為。這種智能化檢測方式不僅提高了異常行為發(fā)現(xiàn)的準(zhǔn)確性和及時性，還為相關(guān)部門提供了更多處理異常事件的決策依據(jù)。

五、游戲開發(fā)

游戲視頻內(nèi)容創(chuàng)作：游戲開發(fā)者可以利用STIV模型生成流暢且具有敘事性的游戲視頻內(nèi)容，為游戲宣傳和推廣提供有力支持。這種視頻內(nèi)容不僅吸引了更多玩家的關(guān)注和興趣，還提高了游戲的知名度和影響力。

游戲場景生成：STIV模型能夠根據(jù)游戲文案和圖像素材生成逼真的游戲場景視頻。這些場景視頻不僅為游戲開發(fā)提供了豐富的視覺素材，還為玩家提供了更加沉浸式的游戲體驗。

六、社交媒體

短視頻創(chuàng)作：在社交媒體短視頻創(chuàng)作火熱的今天，STIV模型為內(nèi)容創(chuàng)作者提供了新的創(chuàng)作工具和平臺。這種工具不僅簡化了視頻制作流程，還提高了視頻創(chuàng)作的效率和質(zhì)量。

個性化視頻推薦：通過分析用戶的喜好和行為數(shù)據(jù)，STIV模型能夠精準(zhǔn)生成符合用戶需求的個性化視頻推薦列表。這種推薦方式不僅提高了用戶的觀看體驗和滿意度，還為社交媒體平臺帶來了更多流量和收益。

寫在最后

蘋果的STIV模型無疑標(biāo)志著視頻生成AI領(lǐng)域的一次具有里程碑意義的重大進(jìn)步。它不僅在技術(shù)上實現(xiàn)了突破，更以其卓越的生成能力和廣泛靈活的應(yīng)用前景，預(yù)示著未來視頻創(chuàng)作領(lǐng)域即將邁入一個嶄新的多模態(tài)創(chuàng)作時代。STIV模型的出現(xiàn)，意味著創(chuàng)作者們將擁有更為強(qiáng)大的工具來探索和實踐他們的創(chuàng)意理念。

對于廣大的創(chuàng)作者而言，STIV模型的潛力無疑是巨大的。它能夠快速將文本描述和圖像素材轉(zhuǎn)化為高質(zhì)量的視頻內(nèi)容，這一特性將極大地提升創(chuàng)作效率，使創(chuàng)作者們能夠更加專注于創(chuàng)意本身，而無需在繁瑣的技術(shù)細(xì)節(jié)上花費(fèi)過多時間。借助STIV的強(qiáng)大功能，創(chuàng)作者們將能夠更加高效地實現(xiàn)他們的創(chuàng)作目標(biāo)，無論是制作一部引人入勝的短片，還是打造一部震撼人心的長篇巨制，都將變得更加輕松和便捷。（文/宋雨涵）

lixiangjing

算力豹主編