隨著以 Sora 為代表的視頻生成模型技術(shù)的演進(jìn)，長視頻生成領(lǐng)域在維持長時序內(nèi)容一致性以及平衡生成質(zhì)量與計算資源效率方面面臨挑戰(zhàn)。浙江大學(xué) 鯤鵬昇騰科教創(chuàng)新卓越中心計算機(jī)學(xué)院研究員朱霖潮團(tuán)隊基于此課題持續(xù)深耕并取得重要進(jìn)展。依托昇騰AI基礎(chǔ)軟硬件平臺，該團(tuán)隊提出的技術(shù)方案有效提升了長視頻內(nèi)容一致性，同時顯著優(yōu)化了視頻生成過程中的計算效率。
針對長序列視覺指令生成的核心技術(shù)難題，項目團(tuán)隊成功研發(fā)首個無需訓(xùn)練的長序列視覺指令生成框架LIGER，實現(xiàn)了歷史提示和視覺記憶機(jī)制，以及基于DDIM反演的記憶校準(zhǔn)技術(shù)。依托昇騰的編碼加速能力，通過對每個步驟的圖像特征進(jìn)行采樣和存儲，捕捉前序步驟中的關(guān)鍵視覺信息，并將其注入到自注意力機(jī)制中，確保步驟間的視覺連貫性。同時，通過自反思機(jī)制糾正圖像中的屬性錯誤、邏輯錯誤、對象冗余和身份不一致等問題，使用多種圖像編輯工具進(jìn)行精確修正。該系統(tǒng)在長序列任務(wù)中展現(xiàn)出優(yōu)異的邏輯連貫性和對象屬性準(zhǔn)確性，顯著提升了視覺指令的理解性和實用性。
在計算效率方面，項目團(tuán)隊提出了基于昇騰平臺優(yōu)化的引導(dǎo)式漸進(jìn)蒸餾方法，通過在線教師引導(dǎo)、漸進(jìn)式蒸餾和高頻細(xì)節(jié)保護(hù)三項關(guān)鍵技術(shù)，成功加速了視頻擴(kuò)散模型的生成過程。該方法讓教師模型實時優(yōu)化學(xué)生模型的中間預(yù)測以創(chuàng)建自適應(yīng)訓(xùn)練目標(biāo)，通過多階段訓(xùn)練逐步增加步長將復(fù)雜軌跡學(xué)習(xí)分解為可管理的任務(wù)，并引入頻域損失函數(shù)保持視頻精細(xì)細(xì)節(jié)。在保持視頻高質(zhì)量輸出基礎(chǔ)上，該方法實現(xiàn)8倍加速。
該項目創(chuàng)新性地將大語言模型推理能力與視頻生成技術(shù)相結(jié)合，為多模態(tài)交互研究開辟了新方向。目前，研究成果已成功入選人工智能頂級會議ICLR 2025，獲得國際學(xué)術(shù)界的高度認(rèn)可。項目構(gòu)建的包含569個任務(wù)的評估數(shù)據(jù)集，為后續(xù)研究提供了重要基準(zhǔn)。
未來，浙江大學(xué) 鯤鵬昇騰科教創(chuàng)新卓越中心將依托昇騰AI基礎(chǔ)軟硬件平臺，持續(xù)深化產(chǎn)學(xué)研協(xié)同創(chuàng)新，著力突破多模態(tài)生成技術(shù)的核心瓶頸，構(gòu)建自主創(chuàng)新、技術(shù)領(lǐng)先的多模態(tài)生成技術(shù)生態(tài)體系，并為國家人工智能戰(zhàn)略與數(shù)字經(jīng)濟(jì)發(fā)展儲備核心創(chuàng)新力量。
