熱門資訊> 正文
2025-09-01 18:59
炒股就看金麒麟分析師研報,權威,專業,及時,全面,助您挖掘潛力主題機會!
(來源:機器之心Pro)
在《流浪地球 2》中圖恆宇將 AI 永生數字生命變為可能,旨為將人類意識進行數字化備份並進行意識上傳,以實現人類文明的完全數字化。
如今隨着擴散模型的興起極大,涌現出大量基於音頻驅動的數字人生成工作。具體而言,語音驅動人類視頻生成旨在基於參考圖像與音頻,合成面部表情與身體動作與音頻高度同步的自然人像視頻,在電影製作、遊戲製作、虛擬現實、直播帶貨等領域具有廣泛的應用前景。
但是,現有方法僅能生成時長不足 15 秒的短視頻,一旦模型嘗試生成超過 15 秒的視頻,就會出現明顯的身體變形與外觀不一致現象,尤其集中在面部區域,這使目前數字人技術還無法達到《流浪地球 2》中圖恆宇所創造的 AI 永生數字生命那樣的程度,嚴重限制了其實際應用價值。
爲了解決這一問題,一些方法嘗試在音頻驅動人類視頻生成中引入一致性保持機制,但很少有工作深入探討問題的根本原因。現有策略——無論是利用運動幀(Motion Frame),還是在推理過程中採用多種滑動窗口機制——都只能在一定程度上提升長視頻的平滑性,卻無法從根本上緩解無限時長頭像視頻的質量退化問題。
另一種可行方案是將長音頻切分為多個片段,分別處理后再拼接成連續的視頻。然而,這種方式不可避免地會在片段銜接處引入不一致和突兀的過渡。
因此,對於語音驅動的人類視頻生成而言,實現端到端的無限時長高保真視頻生成依然是一項極具挑戰性的任務。
爲了解決上述問題,來自復旦、微軟、西交等研究團隊提出 StableAvatar 框架,以實現無限時長音頻驅動的高保真人類視頻生成,目前代碼已開源,包括推理代碼和訓練代碼。
方法簡介
如下圖所示,StableAvatar 是基於 Wan2.1-1.3B 基座模型開發的,首先將音頻輸入 Wav2Vec 模型中提取 audio embeddings,隨后通過我們提出的音頻適配器(Audio Adapter)進行優化,以減少潛變量分佈誤差的累積。
經過優化的 audio embeddings 會輸入至去噪 DiT 中進行處理。參考圖像的處理通過兩條路徑輸入擴散模型:
在推理階段,我們將原始輸入視頻幀替換為隨機噪聲,而保持其他輸入不變。我們提出了一種新穎的音頻原生引導(Audio Native Guidance)方法,以替代傳統的 Classify-Free-Guidance,從而進一步促進脣形同步與面部表情生成。此外,我們引入了一種動態加權滑動窗口去噪策略,通過在時間維度上融合潛變量,以提升長視頻生成過程中的視頻平滑性。
Timestep-aware Audio Adapter
以往的方法在生成超過 15 秒的虛擬人視頻時,往往出現明顯的面部與身體扭曲,以及顏色漂移。這主要源於它們的音頻建模方式:直接將第三方預訓練的音頻嵌入通過交叉注意力注入擴散模型。由於當前的擴散主干缺乏音頻相關的先驗知識,在注入過程中會在跨片段之間逐步累積潛在分佈誤差,使得后續片段的潛在分佈逐漸偏離最優解。
爲了解決這一問題,本文提出了一種新穎的 Timestep-aware Audio Adapter,其中音頻嵌入通過多個仿射調製和交叉注意力模塊與時間步嵌入和潛在特徵進行交互,如上圖(a)所述。
具體而言,初始音頻嵌入(Query)依次與初始潛變量(Key 和 Value)進行交叉注意力計算,隨后結合 timestep embeddings 進行 affine modulation,從而得到優化后的音頻嵌入。由於 timestep embeddings 與潛變量高度相關,這一設計潛在地迫使擴散模型在每個時步上建模音頻–潛變量的聯合特徵分佈,從而有效緩解因缺乏音頻先驗而導致的潛變量分佈誤差累積,優化后的音頻嵌入(Key 和 Value)最后通過交叉注意力與潛變量(Query)交互后注入擴散模型。
Audio Native Guidance
爲了進一步增強音頻同步性和麪部表情,本文提出了一種新穎的 Audio Native Guidance 機制,用以替代傳統的 CFG,它未考慮音頻與潛在特徵的聯合關係。本文修改了去噪得分函數,以引導去噪過程朝着最大化音頻同步性與自然性的方向前進。
由於優化后的 audio embeddings 本質上也依賴於潛變量,而不僅僅依賴外部音頻信號,我們的 Audio Native Guidance 不再將 audio embeddings 作為一個獨立於潛變量的外部特徵,而是將其作為一個與潛變量相關的擴散模型的內部特徵,我們的引導機制能夠直接作用於擴散模型的採樣分佈,將生成過程引導至音頻–潛變量的聯合分佈,並使擴散模型在整個去噪過程中不斷優化其生成結果。
我們進一步將上述公式轉化為得分函數形式:
因此最終推導公式為:
Dynamic Weighted Sliding-Window Strategy
與先前的滑窗去噪策略相比,我們在相鄰窗口的重疊潛變量上引入了滑動融合機制,其中融合權重依據相對幀索引採用對數插值分佈。融合后的潛變量會回注到兩個相鄰窗口中,從而保證中央窗口的兩側邊界均由混合特徵構成。
藉助對數加權函數,可在視頻片段之間的過渡中引入一種漸進式平滑效果:早期階段的權重變化更為顯著,而后期階段變化趨於平緩,從而實現跨視頻片段的無縫銜接,具體算法流程如下面算法表和圖像所述。
生成結果示例
https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7
https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7
https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7
https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7
https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7
實驗對比
https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7
https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7
https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7