熱門資訊> 正文
2025-09-18 12:29
(來源:機器之心)
最近在 B 站上,你是否也刷到過一些 「魔性」 又神奇的 AI 視頻?比如英文版《甄嬛傳》、坦克飛天、曹操大戰孫悟空…… 這些作品不僅完美復現了原角色的音色,連情感和韻律都做到了高度還原!更讓人驚訝的是,它們居然全都是靠 AI 生成的!
英文版甄嬛傳他來了
讓坦克飛
B 站開源 index-tts-2.0 長視頻測試,效果真的強,曹操大戰孫悟空
如果讓 AI 開中文蘋果發佈會,indextts2 效果展示
據悉,這些視頻都是運用了嗶哩嗶哩 Index 團隊最新開源的文本轉語音模型 IndexTTS-2.0, 這一模型從 demo 發佈起,就在海內外社區引發了不少的關注。目前該工作在 Github 已超過 10k stars 。
論文標題:IndexTTS2: A Breakthrough in Emotionally Expressive and Duration-Controlled Auto-Regressive Zero-Shot Text-to-Speech
論文鏈接:https://arxiv.org/abs/2506.21619
github 鏈接:https://github.com/index-tts/index-tts
魔搭體驗頁:https://modelscope.cn/studios/IndexTeam/IndexTTS-2-Demo
HuggingFace 體驗頁:https://huggingface.co/spaces/IndexTeam/IndexTTS-2-Demo
官宣視頻:https://www.bilibili.com/video/BV136a9zqEk5/
近年來,大規模文本轉語音(Text-to-Speech, TTS)模型在自然度和表現力上取得了顯著進展,但如何讓語音「在韻律自然的同時,又能嚴格對齊時長」仍是懸而未決的難題。傳統自迴歸(Autoregressive, AR)模型雖然在韻律自然性和風格遷移上佔優,卻難以做到精準時長控制;而非自迴歸(Non-Autoregressive, NAR)方法雖能輕松操縱時長,卻往往犧牲了語音的自然感和情緒表現力。如何在保留 AR 模型優勢的同時,突破其核心限制,成爲了前沿挑戰。
來自嗶哩嗶哩的 IndexTTS 團隊創新性地提出了一種通用於 AR 系統的 「時間編碼」 機制,首次解決了傳統 AR 模型難以精確控制語音時長的問題。這一新穎的架構設計不僅解決了時長控制問題,更引入了音色與情感的解耦建模,實現了前所未有的情感表現力和靈活控制,在多個指標上全面超越現有 SOTA 系統。
研究方法
IndexTTS2 由三個核心模塊組成:Text-to-Semantic(T2S) 、Semantic-to-Mel(S2M) 以及 BigVGANv2 聲碼器 。首先,T2S 模塊基於輸入的源文本、風格提示、音色提示以及一個可選的目標語音 token 數,生成對應的語義 token 序列。然后,S2M 模塊以語義 token 和音色提示作為輸入,進一步預測出梅爾頻譜圖。最后,BigVGANv2 聲碼器將梅爾頻譜圖轉換為高質量的語音波形,完成端到端的語音合成過程。
IndexTTS2 可以在零樣本條件下生成自然流暢的多情感、跨語言語音。它還支持在自迴歸框架下精確控制語音時長,讓合成既可控又不失自然。同時具備工業級性能,既適合研究探索,也能直接應用到實際場景中。
1、基於 AR 架構的時長控制
在 IndexTTS2 中,針對自迴歸 (AR) TTS 難以精確控制語音時長的問題,提出了基於 token 數量約束 的解決方案。核心思路是:在生成時可以指定所需的語義 token 數,模型通過一個專門的時長 embedding 將這個信息注入到 Text-to-Semantic 模塊,通過對合成 token 的數量強約束來實現生成語音時長控制。訓練階段隨機引入不同比例的信號層時長縮放 (如 0.75×、1.25×) 任務,使模型可以學會在各種長度要求下仍然保持語義連貫和情感自然。
實驗表明,這種方法在不同語言(中 / 英)上的 token-number error rate 非常低,即模型幾乎能嚴格按照指定的 token 數量生成語音,同時在合成質量、情感保真度和自然度上保持較好表現。換句話説,IndexTTS2 實現了在 AR 模型中罕見的高精度時長控制,使其既能保持逐幀生成帶來的細膩表達,又能滿足視頻配音、音畫同步等對時長嚴格敏感的場景需求。
2、多模態的情緒控制
IndexTTS2 對情感表達和説話人身份進行了有效解耦。模型不僅支持從單一參考音頻中復刻音色與情感,還支持分別指定獨立的音色參考和情感參考。這意味着用户可以用一個人的音色,說出另一個人的情感,極大地提升了控制的靈活性。
爲了降低使用門檻,模型集成了兩種情感控制方式。除了通過音頻參考進行情感遷移,還引入了基於自然語言描述的情感軟指令機制。通過微調大型語言模型(LLM),用户可以使用文本(如自然語言描述、場景描述)來精確引導生成語音的情緒色彩。
3、S2M 模塊
爲了提升在高強度情感(如哭腔、怒吼)下的語音清晰度,模型引入了 GPT 式潛在表徵,並採用基於流匹配(Flow Matching)的 S2M 模塊,顯著增強了語音生成的魯棒性和梅爾頻譜圖的重建質量。
研究結果
1、時長控制的準確性
IndexTTS2 在時長控制方面展現了極高的精確度。在對原始語音時長進行 0.75 倍至 1.25 倍的變速測試中,生成語音的 Token 數量誤差率幾乎不超過 0.03%,在多數情況下低於 0.02%,證明其時長控制能力精準可靠。
2、情感表現力
在情感表現力測試中,IndexTTS2 顯著優於其他 SOTA 模型。其情感相似度(ES)高達 0.887,情感 MOS(EMOS)評分達到 4.22,合成的語音情緒飽滿、渲染自然,同時保持了極低的詞錯誤率(WER, 1.883%),實現了表現力與清晰度的完美結合。
3、零樣本語音合成能力
在多個公開基準測試集(如 LibriSpeech, SeedTTS)上,IndexTTS2 在客觀指標(詞錯誤率 WER、説話人相似度 SS)和主觀 MOS 評分(音色、韻律、質量)上均達到或超越了當前最先進的開源模型,包括 MaskGCT, F5-TTS, CosyVoice2 等,展現了其強大的基礎合成能力和魯棒性。
4、消融實驗驗證
實驗證明,模型中的 GPT 潛在特徵對於保證語音清晰度和發音準確性至關重要;而基於流匹配的 S2M 模塊相比於傳統的離散聲學 Token 方案,極大地提升了合成語音的保真度和自然度。
生成效果
語速控制:支持自定義輸入合成時長,精準控制語速
音色克隆:同時參考音色和情緒韻律,實現語音特徵的高度還原
合成文本:你就需要我這種專業人士的幫助,就像手無縛雞之力的人進入雪山狩獵,一定需要最老練的獵人指導
多元化的情緒輸入:提供獨立的情感參考音頻、情感向量或文本描述等多種方式,顯著提升生成語音的表現力與適用性
獨立參考音頻控制:
合成文本:你看看你,對我還有沒有一點父子之間的信任了。
情緒向量控制:提供高興、生氣、悲傷、恐懼、討厭、低落、驚喜、平靜 8 種情緒向量,支持自由調整情緒權重,並提供隨機採樣
情緒向量 - 驚喜 0.45
合成文本:哇塞!這個爆率也太高了!歐皇附體了!
描述文本控制:還支持通過自然語言描述來判斷情緒
情緒文本 - You scared me to death! What are you, a ghost?
文本:快躲起來!是他要來了!他要來抓我們了!
跨語種:支持中英文雙語
合成文本:Translate for me,what is a surprise!
該模型憑藉高質量的情感還原與精準的時長控制,廣泛提升了 AI 配音、視頻翻譯、有聲讀物、動態漫畫、語音對話等系列下游場景的可用性,尤其值得關注的是,IndexTTS-2.0 為 B 站優質內容的出海提供了關鍵技術支持,在充分保留原聲風格與情感特質的基礎上,讓海外用户享受更加自然、沉浸的聽覺感受。這一技術突破不僅極大降低了高質量內容跨語言傳播的門檻,也為 AIGC 技術在全球範圍內的實際應用奠定了堅實基礎,堪稱零樣本 TTS 技術邁向實用化階段的重要里程碑。
總結
IndexTTS2 的提出標誌着零樣本 TTS 進入「情感可控 + 時長精確」的雙維度時代。它不僅大幅提升了 AI 配音、視頻翻譯等多種下游場景的可用性,同時,也為未來語音合成技術的發展指明瞭重要方向:如何在 AR 框架下實現對情感、語調等更復雜語音特徵的細粒度控制,並持續優化模型性能,為更廣泛的交互式應用提供支持。
研究團隊現已開放模型權重與代碼,這意味着更多開發者和研究人員能夠基於 IndexTTS2 構建個性化、沉浸式的語音交互應用。
作者介紹:
本論文主要作者來自嗶哩嗶哩 Index 語音團隊(Bilibili IndexTTS),Index語音團隊是一支專注於音頻技術創新的研究團隊,致力於音頻生成、語音合成與音樂技術的前沿探索,重點研究高保真、自然真實、可控性強的語音生成模型。團隊推出的全新一代 zero-shot TTS 自迴歸大模型 IndexTTS2,具備出色的情感表現力,支持音色與情感的自由組合,並創新性地設計了「時長編碼」,實現了模型層面的精準時長控制。團隊通過深度學習與神經網絡技術的不斷突破,持續為學術界與工業界提供高質量的語音合成技術支持與創新方案,助力創作者用聲音打破錶達邊界。