【已发布】逐句情感语音克隆!! VR视频工具箱(CUDA专版)2.0版

zelefans · 发表于 2026-8-14 19:20:53

本帖最后由 zelefans 于 2026-8-15 22:29 编辑

站内发布页地址： https://4k2.me/thread-46001-1-1.html
源代码：https://github.com/zerochocobo/VR-Video-Toolbox-CE

感谢 @你哥很无奈提供的信息和开发测试。

Bilibili 在2026年8月10日发布了IndexTTS2.5。 https://github.com/index-tts/ind ... n/docs/README_zh.md
我原本以为和普通语音克隆没什么差别，因为我之前在小米OmniVoice的开发上吃足了苦头。传统的语音克隆必须包含原文文本和目标文本。导致双语克隆在目标文本简短的情况下效果极差，只能通过中间长中文样本来实现稳定克隆。由此还带来必须前置区分说话人，为每个说话人都准备一份中文语音样本。这种多重的转换丢失了很多语音韵味。以及毫无意外的，丢失句子的情感。我不得不做了声调处理等等来尽量模拟情感。

结果，IndexTTS2.5来了。直接逐句克隆语音，语音情感也通过GAN模型原样克隆，这在带剧情的场景下简直是神器。试了一下，大幅降低了克隆难度，极大提升了克隆效果。

colec · 发表于 2026-8-14 19:28:38

期待期待！

xuxu1968 · 发表于 2026-8-14 21:29:17

小白期待大佬的成品

verygood · 发表于 2026-8-14 23:27:00

期待ing，真牛啊！

wdeeeccc · 发表于 2026-8-15 06:56:45

期待ing，真牛啊！

519059959 · 发表于 2026-8-15 07:02:17

牛逼神器了属于!!!

ym19860912 · 发表于 2026-8-15 09:27:58

期待大佬克隆大幂幂语音，让我们在看小说和视频上应用

zelefans · 发表于 2026-8-15 10:24:33

打包好了测试发现还有问题，继续改代码

发现一些短而弱的参考无法提供足够的说话人特征，模型会自行补出一个清晰但错误的正常人声。改法是提取附近的长语音克隆音色，用当前语音作为情感克隆

zelefans · 发表于 2026-8-15 10:52:19

又发现模型把无周期气声当作完整情感条件后，生成了放大的噪声型发声。导致软妹子突然发出老巫婆的kimoji叫声，吓死了

superboss · 发表于 2026-8-15 11:01:19

大佬牛X！！！

【已发布】逐句情感语音克隆!! VR视频工具箱(CUDA专版)2.0版

浏览过的版块