zelefans 发表于 2026-8-14 19:20:53

【已发布】逐句情感语音克隆!! VR视频工具箱(CUDA专版)2.0版

本帖最后由 zelefans 于 2026-8-15 22:29 编辑

站内发布页地址: https://4k2.me/thread-46001-1-1.html
源代码:https://github.com/zerochocobo/VR-Video-Toolbox-CE

感谢 @你哥很无奈 提供的信息和开发测试。

Bilibili 在2026年8月10日发布了IndexTTS2.5。 https://github.com/index-tts/ind ... n/docs/README_zh.md
我原本以为和普通语音克隆没什么差别,因为我之前在小米OmniVoice的开发上吃足了苦头。传统的语音克隆必须包含原文文本和目标文本。导致双语克隆在目标文本简短的情况下效果极差,只能通过中间长中文样本来实现稳定克隆。由此还带来必须前置区分说话人,为每个说话人都准备一份中文语音样本。这种多重的转换丢失了很多语音韵味。以及毫无意外的,丢失句子的情感。我不得不做了声调处理等等来尽量模拟情感。

结果,IndexTTS2.5来了。直接逐句克隆语音,语音情感也通过GAN模型原样克隆,这在带剧情的场景下简直是神器。试了一下,大幅降低了克隆难度,极大提升了克隆效果。





colec 发表于 2026-8-14 19:28:38

期待期待!

xuxu1968 发表于 2026-8-14 21:29:17

小白期待大佬的成品

verygood 发表于 2026-8-14 23:27:00

期待ing,真牛啊!

wdeeeccc 发表于 2026-8-15 06:56:45

期待ing,真牛啊!

519059959 发表于 2026-8-15 07:02:17

牛逼神器了属于!!!

ym19860912 发表于 2026-8-15 09:27:58

期待大佬克隆大幂幂语音,让我们在看小说和视频上应用

zelefans 发表于 2026-8-15 10:24:33

打包好了测试发现还有问题,继续改代码

发现一些短而弱的参考无法提供足够的说话人特征,模型会自行补出一个清晰但错误的正常人声。改法是提取附近的长语音克隆音色,用当前语音作为情感克隆

zelefans 发表于 2026-8-15 10:52:19

又发现模型把无周期气声当作完整情感条件后,生成了放大的噪声型发声。导致软妹子突然发出老巫婆的kimoji叫声,吓死了

superboss 发表于 2026-8-15 11:01:19

大佬牛X!!!:lol
页: [1] 2 3 4
查看完整版本: 【已发布】逐句情感语音克隆!! VR视频工具箱(CUDA专版)2.0版