【已发布】逐句情感语音克隆!! VR视频工具箱(CUDA专版)2.0版
本帖最后由 zelefans 于 2026-8-15 22:29 编辑站内发布页地址: https://4k2.me/thread-46001-1-1.html
源代码:https://github.com/zerochocobo/VR-Video-Toolbox-CE
感谢 @你哥很无奈 提供的信息和开发测试。
Bilibili 在2026年8月10日发布了IndexTTS2.5。 https://github.com/index-tts/ind ... n/docs/README_zh.md
我原本以为和普通语音克隆没什么差别,因为我之前在小米OmniVoice的开发上吃足了苦头。传统的语音克隆必须包含原文文本和目标文本。导致双语克隆在目标文本简短的情况下效果极差,只能通过中间长中文样本来实现稳定克隆。由此还带来必须前置区分说话人,为每个说话人都准备一份中文语音样本。这种多重的转换丢失了很多语音韵味。以及毫无意外的,丢失句子的情感。我不得不做了声调处理等等来尽量模拟情感。
结果,IndexTTS2.5来了。直接逐句克隆语音,语音情感也通过GAN模型原样克隆,这在带剧情的场景下简直是神器。试了一下,大幅降低了克隆难度,极大提升了克隆效果。
期待期待! 小白期待大佬的成品 期待ing,真牛啊! 期待ing,真牛啊! 牛逼神器了属于!!! 期待大佬克隆大幂幂语音,让我们在看小说和视频上应用 打包好了测试发现还有问题,继续改代码
发现一些短而弱的参考无法提供足够的说话人特征,模型会自行补出一个清晰但错误的正常人声。改法是提取附近的长语音克隆音色,用当前语音作为情感克隆 又发现模型把无周期气声当作完整情感条件后,生成了放大的噪声型发声。导致软妹子突然发出老巫婆的kimoji叫声,吓死了 大佬牛X!!!:lol