本帖最后由 zelefans 于 2026-6-7 00:56 编辑
defalt456 发表于 2026-6-6 18:27
牛的大佬，配音确实，要达到原音水平难度太高，反正目的只是为了听懂，就简单干脆一点。加上中文比日语精 ...
已经在开发了，技术选型用Qwen3-TTS-12Hz-0.6B-CustomVoice，内置几种语音，其他新的基本都需要克隆或自己准备基础音色。依赖版本比较老，希望顺利。我不希望MIX破坏原来视频的音轨，增加音轨的话播放器未必支持，所以初期会考虑作为DLNA服务器功能，播放时自动MIX音轨。简单来说就是生成独立的wav文件，类似XXX.SI.wav。我自己服务器看到这个文件就自动处理。类似字幕看到同名srt文件自动挂载一样
本帖最后由 defalt456 于 2026-6-8 11:19 编辑
zelefans 发表于 2026-6-7 00:54
已经在开发了，技术选型用Qwen3-TTS-12Hz-0.6B-CustomVoice，内置几种语音，其他新的基本都需要克隆或自己 ...
大佬辛苦，没想到那么短时间就有办法了，除了牛逼没啥好说得了
本帖最后由 defalt456 于 2026-6-8 11:31 编辑
zelefans 发表于 2026-6-7 00:54
已经在开发了，技术选型用Qwen3-TTS-12Hz-0.6B-CustomVoice，内置几种语音，其他新的基本都需要克隆或自己 ...
测试了近期最新的模型，目前最快的还是小米的OmniVoice，尝试配了几个视频都能控制在三分钟以内，这个支持自动语音和声音设计，https://github.com/k2-fsa/OmniVoice，项目里介绍更详细，我也不是很专业，希望能帮到大佬你
defalt456 发表于 2026-6-8 11:17
测试了近期最新的模型，目前最快的还是小米的OmniVoice，尝试配了几个视频都能控制在三分钟以内，这个支持 ...
用阿里的开发完了，包括优化了处理速度，主要是它支持预设音色比较多。小米的有看过但看到 issue bug比较多没敢下手。我今天下午或晚上 会先发一个版本，下一个版本试试看声音克隆，用小米的
zelefans 发表于 2026-6-8 11:37
用阿里的开发完了，包括优化了处理速度，主要是它支持预设音色比较多。小米的有看过但看到 issue bug比较 ...
那么快啊，静等大佬更新
本帖最后由 zelefans 于 2026-6-8 20:57 编辑
defalt456 发表于 2026-6-8 17:33
那么快啊，静等大佬更新
更新了CUDA版。https://4k2.me/thread-46001-1-1.html
你先试一下，其实还有个功能还能做，就是同传发声时自动压低原声，比单纯设置声音高低更自然点。
zelefans 发表于 2026-6-8 19:58
更新了CUDA版。https://4k2.me/thread-46001-1-1.html
你先试一下，其实还有个功能还能做，就是同传发声时 ...
已经测了，发现两个问题，第一个字幕配音没法使用，缺少文件
FlashAttention2 is not installed; using PyTorch SDPA attention.
Loading Qwen3-TTS model from E:\ai\VR_Video_Toolbox_CE\models\Qwen3-TTS-12Hz-0.6B-CustomVoice
SDPA attention load failed, retrying with eager attention: No such file or directory: 'E:\\ai\\VR_Video_Toolbox_CE\\_internal\\tool_si\\_vendor\\qwen_tts\\core\\models\\modeling_qwen3_tts.py'
Loading Qwen3-TTS model from E:\ai\VR_Video_Toolbox_CE\models\Qwen3-TTS-12Hz-0.6B-CustomVoice
Loading Qwen3-TTS model from E:\ai\VR_Video_Toolbox_CE\models\Qwen3-TTS-12Hz-0.6B-CustomVoice
Loading Qwen3-TTS model from E:\ai\VR_Video_Toolbox_CE\models\Qwen3-TTS-12Hz-0.6B-CustomVoice
Loading Qwen3-TTS model from E:\ai\VR_Video_Toolbox_CE\models\Qwen3-TTS-12Hz-0.6B-CustomVoice
Error: Failed to load Qwen3-TTS model: No such file or directory: 'E:\\ai\\VR_Video_Toolbox_CE\\_internal\\tool_si\\_vendor\\qwen_tts\\core\\models\\modeling_qwen3_tts.py'
任务耗时：0 小时 0 分 4 秒。
defalt456 发表于 2026-6-8 22:06
已经测了，发现两个问题，第一个字幕配音没法使用，缺少文件
FlashAttention2 is not installed; using P ...
网盘里有离线包模型，或者在界面上点下载。3G多。
zelefans 发表于 2026-6-8 19:58
更新了CUDA版。https://4k2.me/thread-46001-1-1.html
你先试一下，其实还有个功能还能做，就是同传发声时 ...
第二个问题，单个混合视频音频选择视频路径后需要重新选择音频，批量混合也没有办法使用。大概率都是路径问题。
参考单个合成的bug，视频路径是E:/ai/，而检索音频给出的路径是E:\ai\。符号是反的
本帖最后由 defalt456 于 2026-6-8 22:34 编辑
zelefans 发表于 2026-6-8 19:58
更新了CUDA版。https://4k2.me/thread-46001-1-1.html
你先试一下，其实还有个功能还能做，就是同传发声时 ...
模型我下载了，这个是主体包缺少文件
