[10.5]VR视频工具箱CUDA专版2.0.3版，逐句情感语音克隆补丁3
本帖最后由 zelefans 于 2026-10-6 00:01 编辑2026年10月5日23:50，2.0.3版，语音克隆补丁3，语音克隆输出 .si.mix.m4a 文件，让最新版VR视频透视服务器可以在虚拟MP4文件模式下拖动播放
2026年9月3日21:00，2.0.2版，逐句情感语音克隆补丁2，修复上个补丁s3prl遗漏，增加了anime-whisper模式测试
2026年8月30日15:00，2.0.1版，逐句情感语音克隆补丁1，这半个月来各种修补，并且增加了研究工具分析克隆语音。研究还在慢慢进展中
2026年8月14日22:00，2.0.0版，逐句情感语音克隆，基于8月10日B站最新发布的语音克隆模型IndexTTS2.5
2026年8月8日13:00，1.6.3版，AI调用针对新版DeepSeek调整，增加Token统计
2026年7月25日17:00，1.6.2版，修复特定B帧/GOP结构的视频内置GPU去马赛克报错问题，AI校对字幕为节约token调整为差量返回
2026年7月22日22:00，1.6.1版，去马赛克增加自动的鱼眼模式判断(根据马赛克形态)，克隆语音模式校对字幕时支持合并临近时间片段
2026年7月16日9:00, 1.6版发布，新增了字幕分析调试器，一边调试一边优化了字幕时间窗口对齐，克隆语音也时间窗对齐减少了尾部漏音，重构UI界面，左右结构用起来舒服很多了
2026年7月14日12:00，1.5版补丁1，根据GitHub上收到的反馈，优化了去马赛克流程中的显存占用，特别是最后局部修复后黏贴回去的过程，减少2GB显存占用。
2026年7月11日16:00，1.5版，原jasna-cli.exe修改为jasna.exe，合并VR视频增加比特率控制参考原视频选择，优化字幕工具——增加人声敏感度设置、翻译前AI校对原字幕
2026年7月7日22:00，1.4版补丁1，克隆语音可以中间步骤重新直接载入，克隆语音支持校对字幕功能
2026年7月6日14:00，1.4版，重新完整地设计了语音克隆配音功能，可控性更好。主要可以支持目录多文件共享配音基准（主要为了适合小日子的VR视频），增加了语速克隆，对应调整了AI翻译的提示词
2026年7月1日11:00，1.3版补丁1，马赛克恢复模块增加显存控制
2026年6月28日23:00，1.3版，马赛克一键处理性能各种优化，均衡模式编码配合马赛克区域与预切分可以均衡效率和效果(总显存需求13GB左右）。
2026年6月25日17:00，1.2版马赛克识别显存优化，默认不勾选提取马赛克区域，这个是双刃剑，DLNA支持网盘挂载的本地路径（测试过CloudDrive2）
2026年6月23日10:00，1.1版发布，内置解马赛克引擎增加CUDA GRAPH效率优化，修复字幕工具会自动忽略2秒内语音片段的BUG，DLNA服务器支持直播流自动混合同声传译音轨文件，优化克隆语音字幕ASR生成流程，2D转3D功能移除（功能完整转到VR视频透视服务器软件）。
2026年6月14日23:00，1.0正式版发布，增加克隆语音配音功能，实际测试还是建议用同声传译模式，配音会去掉所有人声，适合访谈类视频。
2026年6月11日17:00，补丁3一键去码优化流程，修复部分视频报错和无声问题
2026年6月10日10:00，补丁2修复一键去马模式设置时间区间时输出无声音的问题
2026年6月9日18:00，补丁1增加了一键听译功能，修复了同声传译转WAV显存问题
2026年6月8日20:00，beta3更新，新增同声传译语音功能，建议原生调小点，同声传译调大点。一键模式进一步优化，添加了Jasna最新版的优化点。
2026年6月5日23:50，beta2更新，一键模式输出码率和原视频一致，漏码问题BUG解决，同时更换了检测马赛克模型为精确模型后切割干净多了。进一步做了一堆优化。
2026年6月4日，beta1更新。这个版本已知问题是为了最终HEVC拼接COPY的效率，一键破解马赛克最后码率比源视频高，暂时无法控制到和源视频一样，下个版本需要在前面的步骤控制码率。一键模式默认会原始视频粗剪，细剪阶段可以定义阈值。另外尝试开发了2D视频转有深度的VR视频或3D。
重构了VR视频工具箱的马赛克一键破解部分，目的是大幅提升处理效率，因为VR视频的特殊性，可优化的余地太多。
依然是开源，地址：https://github.com/zerochocobo/VR-Video-Toolbox-CE ，转到了GitHub，以后那里可以放大文件。
本版本破解马赛克功能针对 NVIDIA CUDA 程序性优化：除 lada/jasna 去马赛克本身外，VR 投影转换、左右眼拆分/合并、VR 转平面、一键流程中的几何变换均已改为 纯显卡处理：PyNvVideoCodec 解码（NVDEC）→ CuPy/自定义 kernel 几何变换 → PyNvVideoCodec 编码（NVENC），ffmpeg 仅用于复用音频。相比原先的 CPU v360 滤镜，8K 素材端到端可达约 2.5–3× 提速，几何结果与 ffmpeg 一致（裸像素 PSNR ~62–79dB）。
在流程上也增加了粗判断马赛克时间→裁剪时间→显卡内部切左右眼→转鱼眼(可选）→细判断马赛克时间和区域→裁剪区域（左右眼分别）→小区域导出物理文件→交给去马赛克程序处理→贴回对应的区域→极速合并所有有码无码视频。通过将大时间区间和大像素区域，裁剪到小时间区域和小像素区域，交给解码软件可以大幅提高效率。
依然可以外部调用LADA/JASNA，我也实验性引入lada代码实现软件内解码，优化了文件读取方法，在文件处理效率上优于其他的。
百度网盘：https://pan.baidu.com/s/1763ZDLEXvyHgDRq8_ZaxBw?pwd=1234 提取码: 1234
夸克网盘: https://pan.quark.cn/s/210f85bfdb37?pwd=QT4k 提取码：QT4k
115 ed2k:
<blockquote>ed2k://|file|VR_Video_Toolbox_CE_v2.0_full.7z|3038934048|C20CBB81FD9FFBE0CBAE87F24A4369AB|h=2UYKMNA44BIOX2UG3S4UFJDRGBF267OA|/
这软件牛，先试试看 好奇怪，可以提取生成日语字幕，但是翻译的时候又找不到字幕文件，api也是有费的，问题就是识别不到字幕文件没法翻译 大佬，看下私信。
1。程序很好很快。
2。第一次用GPU选项破解，28mins的8k片，破解3小时。已经很快了。
3。GPU破解有漏码，是大佬自己的模型吗？
4。在意硬盘反复读写的哥们，不要用。因为会有吗五码分开破解合并反复。 本帖最后由 zelefans 于 2026-6-3 13:01 编辑
commade17402 发表于 2026-6-3 12:26
大佬，看下私信。
1。程序很好很快。
2。第一次用GPU选项破解，28mins的8k片，破解3小时。已经很快了。
GPU模式我直接用了lada的代码，只是修改了它读文件的逻辑。可以看这篇：
https://github.com/zerochocobo/V ... ENECK_PROFILE_CN.md
里面差不多四分之一是我这个模式优化的地方。
前面和后面我也做了处理，尽量不留太多物理文件。你看到文件多，要么是极速关键帧切割下来有马赛克区域，要么就是解码前必须的，其他都是区域检测结果文件。如果纯GPU我甚至可以端到端更快，但为了兼容，要扔给lada/jasna处理的还必须物理文件。
模型你看到models目录里，马赛克区域检测用我之前训练的VR的，因为鱼眼转换前马赛克畸变的，我如果只是提取有马赛克的时间区间，用lada或jasna的检测不到。之后解码阶段都用lada默认的。
新的第三种我加的GPU模式当前只是概念验证，验证可以解决lada在文件处理上的瓶颈之一，也给lada借鉴一下思路，如果他那里需要的话，jasna代码还没分析，可能已经解决了。真要做的话我会考虑研究自己的基于扩散模型的解码方案。
你也可以尝试选jasna，应该能更快。只要我前置检测到，送给jasna，漏码问题应该会解决。
要验证前置是否能检测到，可以选择保存中间文件，跑完了去目录看，就知道哪个环节出问题了 zelefans 发表于 2026-6-3 12:44
GPU模式我直接用了lada的代码，只是修改了它读文件的逻辑。可以看这篇：
https://github.com/zerochocobo/ ...
刚刚jasna模式，同样的28mins，8k片子，2h33min。破解效果也漏码。
不应该啊。这部28min我单独用jasna分屏破解不漏的。
昨晚用你工具分屏L/S
单独jasna破解L，29%失败报错。片源下载了2次。再试。
S破解成功，不报错。不漏吗。 还挺大! 902fca2d 发表于 2026-6-3 13:27
还挺大!
打包了整个TORCH和CUDA，否则客户自己要装环境，小不了 厉害啊，大佬，能说下最低硬件配置要求吗？:)