[6.4]VR视频工具箱 12.2发布，任务执行时返回首页会有二次确认

zelefans

5月29日更新了12.1。
通过补丁的方式解决了Kotobo日语语音转文字模型在开启词级时间戳会导致崩溃的问题，现在用Kobota又快又准了。
小工具箱中增加了转编码功能，支持 NVENC 10bit -> NVENC 8bit 和 8K -> 4K

yxryyy

zelefans 发表于 2026-6-3 08:17
应该是你CUDA环境有问题导致卡住。刚跑了一下，正常的日志应该如下：

开始批量生成字幕...

感谢大佬

defalt456

大佬，提供个思路，只为听得懂这个目的，VR字幕的痛点太多。前不久听ASMR遇到汉化的音声，把字幕配音放入原音轨中模拟同声传译的效果，效果意外的好，这里附上纸飞机方便去试听效果@bilingual_voice。
所以建议一下，能否给工具箱加入配音并合并音轨的功能

zelefans

defalt456 发表于 2026-6-5 15:27
大佬，提供个思路，只为听得懂这个目的，VR字幕的痛点太多。前不久听ASMR遇到汉化的音声，把字幕配音放入原 ...

现在的确有项目可以模拟原声，配合翻译重新配音，但开源项目选择比较多，如果你知道的话可以给建议。技术选型比较费时间精力

defalt456

zelefans 发表于 2026-6-5 19:00
现在的确有项目可以模拟原声，配合翻译重新配音，但开源项目选择比较多，如果你知道的话可以给建议。技术 ...

不是配音，是在保留日语原声的基础上再在左声道或者右声道加上翻译的声音，相当于看视频的时候有人把字幕内容读给你听，不需要模拟原音，感情，音色都不重要。生成速度快就行，小米的开源OmniVoice就挺不错的。如果说以后能做到实时，字幕就可以淘汰了

defalt456

zelefans 发表于 2026-6-5 19:00
现在的确有项目可以模拟原声，配合翻译重新配音，但开源项目选择比较多，如果你知道的话可以给建议。技术 ...

效果在tg这里能看，@bilingual_voice

defalt456

zelefans 发表于 2026-6-5 19:00
现在的确有项目可以模拟原声，配合翻译重新配音，但开源项目选择比较多，如果你知道的话可以给建议。技术 ...

另外2转3的话可以试试这个方向，目前最好的2转3的办法是通过高斯泼溅生成，这是相关开源项目的链接，https://github.com/iVideoGameBoss/ml-sharp

zelefans

defalt456 发表于 2026-6-5 23:03
另外2转3的话可以试试这个方向，目前最好的2转3的办法是通过高斯泼溅生成，这是相关开源项目的链接，http ...

2D转3D已经在我VR工具箱CUDA专版中做了离线的，在优化提高FPS后就转到我的透视服务器做成实时的。

zelefans

defalt456 发表于 2026-6-5 22:53
不是配音，是在保留日语原声的基础上再在左声道或者右声道加上翻译的声音，相当于看视频的时候有人把字幕 ...

我理解你说的了，这个我觉得可以做。一直在做视频流，音频流回头看一下怎么加。字幕已知的情况下，TTS实时出不难。我的VR视频DLNA服务器里可以加。

刚查了一下，技术没问题， ffmpeg可以做混音，主要需要均衡显存压力，还要考虑实时和离线。适合做在CUDA专版里。


这个功能就叫做”同声翻译“么。不过可以解决很多问题，我之前考虑语音克隆，最大的问题就是画面里多人的话，是无法分别复制不同人语音的，即便用新模型可以区分说话人。但同声翻译的实现难度就不高了

defalt456

zelefans 发表于 2026-6-5 23:32
我理解你说的了，这个我觉得可以做。一直在做视频流，音频流回头看一下怎么加。字幕已知的情况下，TTS实时 ...

牛的大佬，配音确实，要达到原音水平难度太高，反正目的只是为了听懂，就简单干脆一点。加上中文比日语精炼，一起放能给人反应时间，挺适合做这个的，对了大佬这个正式名叫同声传译