[10.15]Thru3D媒体服务器（原VR视频透视服务器）V1.5.2版（支持字幕、离线鱼眼转透视）

qwer2025 · 发表于 2026-5-22 12:56:05

zelefans 发表于 2026-5-19 23:25
Dalvik/2.1.0 (Linux; U; Android 14; A921J Build/UKQ1.240321.001)。看请求头不是Pico4，也不是Quest3， ...

头显是pico 4 ultra，播放原始视频却没问题

5x5x5x4n · 发表于 2026-5-22 17:13:09

离线除了sam3没办法测试之外其他都测过了，感觉慢速YOLOworld不行啊，还不如中速的RVM效果好，画面闪烁抠图边缘非常大，人物识别问题很大，有的时候单眼整个人都抠没了，感官很差，不知道是我的问题还是这个模型本身的问题

qwer2025 · 发表于 2026-5-22 19:04:07

zelefans 发表于 2026-5-19 23:25
Dalvik/2.1.0 (Linux; U; Android 14; A921J Build/UKQ1.240321.001)。看请求头不是Pico4，也不是Quest3， ...

播放器里是这个状态，缩略图也显示不出来

zelefans · 发表于 2026-5-22 19:54:32

本帖最后由 zelefans 于 2026-5-22 20:13 编辑

qwer2025 发表于 2026-5-22 19:04
播放器里是这个状态，缩略图也显示不出来

需要在系统设置里把文件夹显示缩略图关了，然后重启软件生效。
4KVR的开发丧心病狂，请求原始视频自己截图，根本不用服务器返回的缩略图接口，导致显卡争用卡死。
你关了之后如果还有问题，麻烦开一下日志和debug，然后将debug_output中的 server.log发一份。

zelefans · 发表于 2026-5-22 19:59:58

本帖最后由 zelefans 于 2026-5-22 20:11 编辑

5x5x5x4n 发表于 2026-5-22 17:13
离线除了sam3没办法测试之外其他都测过了，感觉慢速YOLOworld不行啊，还不如中速的RVM效果好，画面闪烁抠图 ...

这个比较奇怪，刚开始效果的确很差，和你说的一样。我专门做过针对性优化，确保两个眼睛在yolo阶段必须同时框出人。然后交给后续sam扣边缘，再交给MatAnyone2跟踪。按理说是比较成熟的组合了，但实际应用上比预期差。也可能我只调优了我手头的几个视频，给个车牌我再试试。
我当前在尽力解决离线模型效率问题，TensorRT的离线效率居然没变化，抠图环节好了其他环节慢了……
后续：离线模型rvm_mobilenetv3_fp16.onnx用TensorRT解决了，4K 100多FPS，8K 70多FPS。但还有蛮多性能问题要解决，音频不同步问题白天解决了要真机测试，首帧冷启动问题，其他离线模型TensorRT化，还要看RVM模型要不要开放不同的解析度和下采样率给用户选择……

5x5x5x4n · 发表于 2026-5-22 21:05:13

本帖最后由 5x5x5x4n 于 2026-5-22 21:30 编辑

zelefans 发表于 2026-5-22 19:59
这个比较奇怪，刚开始效果的确很差，和你说的一样。我专门做过针对性优化，确保两个眼睛在yolo阶段必须同 ...

车牌我测了好几个都有同类问题，你试试看：fcvr-040，fcvr-068，juvr-164，拿fcvr-040一开场女优全身出镜整个人体因该是很好识别的，但是连大衣和手臂都抠没了，然后就是各种莫名的图像闪烁或者某一边单眼把人或局部躯干抠没了，我看看能不能截图下遮罩有问题的情况给你
下载3.png

如图黑丝和内裤扣没了
下载2.png

身体残缺

躯干没了只剩一条腿

qwer2025 · 发表于 2026-5-24 13:52:55

zelefans 发表于 2026-5-22 19:54
需要在系统设置里把文件夹显示缩略图关了，然后重启软件生效。
4KVR的开发丧心病狂，请求原始视频自己截图 ...

关掉了也不行

zelefans · 发表于 2026-5-24 14:20:46

本帖最后由 zelefans 于 2026-5-24 14:22 编辑

今明准备尽量先发一个支持TensorRT的版本，优化了大量性能，包括启动时模型预热，首帧速度提高，音频同步等。

4XVR实在太闹心，关掉文件缩略图功能还是会拼命扫描文件，虽然这种行为在TensorRT模式下影响小了点，但还是难受，推荐可以先试着其他播放器。他家文件命名规则也不透明，也没要出个文档。

TensorRT文件包非常大，2G左右。要拆出来独立包安装。网盘用户方便点。

离线功能下阶段优化，先取消RVM中速模式，实际测试和官方文档也认为差不多效果。上了TensorRT之后，优化小模型就几分钟

zelefans · 发表于 2026-5-25 00:33:40

终于更新了，每次更新前都发现一些BUG，然后修这些BUG又引入新的BUG，修完还要测，测又测出问题，囧。

支持TensorRT加速了，离线和实时都支持，4K视频不限速可以100多FPS，8K视频可以70FPS左右。实时模式限制了不超过原视频FPS。离线视频不限速。

离线视频接下去优化，感觉MatAnyone2的效果还不如RVM的……
音频视频不同步问题解决，原来处理的时候头上1秒被吃掉了，外加垫片就更晕了。现在模型冷启动放在了服务器启动缓解，所以打开速度会快点，是否恢复前置垫片再观察。

simba · 发表于 2026-5-25 00:39:25

太牛了大佬，感谢分享，如果有Mac版就更好了

[10.15]Thru3D媒体服务器（原VR视频透视服务器）V1.5.2版（支持字幕、离线鱼眼转透视）

浏览过的版块