[10.15]Thru3D媒体服务器（原VR视频透视服务器）V1.5.2版（支持字幕、离线鱼眼转透视）

pwzdby

zelefans 发表于 2026-5-27 15:06
非常感谢。我正在替换YOLO识别模型，弄好了研究你这些日志。这几天应该能出个新版本.

一眼看到速度问题在 ...

好的，谢谢。希望大佬能把m2慢速的sam3画面拖影问题更新在下个版本，目前就差这个了，时间上40系卡如果不是离线跳舞格式视频，速度是非常快的。

pwzdby

还有一个问题，sam3一些视频人物头发边缘处都没有，都扣除掉了能得到改善吗，可以输入关键词什么的可以吗

zelefans

pwzdby 发表于 2026-5-27 19:13
还有一个问题，sam3一些视频人物头发边缘处都没有，都扣除掉了能得到改善吗，可以输入关键词什么的可以吗 ...

SAM3已经是当前最新最好的模型了，再细的话就是专业级别构图了。VR视频最大的问题就是画面人物比例特别低，而且边缘都是扭曲的，效果肯定不如纯2D画面。真要搞的话非常复杂，包括VR转平面再处理，但如果人物占比特别大就没法搞了（一个标准平面视野里装不下）。
其实SAM3只是出一个轮廓，后续都是让MatAnyone2跟踪这个轮廓抠图

zelefans

终于更新了，用了3天，这次间隔有点长。每天都是内部代码大幅修改。

大幅更新离线生成功能
两套抠图模型都增加了更高输入解析度
MatAnyone解决了一直以来的拖影问题根源
用Yolo26m替换YoloWorld并支持多人
TensorRT构建全部调整为FP32，之前综合反馈FP16问题太多

还有许多细枝末节的小修改。

现在AI为主的开发模式，效率是传统的几十倍，这些研发进展在传统上至少一两个月的工作量。。。。。。

zelefans

pwzdby 发表于 2026-5-27 16:43
好的，谢谢。希望大佬能把m2慢速的sam3画面拖影问题更新在下个版本，目前就差这个了，时间上40系卡如果不 ...

已经更新，可以测试了。 TensorRT也全部换成了FP32

zelefans

5x5x5x4n 发表于 2026-5-22 17:13
离线除了sam3没办法测试之外其他都测过了，感觉慢速YOLOworld不行啊，还不如中速的RVM效果好，画面闪烁抠图 ...

已经更新beta6版本，换新的Yolo26m模型了，针对你说的fcvr040做了特别测试，虽然因为人物太贴近，畸变导致识别的确困难，但漏检大幅降低了。其实最好的还是SAM3前置识别，可惜需要显存不小。
画面闪烁的问题应该是FP16的问题，可以试下新的tensorrt的FP32构建，我看红色alpha通道都鲜艳了很多。


另外，调研了可以将2D视频真3D化的模型，最新的是字节跳动出的Depth-Anything-3(https://github.com/ByteDance-Seed/Depth-Anything-3)，也有人用它做了针对VR的(https://github.com/Tok/depth-surge-3d)，但效率极低，每帧2-4秒。我回头研究一下用我现在技术能否加速。

pwzdby

太好了，明天测试。话说更新的变量包是干嘛的，直接覆盖进去吗。用完sam3前置就再也回不去了。另外大佬明天我发一段从deovr下载的跳舞视频让你看下他是怎么弄的，直通效果简直爆炸，甚至不输slr上专业直通视频。他们团队也招人制作，我发了半年邮件了，一直弄不明白，国外佬不好沟通😂

zelefans

pwzdby 发表于 2026-5-27 23:44
太好了，明天测试。话说更新的变量包是干嘛的，直接覆盖进去吗。用完sam3前置就再也回不去了。另外大佬明天 ...

可以覆盖 ，就是让老的models多了几百兆没用的模型

5x5x5x4n

zelefans 发表于 2026-5-27 23:02
已经更新beta6版本，换新的Yolo26m模型了，针对你说的fcvr040做了特别测试，虽然因为人物太贴近，畸变导致 ...

太好了，恭喜阶段性胜利，我测试下汇报

pwzdby

快速有精度有2048 怎么sam3精度只有高，转出来的视频体积小了好多500mb转出来只视频是300多点体积