[10.15]Thru3D媒体服务器（原VR视频透视服务器）V1.5.2版（支持字幕、离线鱼眼转透视）

pwzdby

zelefans 发表于 2026-5-26 19:16
开加速后能否拉一下有问题时server.log，不用开调试，我分析一下能否发现啥端倪。如果速度不变就有问题了 ...

我把那个16g模型重新装了进去，又好了，8k极速可以到130，p4就只有30多了，p7直接11多。我搞个p4吧，极速那画质不能看👀，然而我感受不到p4和p7的差距，这是开和不开的速度

zelefans

pwzdby 发表于 2026-5-26 19:41
我把那个16g模型重新装了进去，又好了，8k极速可以到130，p4就只有30多了，p7直接11多。我搞个p4吧，极速 ...

你说的重新装16G是啥？

我的5060Ti显卡处理8K，P1是70多FPS，P4是35，P7是13。  P4平衡大多数时候都OK，P7针对对画质挑剔的人吧，大多数时间消耗在读取视频上。 在线模式FPS为重，所以内部用的P1模式。

pwzdby

zelefans 发表于 2026-5-26 20:37
你说的重新装16G是啥？

我的5060Ti显卡处理8K，P1是70多FPS，P4是35，P7是13。  P4平衡大多数时候都OK， ...

就是那个显存16g的模型。话说sam3是真的好，就是拖影太严重了，不过效果是真的没话说

pwzdby

pwzdby 发表于 2026-5-26 21:38
就是那个显存16g的模型。话说sam3是真的好，就是拖影太严重了，不过效果是真的没话说 ...

还是离线下来看爽，想看哪看哪，实时垃圾时间多，精彩部分还不能退回去，离线yyds啊

zelefans

pwzdby 发表于 2026-5-26 21:40
还是离线下来看爽，想看哪看哪，实时垃圾时间多，精彩部分还不能退回去，离线yyds啊 ...

我下个版本先把离线做好。下阶段会研究实的时非直播模式，要虚拟文件大小，要根据拖动计算时间位置。
拖影的问题看起来是MatAnyone2的问题，因为它会跟踪视频目标状态，但这已经是当前最新的模型了。我今天刚把MatAnyone2处理解析度翻倍，优化一大堆之后FPS和之前一样。拖影问题我专题研究怎么解决。还有前置yoloworld+efficientsam问题看起来比较多，研究如果不行就废了。
SAM3效果的确很好，我还能定义woman in front之类的关键词来屏蔽POV的身体，非常灵活，跟踪一条狗都行。我另外写的一套程序就只用SAM3实现了抠图，只是必须装庞大的torch，用户层面软件太重，还是onnx可控一些，但SAM3的onnx不支持视频内跟踪，这个可以后期研究。

pwzdby

zelefans 发表于 2026-5-26 21:50
我下个版本先把离线做好。下阶段会研究实的时非直播模式，要虚拟文件大小，要根据拖动计算时间位置。
拖 ...

还有个问题是这些跳舞视频用sam3如果开启加速就不可以离线视频，关掉反而可以，这个加速我现在不管用什么模式都不开启，我发现开启后会通道会跳帧，不开反而离线更好，暂时没发现开与不开有什么速度变化

zelefans

pwzdby 发表于 2026-5-26 21:56
还有个问题是这些跳舞视频用sam3如果开启加速就不可以离线视频，关掉反而可以，这个加速我现在不管用什么 ...

那我下个版本换FP32加速看看有没有跟改善

pwzdby

zelefans 发表于 2026-5-26 22:23
那我下个版本换FP32加速看看有没有跟改善

大佬加油，如果能把sam3的拖影问题解决，那直接原地起飞，我试过了就这模型最牛掰，就是速度贼慢，应该是跳舞视频格式问题。这个格式问题能不能解决呢，不想去转格式呢。

pwzdby

zelefans 发表于 2026-5-26 22:23
那我下个版本换FP32加速看看有没有跟改善

实际测试4090卡，跳舞类视频sam3 p4离线实测37fps，如果能解决拖影世纪难题，简直甩deo和市面其他软件几条街，大佬我要给你拉赞助。太牛掰了😚

zelefans

pwzdby 发表于 2026-5-26 23:46
实际测试4090卡，跳舞类视频sam3 p4离线实测37fps，如果能解决拖影世纪难题，简直甩deo和市面其他软件几 ...

SAM3对显卡要求太高，能用得起的人不多也。虽然我的16G显存也能跑。 我这几天专攻离线，明天看有啥进展。
你现在是所有TENSORRT加速都处理不了？是绿幕模式也不行纯绿，还是就alpha模式四个角和中间上下出不了红色的。我要定位一下问题。低端显卡不用TensorRT速度跑不起来。