[5.12]VR视频透视服务器开发7天完成，源代码已开源，等待打包发布

zelefans

昨晚解决了DLNA服务器容易卡死问题，就是同时只能一个连接，对于私人的VR场景来说不成问题。
把模型从垃圾MODNET换到了老的RVM，效果意外好（见测试截图），效率也没差。
4K双屏现在13fps，部分环节已经改成了gpu操作，还有一些可以优化的点，遮罩层跳帧之后4K输出成了瓶颈。继续优化……
其实吧，现在如果输出单眼180视频，应该已经可以达到30fps可以看的标准了……

joe123

zelefans 发表于 2026-5-7 11:43
昨晚解决了DLNA服务器容易卡死问题，就是同时只能一个连接，对于私人的VR场景来说不成问题。
把模型从垃圾M ...

这个很吃显卡性能吗，我显卡比你的5060ti差一点，4060ti

Jinson

2D的换脸好搞么？大佬搞一个来玩玩？

zelefans

joe123 发表于 2026-5-7 12:47
这个很吃显卡性能吗，我显卡比你的5060ti差一点，4060ti

瓶颈现在不在显卡上，不同模型的效率不同，但这种小模型对于显卡来说差异不大。主要在CPU和GPU之间交换数据上，也就是处理流程一条线都要优化

zelefans

Jinson 发表于 2026-5-7 13:04
2D的换脸好搞么？大佬搞一个来玩玩？

不搞，很容易违法又背德

zelefans

优化阶段性成功，跳帧后达到30fps了。8K视频(4096x8196)会降到4K输出(2048x4096)。 中间所有环节几乎都在GPU里处理了，大幅减少CPU和GPU的数据交换。现在做一下前端界面已经可以满足发布条件了。还是想继续优化一下，给其他新模型或老GPU腾点空间，也为了今后8K输出做准备。

zelefans

zelefans 发表于 2026-5-7 19:56
优化阶段性成功，跳帧后达到30fps了。8K视频(4096x8196)会降到4K输出(2048x4096)。 中间所有环节几乎都在GP ...

研究了下，要支持8K输出，必须改架构了。继续尝试

zelefans

昨晚换了架构，抛弃了ffmpeg换pynv，已经可以支持8k 30fps.



8K decode-only:
  141.73 fps

8K PyNv decode -> HEVC encode -> FFmpeg mux:
  34.98 fps
  output_duration=9.999900s
  verdict=REAL-TIME, 但余量不大

8K fullchain HEVC stride=3:
  steady_fps=34.86 fps
  verdict=REAL-TIME, 小余量

8K fullchain HEVC stride=1:
  steady_fps=31.90 fps
  verdict=刚过 30fps，余量很薄

zelefans

视频编码各不相同，4K测试了跑8K就出问题。本地有1400多个古早到最新的视频，扫描一下，希望可以兼容各种奇葩编码……


全量扫描完成：1474 个文件，PyNv 可走的候选占绝大多数，其中 771 个会路由到 HEVC，684 个到 H.264，18 个 fallback，1 个 block……比预期中好太多

yuminjun11

提个小意见，最好不要用绿屏，这样人物会有绿边，能不能用深色或灰色