[5.12]VR视频透视服务器开发7天完成，源代码已开源，等待打包发布

zelefans

5.12
从0开始开发，7天时间，基本完成第一版，面向技术人员开源。现在就剩面向非技术用户的安装包了硬件兼容性检测和冷启动功能完成就发布。
源代码开源了
项目地址：https://github.com/zerochocobo/VR-Video-Passthrough-Server/
中文介绍：https://github.com/zerochocobo/V ... ter/README.zh-CN.md

5.11
基本OK，UI开发对接中



绿幕视频效果(底色可选）：

Alpha直通效果



5.6日
发现可以做一个轻量化的实时透视视频媒体服务器，先把dlna服务器搭好了，输出原始之外的虚拟的视频文件，后续做实时处理，希望顺利

最初的原点帖子：
搞了一天半，试了一大堆新老技术方案，Yolo、Ultralytics、SAM2、RVM、MatAnyone、BEN2、VideoMama。。。。。寻找针对普通用户的不需要像专业绿幕软件那样各种交互细调的。要么太复杂要么效果一般，试了好多种不同组合还是不理想，VR视频的背景画面没有预期中的稳定，人物在VR投影变形后也经常无法被识别。
最后差不多定型在新的SAM3上，可以不用其他模型配合，更可以通过简单词组描述要扣出来哪个对象。就是显存占用极大，4K的1分钟占用40多G显存，我用了分片处理可以缓解。速度也比较慢，1分钟跑了1小时，但有蛮多可以优化的，还有很多场景没测。但测试用的已经可以相对稳定输出了，后续发布时间未定，目标还是让技术小白用户可以轻松用。
这个功能也是让我个人超级期待的。但当前必须用torch，不包括模型的安装包就至少3GB，模型3.5GB，到时候会以单独项目的形式发布，就不和去马赛克程序绑定在一起了。

a2509589

重复造轮子https://4k2.me/forum.php?mod=vie ... ;highlight=amarecvr

commade17402

显存占用大，速度慢，慢慢优化吧，期待大佬完善。

zelefans

a2509589 发表于 2026-5-4 15:16
重复造轮子https://4k2.me/forum.php?mod=viewthread&tid=12595&highlight=amarecvr

好多年了，用过。那个是实时的，用算法而没有用神经网络模型，抖动很大，扣的不干净。

zelefans

commade17402 发表于 2026-5-4 16:47
显存占用大，速度慢，慢慢优化吧，期待大佬完善。

现在缩到了8G显存，用FP16精度，降低批次帧数还能更低，只要这个批次里有人像就好

woshibaichi

弥补樱花没有AR的遗憾，这个必须支持大佬

1289216559

建议还是用蓝灰底色，绿色通道多少影响观感

李文琴

哥们电脑配置怎么样，我这个也玩过，就是3060的显卡太慢了，我16g内存很容易就跑炸了，可以试试AE挂载Mocha pro 抠像，我试过10秒的视频，跑出来效果相当不错

joe123

a2509589 发表于 2026-5-4 15:16
重复造轮子https://4k2.me/forum.php?mod=viewthread&tid=12595&highlight=amarecvr

你这个效果不行的，我现在都是自己用剪辑软件抠一部分，然后配合这个软件用。

zelefans

1289216559 发表于 2026-5-4 18:17
建议还是用蓝灰底色，绿色通道多少影响观感

SLR蓝灰底的没找到官方说明。刚查了DeoVR文档可以做纯alpha通道的，比绿幕纯粹多了。我回头研究一下