[10.15]Thru3D媒体服务器（原VR视频透视服务器）V1.5.2版（支持字幕、离线鱼眼转透视）

letry

[offline] SAM3 prepass 3761/3839 frame=112800 src_idx=112800 ms=590.3 active=True objects=1 L=[0] area=0.2986 R=[0] area=0.2990 stereo=paired gpu=12535/16303MiB
Traceback (most recent call last):
  File "main.py", line 690, in <module>
  File "main.py", line 374, in main
  File "main.py", line 292, in _run_legacy_tool

  File "tools\offline_alpha_passthrough.py", line 1296, in main
  File "tools\offline_alpha_passthrough.py", line 681, in _precompute_sam3_segment_masks
  File "offline\decoded_frames.py", line 27, in decoded_frame_to_bgr
cv2.error: OpenCV(4.13.0) D:\a\opencv-python\opencv-python\opencv\modules\core\src\alloc.cpp:73: error: (-4:Insufficient memory) Failed to allocate 88473600 bytes in function 'cv::OutOfMemoryError'

[PYI-17536:ERROR] Failed to execute script 'main' due to unhandled exception!
[offline-sam3] child process exited rc=1
Traceback (most recent call last):
  File "main.py", line 690, in <module>
  File "main.py", line 374, in main
  File "main.py", line 292, in _run_legacy_tool
  File "tools\offline_alpha_passthrough.py", line 1296, in main
  File "tools\offline_alpha_passthrough.py", line 612, in _precompute_sam3_segment_masks
  File "tools\offline_alpha_passthrough.py", line 876, in _precompute_sam3_segment_masks_subprocess
  File "utils\subprocess_hidden.py", line 96, in run_hidden_streaming
subprocess.CalledProcessError: Command '['D:\\VR_Video_Passthrough_Server\\pt_core.exe', 'tool', 'offline_alpha_passthrough', 'D:\\convert\\SIVR-302-cd4.mp4', '--engine', 'matanyone2_onnx', '--model', 'D:\\VR_Video_Passthrough_Server\\models\\matanyone2_onnx_1024_bs1', '--matanyone2-size', '1024', '--matanyone2-batch', '1', '--sam3-model-dir', 'D:\\VR_Video_Passthrough_Server\\models\\sam3_onnx', '--sam3-prompt', 'people', '--sam3-score-threshold', '0.5', '--sam3-min-area-ratio', '0.0005', '--sam3-max-area-ratio', '0.95', '--sam3-top-k', '0', '--sam3-scan', 'hybrid', '--sam3-scan-interval-sec', '1.0', '--sam3-active-min-area-ratio', '0.001', '--sam3-provider', 'cuda', '--sam3-decoder-provider', 'cuda', '--sam3-cuda-memory-limit-mb', '8192', '--sam3-decoder-cuda-memory-limit-mb', '4096', '--sam3-min-vram-gb', '15.5', '--sam3-release-interval', '0', '--no-sam3-low-memory', '--sam3-low-memory-batch', '1', '--sam3-log-vram', '--matanyone2-segment-frames', '240', '--matanyone2-min-segment-sec', '3.0', '--sam3-gap-fill-frames', '300', '--frames', '115156', '--fps', '60.0', '--sam3-prepass-out', 'D:\\VR_Video_Passthrough_Server\\debug_output\\_sam3_prepass\\sam3_prepass_1782677383137_1402378736400.npz']' returned non-zero exit status 1.
[PYI-11664:ERROR] Failed to execute script 'main' due to unhandled exception!
[offline] child process exited rc=1
[offline] process exited with error rc=1
大佬，大佬，我用SAM3，P7模型，5080显卡离线转透视视频，全崩溃了, 不知道是什么原因，完整日志在附件里，麻烦帮看一下

zelefans

不要用 P7，用 P4可以解决 。P7太重了，我日常都不用。
下个版本会优化
我都想把P7选择删了。。。。所有性能不好的源头。。。。过度编码，最后还是要压缩到原始大小。。。

letry

zelefans 发表于 2026-6-29 14:04
显存撑爆了。奇怪的是SAM3都没撑爆怎么opencv报的错。还有3G显存呢。。。。我查一下。。。。 ...

辛苦大佬🙇‍

letry

letry 发表于 2026-6-29 14:16
辛苦大佬🙇‍

好的，感谢大佬回复

月璃

牛哇牛哇

zelefans

终于有空可以继续做这个程序了~ 重构UI先

defalt456

大佬考虑适配sam3.1吗，速度貌似提了不少

zelefans

# VR视频透视服务器 v1.2.0

• 桌面界面重构： 新增导航栏、功能卡片首页，以及独立的离线工具、字幕样式、日志和设置页面。
• RTX视频超分辨率： 新增实时和离线NVIDIA RTX VSR，支持2D视频1080p转4K及VR视频4K转8K。
• 离线透视SAM3模型： 新增预览配置关键词。
• 全GPU离线超分： 新增NVDEC、CUDA、NGX VSR和NVENC全GPU处理链路。
• 自适应8K VR输出： 新增左右眼GPU处理及8192×4096 HEVC输出。
• 超分质量配置： 新增低、中、高、超高质量及关闭、自然、鲜明HDR观感。
• DLNA配置： 新增服务器名称、HTTP端口、保存反馈和时间索引浏览。
• 配音/同传： 新增实时 [SI] 播放、起播时间、声道混音和原声压低预设。
• 8K离线处理优化： 降低SAM3和MatAnyone2处理SBS视频时的CPU内存占用。
• 媒体目录策略： 限制UNC网络共享，同时支持映射为本地路径的云盘。
• 外挂字幕： 普通视频外挂字幕不再受实时硬字幕开关影响。
  

zelefans

下一个版本考虑引入更强点的高清化模型，可以填充更多画面细节。但只能实现离线，对显卡显存要求也肯定比较高。

刚才研究了一下，更多功能以及更多想法只能引入pytorch了，安装包底层要多一大块，下个版本就是2.0了

miaosha

首先感谢兄弟的无私分享。另外大胆提一下建议，能否实现类似windows原生dlna那样，可以把全部视频文件作为一个项，可以直接看全部视频，这样不用一个个进去文件夹找。只是建议，谢谢。