
苹果与港大联合提出LGTM技术框架,通过解耦几何学习与纹理叠加,突破3D高斯喷溅在4K高分辨率下的计算瓶颈,显著提升Apple Vision Pro等设备的实时渲染画质与效率。
近日,苹果公司研究团队联合香港大学发表了名为《少用高斯函数,多用纹理:4K 前馈纹理飞溅》(Less Gaussians, More Textures:4K Feedforward Texture Splatting)的最新研究成果,推出了一项名为 LGTM 的全新技术框架。该技术旨在解决当前3D 高斯喷溅(3D Gaussian Splatting)在高分辨率下的计算瓶颈,为 Apple Vision Pro 等高像素显示设备的图形渲染开辟了新路径。
目前主流的前馈3D 高斯喷溅技术虽然能快速将2D 图像转换为3D 场景,但随着渲染分辨率的提升,计算需求呈二次方爆炸式增长,导致4K 级别的实时渲染难以实现。
LGTM 框架 的核心创新在于将几何复杂性与渲染分辨率解耦。它不再盲目增加高斯函数的数量,而是通过以下两步法提升画质:
几何学习: 模型先从低分辨率图像中学习场景的基础结构,并与高分辨率真实图像(GT)对比,确保几何骨架在2K/4K 下无缝隙或瑕疵。
纹理叠加: 引入专门的外观网络,将高分辨率图像中的精细细节转化为纹理,叠加在简单的几何形状之上。

Apple Vision Pro 的双眼显示屏拥有约2300万像素,单眼分辨率超过4K。传统的 SPLAT 等前馈模型在处理如此高密度的像素时往往性能受限。而 LGTM 能够升级现有系统(如 NoPoSplat、DepthSplat 等),使设备在保持低计算负载的同时,生成纹理更清晰、文本更锐利且更接近真实场景的沉浸式环境。
通过 项目演示页面 可以观察到,相比传统方法,LGTM 显著提升了前馈3D 重建的视觉上限,这预示着未来的 visionOS 用户有望在实时生成的虚拟空间中获得前所未有的逼真体验。