梦晨发自凹非寺量子位|神经渲染技术高速发展以NeRF为代表的神经渲染技术高

以NeRF为代表的神经渲染技术高速发展，学界已经不满足合成几个新视角让照片动起来了。
接下来要挑战的是根据照片直接输出3D模型，可以直接导入到电影、游戏和VR等图形生产线里的那种。

文章图片

文章图片

所用照片不是出自高质量数据库，就是直接从网上搜集游客拍摄的各大景点，设备、天气、距离角度等都会不一致。
生成的结果远看结构完整，近看细节丰富，如果你有VR设备也可以在Demo中直接预览3D版。

文章图片

文章图片

这项最新突破由浙江大学和康奈尔大学团队合作完成，登上图形学顶会SIGGRAPH2022 。

文章图片

文章图片

而在这之前，同类技术生成的3D模型连形状完整都做不到。

文章图片

文章图片

看到这里，网友纷纷表示这个领域的进展比人们想象的要快。

文章图片

文章图片

“慢点学，等等我” 。

文章图片

文章图片

那么，这项研究靠什么取得了突破？
融合两种采样方式
具体来说，这项研究的基本框架借鉴了NeurIPS2021上的NeuS ，一种把隐式神经标准和体积渲染结合起来的方法。

文章图片

文章图片

但是NeuS使用基于球体的采样（Sphere-basedsampling）方法，对于近景、小物体来说还算适合。
用于结构复杂的大型建筑物的话会有大量采样点采在空白区域，增加大量不必要的计算压力。

文章图片

文章图片

为解决这个问题，研究人员提出体素引导（Voxel-guided）和表面引导（Surface-guided）混合的新采样方法。

文章图片

文章图片

体素引导可以避免不必要的浪费，训练时所需射线（Traningray）可以减少30% 。
再结合表面引导增加真实曲面周围的采样密度，帮助神经网络更好拟合，避免丢失细节。
在消融实验中可以看到，仅使用体素引导方法收敛的比基于球体的方法快，但不如混合方法细节丰富。

文章图片

文章图片

与之前同类研究对比，新方法生成模型的完整性和细节方面更出色。

文章图片

文章图片

【梦晨发自凹非寺量子位|神经渲染技术高速发展】训练速度上也有明显优势，特别是在大型场景墨西哥城美术宫（PBA）。

文章图片

文章图片