从计算机视觉建模以来，用摄像机针对不同位置拍摄得到的2D图像进行渲染得到3D模型是计算机视觉领域的一大难题，同时图片角度和光照的选取对于合成一个三维视图也是十分困难的。为了不再受到来自传统渲染的束缚，Google的一组研究人员近日开发了一个用于合成复杂场景的新视图 的3D场景转换的深度学习模型，并且使用的是非结构化的 in-the-wild 照片集。 该模型是之前大火的神经辐射场，仅使用非结构化的 in-the-wild 图片集合就可以在变化的场景和存在遮挡的情况下重构出非常具有真实感的精确重构，神经辐射场（NeRF）应运而生。

 in-the-wild 数据集指的是数据来源于开放的场景，也就是意味着是从自然场景下获取的数据，而不是在固定实验条件下得到的数据。

图1. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[1]

什么是NeRF呢？

NeRF 指的是通过追踪由拍摄得到图片的光线进入场景，并通过对光线长度进行积分以此生产视频的一种方法。其核心在于可以凭借非显示地方法将一个复杂的静态场景用一个神经网络来建模，当该网络训练完成后，就能够从任意角度渲染出清晰的场景。 

即便NeRF可以很好地处理拍摄得到的2D静态图像，但它的建模对象主要是静态建模，这些对象的场景都是短时间内拍摄得到的，这些所有的场景的光照和阴影都是基本没有变化的，因此每个建模对象具备同样得光影和几何变化，所以它无法在不同得光照和场景下进行建模，例如：出现临时遮挡物等情况。针对这一情况，谷歌研究人员提出了新模型 NeRF in the Wild (NeRF-W) ，该模型的出现解决了受环境束缚这一难题。

图2. 论文: NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections[2]

NeRF-W模型能够在不影响拍摄照片中的三维几何形状情况下，通过捕捉到室外的光照变化，从而并重构场景。NeRF-W如下图所示被应用在网络图片集中，从而得到时间维度上一样的新视图渲染，与 NeRF 技术相比，由NeRF-W 构建出来的真实感更强。 

图3. 给定网络照片集（a），本方法可以渲染出不同光照的新视图（b）。

总结来说，研究团队的主要技术贡献包括：

  1、 基于 NeRF提出了 NeRF-W，放宽了严格一致性的假设，对非结构化网络照片集的复杂环境的 3D 场景重构，对 NeRF 进行了推广。

  2、 为了使 NeRF 能够适应不同光照和摄影后一些技术处理， 学习每张图像的隐嵌入，能够捕捉到摄影外观的变化；

  3、 把场景分解为图像相关的和共享的分量，使得模型可以解耦瞬态元素和静态场景。同时，为了解决动态现象，把 NeRF 中的颜色发射方程 作为该模型的静态部分，然后添加瞬态部分。除此之外，还允许该方法瞬态部分发射出不确定性。

通过实验证明，NeRF-W 方法得到的渲染结果非常好，并且大大提升了目前 NeRF 方法。

参考文献：

[1]  Mildenhall B., Srinivasan P.P., Tancik M., Barron J.T., Ramamoorthi R., Ng R. (2020) NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. In: Vedaldi A., Bischof H., Brox T., Frahm JM. (eds) Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science, vol 12346. Springer, Cham.

链接：https: //link.springer.com/chapter/10.1007/978-3-030-58452-8_24

[2]  Ricardo Martin-Brualla, Noha Radwan, Mehdi S. M. Sajjadi, Jonathan T. Barron, Alexey Dosovitskiy, et al. NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021: 7210-7219.

链接：

https://openaccess.thecvf.com/content/CVPR2021/html/Martin-Brualla_NeRF_in_the_Wild_Neural_Radiance_Fields_for_Unconstrained_Photo_CVPR_2021_paper.html

撰稿人 ：王瑜琦