如果只有一张图片，怎么创建出一个人逼真的数字化身？

 在2020年计算机视觉与模式识别会议（CVPR）期间，伦敦帝国学院和AI 面部分析初创公司FaceSoft.io的研究人员介绍了一种技术：“AvatarMe”，该技术能够仅仅通过一张普通的图像或照片，就重建出逼真的3D半身像。更厉害的是，不仅能从低分辨率目标生成真实的4K x 6K分辨率的3D人脸，而且还可以进行细致的光线反射。

图1 3D人脸重建和实时渲染效果（来源：GitHub）

 从视频会议、虚拟现实到影视游戏，3D人脸都有着数不尽的应用场景，尽管可以在没有 AI 的情况下拟合出几何形状，但是需要更多的信息才能在任意场景中渲染人脸。

 为了提取这些信息，研究人员使用一组由168 盏 LED 灯和 9 台单反相机组成的采样装置，拍摄了200张人脸的毛孔级反射图，然后用这些数据训练了一个人工智能模型GANFIT，它可以从纹理合成逼真的人脸图，同时优化渲染和输出之间的“身份匹配（identity match）”。

 与其他生成性对抗网络（GANs）类似，GANFIT是一个由两部分组成的模型：一个生成样本的生成器和一个试图区分生成样本和真实样本的鉴别器。生成器和鉴别器各自的能力互补，直到鉴别器无法将真实的例子与合成的例子区分开来。

 此外，AvatarMe 的另一个组件则负责增强纹理的分辨率，还有一个单独的模块从被照明的纹理中预测皮肤结构（如毛孔、皱纹或头发）中每个像素的反射率，甚至估计表面细节（如细皱纹、疤痕和皮肤毛孔）。

 研究人员说，在实验中，AvatarMe 在最终的渲染中没有产生任何伪影，并成功地处理了像太阳镜这样的“极端”案例和遮挡，反射率是一致的，即使在不同的环境中，系统都“真实地”照亮了被摄体。

图2 不同场景下可以自适应的人脸光线反射（来源：YouTube）

方法

 3D人脸和几何纹理的重建是当前计算机视觉、图形和机器学习交叉领域中最受欢迎的方向，这项研究的关键工作之一，是对三维可变形模型（3DMM）拟合法的改进。

 在优化渲染和输入之间的身份匹配的同时，将3DMM拟合到“野生”（即自然环境下的）输入图像，并合成完整的UV纹理。

 纹理被上采样8次，以合成合理的高频细节。然后，研究人员使用图像转换网络对纹理进行照明，并获得具有高频细节的漫反射反照率，使用单独的网络从漫反射反照率和3DMM形状法线推断出镜面反射率、漫反射法线和镜面法线。此外，网络是在512x512图像块（patch）上训练的，推断过程则是在1536x1536图像块上进行。最后，将面部形状和推断出的反射率传递给头部模型，呈现出在任何环境中实时渲染的效果。

图3 AvatarMe 的基本方法框架（来源：GitHub）

局限性与展望

 AvatarMe 并非没有局限性，文中提到，由于训练数据集没有包含来自某些种族的受试者样本，因此在尝试重建肤色较深的面孔时会导致效果不佳，且由于所需数据与 3DMM 模型的微小对准误差，重建的镜面反照率和法线有时会显示出一些高频孔隙细节的轻微模糊。最后，面部重建的精度跟输入的照片质量息息相关，一张光线充足、分辨率较高的照片会产生更精确的结果。

 研究人员表示，在业内，这是第一种用任何肖像图像（包括黑白照片和手绘图）实现“可渲染”人脸的方法，作为一种最新的 3D 人脸生成和实时渲染 AI 系统，AvatarMe有望使以前需要人工设计的过程逐步自动化。

参考信息：

1. 新AI技术现身顶会：只需一张大头照，就能生成逼真3D人脸

https://mp.weixin.qq.com/s/NMBstNj66woD9_ejWt1jQw

2. AI model creates 3D avatars from a person’s picture

https://venturebeat.com/2020/06/16/ai-model-creates-3d-avatars-from-a-persons-picture/

3. 论文地址：

https://arxiv.org/pdf/2003.13845.pdf

4. Github地址：

https://github.com/lattas/avatarme