随着人工智能（AI）技术的发展，AI 面部识别技术和创建逼真图像的算法备受关注。近日，由中科院计算所和香港城市大学合作的一个团队推出一款名为DeepFaceDrawing 的 AI图像转换器，在人脸图像生成领域取得不俗的成果。该模型根据简单的素描草图就能生成逼真的人脸肖像，是迄今为止最先进的图像生成器之一。

图1.  利用DeepFaceDrawing系统，将简笔草图生成高质量人脸图像的范例

现有的“从图像生成图像”的技术已经可以实现快速输出结果。但是，现有解决方案对输入图像的要求较高，只有以专业素描画像等逼真度较高的图像作为输入时，才能生成逼真的人脸肖像。输出结果的质量直接受到输入图像的影响，即输出结果受到输入图像的“硬约束”。为了解决这一问题，DeepFaceDrawing系统的研究团队设计了一种基于深度学习框架的“从局部到全局”的“软约束”算法。

图2. DeepFaceDrawing网络模型

算法主要分为两部分。首先，模型将人脸分成左眼、右眼、鼻子、嘴唇、脸型这5个关键“组件”，以简笔画为输入，采用隐式建模（implicitly model）方法建立人脸图像的形状空间模型，并学习人脸关键部位的特征嵌入，从而推理出人脸上各个器官的“布局”情况。然后，模型依据脸部的“布局”情况，从简笔画“倒推”出逼真的人脸图像。这一步中，模型依据人脸组件样本的特征向量，从输入简笔画的相应部分，推理出潜在的人脸组件流形（Manifold）。

在对比实验上，研究人员选用现有的全局检索模型和组件级检索模型与本项研究中的“从局部到全局”模型进行了对比。

图3. 模型对比实验

从左到右分别是现有的全局检索模型、组件级检索模型和该团队提出的“从局部到全局”模型输出的结果。根据模型输出结果，“从局部到全局”模型返回的样本最接近原简笔草图。同时，实验邀请60位参与者，证实模型输出结果更逼真。从参与者得到1320个主观评价中可以知道，参与者普遍认为“从局部到全局”模型的输出结果更加准确、图像质量也更高。

这项研究以论文的形式发表在学术网站arXiv上，论文标题为《DeepFaceDrawing: Deep Generation of Face Images from Sketches》。同时，这项技术也在计算机图形学顶会SIGGRAPH会议上展出。

该团队提供了此项目的开源代码，并提供了一个在线使用的模型网站。该网站提供在线画图转换为肖像照片、修改模型区域置信度等功能，如果对此感兴趣的话也可以亲自体验模型的功能。

图4. 网站画笔在线生成人脸图像示例

利用DeepFaceDrawing系统，用户只需要绘制一张草图作为参考图像，就能获得与草图相匹配的接近照片般逼真的人脸。有趣的是，在绘制毛发之前,它还会自动提供一些绘画起点。但是，如果我们选择自己创造想要的发型，它也会按照我们的图纸如实地进行。

不仅如此，它还提供了更多惊人的功能，例如：可以帮助用户调整不同的面部特征，并且一处调整可以同时映射到许多可能的人脸上。

它还具有一个有趣的功能——用户可以不画任何东西，只需要选择几个自己喜欢的面部特征，就可以得到它们组成的理想的脸，这就是所谓的人脸复制粘贴(Face Copy-Paste)。

DeepFaceDrawing展现了强大的功能，在未来，除了用于娱乐，这个模型将在犯罪调查、角色设计、教育培训等方面发挥更大的作用。此外，也有人相信，数字艺术家们采用这种技术可以将自己的艺术构想变为现实。

但是，DeepFaceDrawing 也存在一些问题需要解决。例如，模型主要以欧美白色人种或拉丁美洲人的图像训练模型，所以模型偏向于输出以白种人或拉丁美洲人为特征的人脸图像，不能满足人种的多样性。期待该团队后续推出更完善的系统。

参考链接

论文网站：http://www.geometrylearning.com/DeepFaceDrawing/

相关新闻：https://www.ofweek.com/ai/2020-09/ART-201717-8140-30460104.html

项目代码地址：https://github.com/IGLICT/DeepFaceDrawing-Jittor

系统网站地址：http://www.geometrylearning.com:3000/

撰稿人：温兴

审稿人：梁艳