一种结合3D脸部结构先验的人脸超分辨方法技术

本发明专利技术公开了一种结合3D脸部结构先验的人脸超分辨方法，该方法能够显式得结合3D脸部先验，抓取到高清的脸部结构信息，为网络提供一些基于脸部属性的3D拓扑信息，例如身份、表情、纹理、亮度和脸部姿态。本发明专利技术提出了一个深度学习网络框架，框架总体包括两个分支：上半部分分支包含一个ResNet

【技术实现步骤摘要】
一种结合3D脸部结构先验的人脸超分辨方法


[0001]本专利技术属于计算机视觉人脸超分辨领域，尤其涉及一种结合3D脸部结构先验的人脸超分辨方法。

技术介绍

[0002]人脸图像信息在当今社会计算机分析中有众多应用，例如人脸识别和医学诊断。但往往各种技术都要求人脸图像拥有较高的分辨率。当面部图像的分辨率相对较低时，技术准确率会急剧下降。因此，人脸超分辨算法应运而生，帮助人脸图像从低分辨率恢复到高分辨率。
[0003]现在先进的人脸超分辨算法通常利用深层卷积网络去学习从低分辨到高分辨的人脸模式映射关系。但是，大多数方法没有充分利用脸部结构及身份信息且很难处理脸部姿态变化。这种情况下，大多方法会忽视人脸例如边缘，亮度和表情等的信息。因此，人脸超分辨，尤其是在高放大倍数情况下，仍然是一个具有挑战性的问题。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足，提供一种结合3D脸部结构先验的人脸超分辨方法。本专利技术能够显式地结合3D脸部先验，这种先验能够抓取到高清的脸部结构信息，能够为网络提供一些基于脸部属性的3D拓扑信息，例如身份、表情、纹理、亮度和脸部姿态。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种结合3D脸部结构先验的人脸超分辨方法，包括以下步骤：（1）输入低分辨率图像，和对应的高分辨率图像作为真实值；（2）用步骤（1）输入的低分辨率图像与真实值来训练上半分支的ResNet
‑
50网络；ResNet
‑
50网络输出的是从低分辨率图像中学习的3D脸部信息，再重建成一个脸部渲染结构；通过损失函数迭代训练ResNet
‑
50网络；（3）将步骤（2）得到的3D脸部信息及脸部渲染结构连接后，再经过卷积得到3D脸部结构先验；（4）用步骤（1）输入的低分辨率图像与真实值来训练下半分支网络，包括空间注意力机制网络和残差通道注意力机制网络；空间注意力机制网络的输入为低分辨率图像，输出的特征向量为残差通道注意力机制网络的输入；下半分支网络先用空间注意力机制结合3D脸部结构先验与特征向量，再使用残差通道注意力机制来在特征通道中挖掘最有用的信息；通过损失函数迭代训练下半分支网络；（5）将待恢复的低分辨率图像输入步骤（2）~（4）训练好的人脸超分辨模型中，得到对应的高分辨率图像。
[0006]进一步地，所述3D脸部信息包括身份、表情、纹理、亮度和脸部姿态特征。
[0007]进一步地，步骤（2）中，所述3D脸部信息参照Morphable模型重建成脸部渲染结构。
[0008]进一步地，步骤（2）中的损失函数l
r
如下：
其中，L为输入低分辨率图像的数量，j为低分辨率图像的索引；M表示脸部区域，i为像素点索引；A是基于肤色的注意力掩膜，A
i
代表注意力掩膜中的像素点i；I为真实值，I
ji
代表第j个低分辨率图像中像素点i的真实值；x代表输入的低分辨率图像，B(x)代表将x对应的3D脸部信息，R代表脸部渲染结构，R
ji
(B(x))代表第j个低分辨率图像生成的脸部渲染结构的像素点i。
[0009]进一步地，注意力掩膜A通过训练一个贝叶斯分类器得到。
[0010]进一步地，步骤（4）中，3D脸部结构先验输入空间注意力机制网络的空域特征转换层，学习得到一对调制参数，用于在空间上对空间注意力机制网络中的中间特征进行精细变换。
[0011]进一步地，调制参数用于在空间上对空域特征转换层前一层的输出F进行如下精细变换：其中，SFT为空域特征转换层对应的函数，代表逐元素相乘。
[0012]进一步地，步骤（4）中的损失函数为均方差损失。
[0013]进一步地，步骤（3）具体为：将3D脸部信息通过特征转换生成与输入低分辨率图像一样大小的矩阵，并与脸部渲染结构级联连接后，再经过多个卷积层得到3D脸部结构先验。
[0014]本专利技术的有益效果是：本专利技术相比于未结合先验或只结合2D先验的算法来说，本专利技术可以有效地提高人脸超分辨效果，得到更加清晰，现实的图片，并且可以避免常见的面部扭曲（face artifacts/distortion）的问题。
附图说明
[0015]图1为人脸超分辨总体架构示意图；图2为脸部渲染结构结果示意图；其中，(a)列为低分辨率图像，(b)列为脸部渲染结构，(c)列为高分辨率图像；图3为空域特征转换层结构示意图；图4为残差通道注意力模块结构示意图；图5为输入低分辨率图像为（16
×
16），
×
8倍的不同算法超分辨结果示例图；其中，（a）对应CelebA数据集，（b）对应Menpo数据集；图6为输入低分辨率图像为（32
×
32），
×
4倍的不同算法超分辨结果示例图；其中，（a）对应CelebA数据集，（b）对应Menpo数据集。
具体实施方式
[0016]本专利技术针对现有超分辨算法在未运用面部先验或运用2D面部先验的情况下，人脸超分辨效果不好的问题，提出一种结合3D脸部结构先验的人脸超分辨方法。
[0017]本专利技术人脸超分辨模型为一个深度学习网络，利用高分辨图像作为真实值，对应的低分辨率图像作为输入，当低分辨率图像输入进人脸超分辨模型后，上半分支从图像中抓取3D脸部信息作为先验，下半部分利用输入的低分辨率图像及3D脸部结构先验预测对应的高分辨率图像，每一步迭代计算预测图像（恢复的高分辨图像）和真实值之间的差距，训练网络往减小差距的方向收敛。具体地，人脸超分辨模型总体包括两个分支。上半部分分支包含一个ResNet
‑
50网络来从输入的低分辨率图像中挖掘隐藏的3D脸部信息，将3D脸部信息分别通过特征转换生成3D脸部特征，通过3D人脸重建生成一个脸部渲染结构（face rendered structure）；所述3D脸部信息包括身份、表情、纹理、亮度和脸部姿态。下半部分分支利用空域特征转换层（Spatial Feature Transform(SFT)）结合3D脸部特征及脸部渲染结构作为3D脸部结构先验，再利用空间注意力机制及残差通道注意力机制实现人脸超分辨，输出恢复的高分辨率图像。
[0018]下面结合实施例来说明本专利技术的有效性。
[0019]实验数据采用CelebA数据集（Liu, Z., Luo, P., Wang, X., Tang, X.: Deep learning face attributes in the wild. In:ICCV (2015)）和Menpo数据集（Zafeiriou, S., Trigeorgis, G., Chrysos, G., Deng, J., Shen, J.: The menpo facial landmark localisation challenge: A step towards the solution. In: CVPRW (2017)），本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合3D脸部结构先验的人脸超分辨方法，其特征在于，包括以下步骤：（1）输入低分辨率图像，和对应的高分辨率图像作为真实值；（2）用步骤（1）输入的低分辨率图像与真实值来训练上半分支的ResNet
‑
50网络；ResNet
‑
50网络输出的是从低分辨率图像中学习的3D脸部信息，再重建成一个脸部渲染结构；通过损失函数迭代训练ResNet
‑
50网络；（3）将步骤（2）得到的3D脸部信息及脸部渲染结构作为3D脸部结构先验；（4）用步骤（1）输入的低分辨率图像与真实值来训练下半分支网络，包括空间注意力机制网络和残差通道注意力机制网络；空间注意力机制网络的输入为低分辨率图像，输出的特征向量为残差通道注意力机制网络的输入；下半分支网络先用空间注意力机制结合3D脸部结构先验与特征向量，再使用残差通道注意力机制来在特征通道中挖掘最有用的信息；通过损失函数迭代训练下半分支网络；（5）将待恢复的低分辨率图像输入步骤（2）~（4）训练好的人脸超分辨模型中，得到对应的高分辨率图像。2.如权利要求1所述结合3D脸部结构先验的人脸超分辨方法，其特征在于，所述3D脸部信息包括身份、表情、纹理、亮度和脸部姿态特征。3.如权利要求1所述结合3D脸部结构先验的人脸超分辨方法，其特征在于，步骤（2）中，所述3D脸部信息参照Morphable模型重建成脸部渲染结构。4.如权利要求1所述结合3D脸部结构先验的人脸超分辨方法，其特征在于，步骤（2）中的损失函数l
r<...

【专利技术属性】
技术研发人员：朱世强，李特，操晓春，胡晓彬，沈若邻，任文琦，
申请(专利权)人：之江实验室，
类型：发明
国别省市：