一种基于多尺度注意力残差和等变映射的人脸超分辨率方法技术

本发明专利技术公开了一种基于多尺度注意力残差和等变映射的人脸超分辨率方法，首先通过卷积层提取低分辨率人脸侧面图像的浅层特征；然后，将浅层特征输入特征提取子网，经过n个多尺度注意力残差模块，获得深层特征；进一步将获取的深层特征输入到残差等变映射模块，在深层表征特征空间中将深层特征和融合偏航系数的残差特征结合，将侧面人脸的特征向量变换到与正面人脸相同的特征向量空间；最后经过重建模块，获得高分辨率的人脸正面图像。本发明专利技术适用于人脸识别，不再过度依赖大量的正脸侧脸数据对，对于输入的低分辨率的侧脸图像可以重建出清晰度高、纹理更真实的正脸图像。纹理更真实的正脸图像。纹理更真实的正脸图像。

【技术实现步骤摘要】
一种基于多尺度注意力残差和等变映射的人脸超分辨率方法


[0001]本专利技术属于图像处理和计算机视觉领域，涉及人脸图像的超分辨率重构方法，尤其涉及一种基于多尺度注意力残差和等变映射的人脸超分辨率方法。

技术介绍

[0002]由于深度学习的出现，人脸识别取得了非凡的成功。然而，许多现有的人脸识别模型在处理侧面脸图像时，相对于处理正面脸图像，仍然表现得相对较差。并且在实际应用中，获得的人脸图像分辨率都比较低，即使转化成正脸，图像的效果也是比较差。
[0003]为了解决上述问题，本专利技术提出了一种基于多尺度注意力残差和等变映射的人脸超分辨率方法，以实现将低分辨率的侧脸图像超分辨率重构为高分辨率的正脸图像。

技术实现思路

[0004]本专利技术用于解决现阶段图像超分辨率重构方法只能单纯地将图像超分辨率重构为高分辨率图像，而不能实现图像从正脸到侧脸的角度转换问题。为了解决上述问题，本专利技术提供了一种基于多尺度注意力残差和等变映射的人脸超分辨率方法。本方法采用不同尺度的卷积核和增加注意力的方法提取图像的特征，并用一个残差等变映射模块处理重构特征，可以将侧面人脸图像的特征向量变换到与正面人脸图像相同的特征向量空间中，最后再经过重建模块，获得高分辨率的人脸正脸图像。具体包括以下步骤：
[0005]1)将低分辨率人脸侧脸图像I
LR
作为网络的输入，对I
LR
进行卷积操作，提取浅层特征M0；
[0006]2)将浅层特征M0作为由n个多尺度注意力残差模块构成的特征提取子网的输入，然后分别将子网中每个模块输出的特征经过特征融合层进行融合，得到深层特征M
c
；
[0007]3)将融合后的深层特征M
c
通过一个全连接层，得到特征M
d
；
[0008]4)将特征M
d
输入到残差等变映射模块，经过两个全连接层后得到的特征M
g
；同时，角度估计模块提取输入的低分辨率侧脸图像的21个关键点，得到人脸角度的偏航系数Y，将偏航系数Y和M
g
相乘，最后加上输入的特征M
d
，得到最终变换后的特征M
f
；
[0009]5)将变换后的特征向量M
f
输入重建模块，获得最终重建后的高分辨率正脸图像I
SR
。
[0010]作为进一步的优选方式，步骤2)所述的特征提取子网具体为：
[0011]2.1)特征提取子网由n个多尺度注意力残差模块组成，每个多尺度注意力残差模块由多尺度残差模块和注意力模块两部分组成。
[0012]对于第i个多尺度注意力残差模块，其输入特征为前一个多尺度注意力残差模块的输出M
i
‑1，输出的特征为M
i
；
[0013]2.1.1)所述的多尺度残差模块是由两个3*3的卷积、两个5*5的卷积和一个1*1的卷积构成，输入的特征分别经过3*3的卷积核和5*5的卷积核，生成特征为F1和P1，把这两个卷积核的输出结果concat起来，作为下一个3*3卷积核和5*5卷积核的输入，生成的特征为
F2和P2，然后再把F2和P2concat起来，作为1*1卷积核的输入，生成的特征为S1。不同大小的卷积核提取的特征不同，所以在同一个网络中使用两种卷积核，那么不同的特征就能够在一个网络中得到，进而实现图像更高分辨率的要求。因为做了两次concat操作，所以特征图的通道数变成了原来的四倍，为了实现残差操作所以在后边加了一个1*1的卷积核，将特征图的通道数进行了压缩。
[0014]2.1.2)所述的注意力模块主要是通过使用二阶特征统计量进行更具区分度的表示来自适应地缩放通道级别的特征。首先计算输入特征的协方差矩阵，然后将协方差矩阵进行特征值分解，最后将协方差归一化，转化为特征值的1/2次幂。这样便得到了归一化的协方差矩阵a，这个归一化的协方差矩阵就代表了不同通道特征的相关性。最后将归一化的协方差矩阵的每层进行全局平均池化操作得到每层的通道描述子，具体表示如下：
[0015]Z＝H
GCP
(a)
[0016]其中，H
GCP
()表示示全局平均池化操作。
[0017]得到每层的通道描述子后，再通过gating function得到最终的权重W，具体表示如下：
[0018]W＝f(W
U
·
r(W
D
·
Z))
[0019]其中，W
U
，W
D
为卷积层的权重，f,r别表示Sigmoid函数和Relu函数。
[0020]最后，输入的特征S1与权重W相乘，得到最后加权的特征S2＝W*S1。
[0021]2.1.3)最后将注意力模块的输出特征S2和第i个多尺度注意力残差模块的输入M
i
‑1相加，得到最终的输出特征M
i
＝M
i
‑1+S2。
[0022]2.2)最后将所有的多尺度注意力残差模块的输出进行融合，具体表示如下：
[0023]M
c
＝concat(M0,M1.....M
n
)
[0024]其中，concat()表示特征融合操作，M
i
,i＝1,2,...,n表示每个多尺度注意力残差模块输出的特征。
[0025]作为进一步的优选方式，步骤3)具体为：
[0026]3.1)在特征提取子网和残差等变映射模块中间添加一个全连接层的目的是：使得特征提取子网更加适合后边的人脸转化任务。
[0027]作为进一步的优选方式，步骤4)所述的残差等变映射模块，具体为：
[0028]4.1)首先，残差等变映射模块的输入特征M
d
通过两个全连接层得到特征M
g
；
[0029]4.2)偏航系数Y是通过角度估计模块得到的，首先提取输入的低分辨率侧脸图像的21个关键点，然后使用EPnP算法估计初始解来拟合模型得到偏转角，最后通过sigmoid函数将角度映射到[0,1]之间得到偏航系数Y,将偏航系数Y和特征M
g
相乘,并将相乘结果与M
d
相加，即得到变换后的特征M
f
。
[0030]作为进一步的优选方式，步骤5)所述的重建模块具体表示如下：
[0031]5.1)重建模块由两个卷积层和一个亚像素卷积层构成；
[0032]首先使用一个卷积核为3的卷积层对处理后的特征M
f
进行重新排列，得到特征M
k
：
[0033]M
k
＝Conv
3*3
(M
f
)
[0034]其中，Conv
3*3
()表示卷积核为3的卷积操作；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度注意力残差和等变映射的人脸超分辨率方法，其特征在于，包括以下步骤：步骤1)将低分辨率人脸侧面图像I
LR
作为网络的输入，对I
LR
进行卷积操作，提取浅层特征M0；步骤2)将浅层特征M0作为由n个多尺度注意力残差模块构成的特征提取子网的输入，然后将特征提取子网中每个多尺度注意力残差模块输出的特征进行融合，得到深层特征M
c
；步骤3)将融合后的特征M
c
通过一个全连接层，得到特征M
d
；步骤4)将特征M
d
输入到残差等变映射模块，经过两个全连接层后得到的特征M
g
；角度估计模块提取输入的低分辨率侧脸图像的21个关键点，得到人脸角度的偏航系数Y，将偏航系数Y和M
g
相乘，最后加上输入的特征M
d
，得到最终变换后的特征M
f
：M
f
＝Y*M
g
+M
d
步骤5)将变换后的特征向量M
f
输入重建模块，获得最终重建后的高分辨率正脸图像I
SR
。2.根据权利要求1所述的基于多尺度注意力残差和等变映射的人脸超分辨率方法，其特征在于：步骤2所述的特征提取子网由n个多尺度注意力残差模块组成，其中，第i个多尺度注意力残差模块的输入为前一个多尺度注意力残差模块的输出M
i
‑1，输出的特征为M
i
；每个多尺度注意力残差模块由多尺度残差模块和注意力模块两部分组成；2.1)所述的多尺度残差模块是由两个3*3的卷积、两个5*5的卷积和一个1*1的卷积构成，输入的特征分别经过3*3的卷积核和5*5的卷积核，把这两个卷积核的输出结果concat起来，作为下一个3*3卷积核和5*5卷积核的输入，然后再把他们输出的结果concat起来，作为1*1卷积核的输入；为实现残差操作所以在后边加了一个1*1的卷积核，将特征图的通道数进行压缩；2.2)所述的注意力模块主要是通过使用二阶特征统计量进行更具区分度的表示来自适应地缩放通道级别的特征；首先计算输入特征的协方差矩阵，然后将协方差矩阵进行特征值分解，最后将协方差归一化，转化为特征值的1/2次幂；这样便得到了归一化的协方差矩阵a，这个归一化的协方差矩阵就代表不同通道特征的相关性；最后将归一化的协方差矩阵的每层进行全局平均池化操作得到每层的通道描述子，具体表示如下：Z＝H
GCP
(a)其中，H
GCP
()表示示全局平均池化操作；得到每层的通道描述子后，再通过gating function得到最终的权重W，具体表示如下：W＝f(W
U

【专利技术属性】
技术研发人员：付利华，张博，闫绍兴，王丹，王俊翔，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：