一种极端退化人脸图像超分辨率恢复系统和方法技术方案

本发明专利技术公开了一种极端退化人脸图像超分辨率恢复系统和方法，包括面部先验提取模块、浅层特征提取模块、注意力引导的Transformer模块和图像重建模块；面部先验提取模块用于获取低分辨率人脸图像特征图；浅层特征提取模块用于提取到低频信息；注意力引导的Transformer模块用于提取高频信息并融合高频信息和低频信息；图像重建模块生成超分辨率人脸图像。本发明专利技术能够基于面部先验和注意力引导，利用面部先验信息来提高人脸图像恢复质量。量。量。

【技术实现步骤摘要】
一种极端退化人脸图像超分辨率恢复系统和方法


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于面部先验和注意力引导的极端退化人脸图像超分辨率恢复系统和方法。

技术介绍

[0002]人脸图像超分辨率恢复(FSR)是一种针对特定领域的图像超分辨率问题，是指从低分辨率(LR)人脸图像中恢复出高分辨率(HR)人脸图像的技术。由于人脸在人类身份验证中的重要性，使用FSR技术恢复高质量的人脸图像在过去几十年中引起了广泛关注。
[0003]现有的FSR包括最早的基于高斯图像金字塔的多级预测模型、马尔可夫随机场(MRF)模型、利用全局人脸统计模型、基于局部补丁的人脸超分辨率模型、混合人脸超分辨率等方法，以对LR人脸图像进行超分辨率恢复。但是在现实场景中，由于物理成像系统和成像条件的限制，采集到的人脸图像通常含有严重的噪声和较低的图像分辨率。这严重影响了上述从LR人脸图像中恢复HR图像质量的方法。
[0004]为了解决这些极端退化场景中的超分辨率恢复问题，出现了一种基于重新表达技术的图像同质化策略。即在LR空间和HR空间中提出了均匀投影作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种极端退化人脸图像超分辨率恢复系统，其特征在于：包括面部先验提取模块、浅层特征提取模块、注意力引导的Transformer模块和图像重建模块；其中，面部先验提取模块，用于根据输入的原始低分辨率人脸图像得到对应的人脸图像局部特征的初始灰度注意力图；然后将原始低分辨率人脸图像与初始灰度注意力图相乘得到最终灰度注意力图，再将原始低分辨率人脸图像与最终灰度注意力图堆叠，得到低分辨率人脸图像特征图，并输入至浅层特征提取模块；浅层特征提取模块，用于对低分辨率人脸图像特征图，通过卷积层进行人脸特征初始信息提取，并将得到的人脸特征初始信息输入至注意力引导的Transformer模块；人脸特征初始信息包括由浅层特征提取模块提取到的低频信息；注意力引导的Transformer模块，用于对输入的人脸特征初始信息进行高频信息提取，并将得到的高频信息和人脸特征初始信息中的低频信息进行残差连接，得到已融合高频信息和低频信息的人脸特征融合信息；并将人脸特征融合信息发送至图像重建模块；图像重建模块，用于根据输入的人脸特征融合信息，生成超分辨率人脸图像。2.根据权利要求1所述的极端退化人脸图像超分辨率恢复系统，其特征在于：所述的人脸图像局部特征包括人脸图像的皮肤、头发和面部其他部位特征三个特征。3.根据权利要求1所述的极端退化人脸图像超分辨率恢复系统，其特征在于：所述的面部先验提取模块包括面部语义分割网络和时空池化层；面部语义分割网络用于根据输入的原始低分辨率人脸图像数据，生成对应人脸图像的皮肤掩码图像、头发掩码图像和面部其他部位掩码图像；时空池化层用于对生成的皮肤掩码图像、头发掩码图像和面部其他部位掩码图像，通过提供平滑来抑制分割错误，最终得到对应的人脸图像的皮肤、头发和面部其他部位的三张初始灰度注意力图。4.根据权利要求3所述的极端退化人脸图像超分辨率恢复系统，其特征在于：所述的面部语义分割网络包括上下文分支网络和时空分支网络；上下文分支网络用于对上下文中的人脸图像语义信息进行编码；时空分支网络用于对人脸图像信息中的空间信息和细节信息进行编码；面部语义分割网络包含主损失函数l
p
和辅助损失函数l
i
；面部语义分割网络的联合损失函数L(X；W)为：其中，l
p
(X；W)为上下文分支网络和时空分支网络网络拼接后的损失函数，X表示拼接后的输出特征，W为更新参数，α为用于平衡主损失函数l
p
和辅助损失函数l
i
的权重，K＝2表示两个分支网络，X
i
代表第i个分支网络的输出特征。5.根据权利要求1所述的极端退化人脸图像超分辨率恢复系统，其特征在于：所述的注意力引导的Transformer模块，由多个PCAT块和第一卷积层组成，每个PCAT块均由两个分支组成，第一分支由多个STL层和第二卷积层组成，用于对人脸整体区域进行高频特征的提取；第二分支由像素注意力模块和通道注意力模块组成，用于对人脸局部特定区域高频特征的提取；第一分支和第二分支的输出以残差方式连接；设给定第i个PCAT块的输入特征F
i,0
，通过N个STL层提取中间特征F
i,1
,F
i,2
,F
i,3,
…
F
i,N
，PCAT块的输出由以下公式表示：
其中，表示为第i个PCAT块中的第j个STL层。6.根据权利要求5所述的极端退化人脸图像超分辨率恢复系统，其特征在于：所述的通道注意力模块包括平行的偏差池化层和平均池化层，偏差池化层和平均池化层的输出根据不同的权重连接后，依次进入激活函数不同的两个卷积网络，最后一个卷积网络的输出信息与初始输入信息再次进行残差连接后，输出最终的脸部通道注意力信息；通道注意力模块的输出M
i
表示为：其中，和分别表示ReLU激活函数和Sigmoid激活函数，w1为权重，AvgPool(
·
)表示平均池化，F
pai
表示来自像素注意模块的特征信息，Devpool(
·
)表示偏差池化；所述的像素注意力模块，采用Kernel size为1且激活函数为ReLU的卷积层，像素注意力模块的输出M
j
表示为：其中，表示ReLU激活函数，Conv(
·
)表示Kernel siz...

【专利技术属性】
技术研发人员：朱小柯，胡继辉，陈小潘，厉丹阳，
申请(专利权)人：河南大学，
类型：发明
国别省市：