残差增强的频率空间相互学习的人脸超分辨率方法技术

本申请公开了一种残差增强的频率空间相互学习的人脸超分辨率方法，涉及图像处理技术领域，从频率分支基于傅里叶变换，捕捉全局信息，空间分支基于空间域提取局部信息。在两个分支中引入倒残差模块，丰富特征提取；其次，在空间分支内引入空间注意力增强的残差模块，通过细粒度的注意力优化空间特征。在人脸图像重建阶段，引入具有远程跳跃连接的残差模块，充分利用低层和高层特征保证图像生成结果的准确性。最后将人脸图像重建阶段生成高分辨率人脸图像与高分辨率原始人脸图像通过损失函数计算损失，实现了对人脸超分辨率网络的优化，最终经过迭代优化后，使得人脸超分辨率网络可以生成细节丰富、视觉效果更好的高分辨率人脸图像。

【技术实现步骤摘要】

本申请涉及图像处理，具体涉及一种残差增强的频率空间相互学习的人脸超分辨率方法。

技术介绍

1、hr (high-resolution, 超分辨率人脸图像)，在转化过程中实现最小化附加视觉伪影，使重建后的高分辨率人脸图像达到客观指标和人眼感官的统一。近年来深度学习技术的发展也为超分辨率算法带来了较大的促进，目前已经应用于图片画质修复，视频画质修复，数字摄像头变焦补偿等问题，其中，针对人脸图像的超分辨率算法属于特定领域的应用，与之类似的还有文本、视频、医学影像的超分辨率等。

2、人脸图像的质量对人脸识别、表情分析、人脸编辑等诸多应用具有至关重要的意义。然而受拍摄设备和成像条件等限制，实际获得人脸图像往往存在分辨率低并且缺失人脸细节等问题．为提高人脸图像在下游应用的健壮性，一个专注于根据低分辨率人脸图像重构并恢复出高分辨率人脸图像的研究领域出现了，该领域通常被称作fsr（facialsuper-resolution, 人脸超分辨率）。早期提出的 fsr 算法主要是基于传统的机器学习和模式识别方法。近年来，深度学习成为 fsr 领域主流方法，并涌现出一本文档来自技高网...

【技术保护点】

1.一种残差增强的频率空间相互学习的人脸超分辨率方法，其特征在于，包括：

2.根据权利要求1所述的残差增强的频率空间相互学习的人脸超分辨率方法，其特征在于，所述对高分辨率原始人脸图像进行处理获得低分辨率人脸图像数据集，包括：将高分辨率原始人脸图像使用双三次插值下采样方法将数据处理后的原始人脸图像下采样到指定的不同分辨率，得到与高分辨人脸图像对应的低分辨率人脸图像作为数据集。

3.根据权利要求1所述的残差增强的频率空间相互学习的人脸超分辨率方法，其特征在于，所述从所述低分辨率人脸图像数据集中选取作为训练集的低分辨率人脸图像进行像素提升后获得高分辨率的插值图像并输入构...

【技术特征摘要】

1.一种残差增强的频率空间相互学习的人脸超分辨率方法，其特征在于，包括：

2.根据权利要求1所述的残差增强的频率空间相互学习的人脸超分辨率方法，其特征在于，所述对高分辨率原始人脸图像进行处理获得低分辨率人脸图像数据集，包括：将高分辨率原始人脸图像使用双三次插值下采样方法将数据处理后的原始人脸图像下采样到指定的不同分辨率，得到与高分辨人脸图像对应的低分辨率人脸图像作为数据集。

3.根据权利要求1所述的残差增强的频率空间相互学习的人脸超分辨率方法，其特征在于，所述从所述低分辨率人脸图像数据集中选取作为训练集的低分辨率人脸图像进行像素提升后获得高分辨率的插值图像并输入构建的人脸超分辨率网络进行特征提取获得空间域特征图和频域特征图，包括：

4.根据权利要求3所述的残差增强的频率空间相互学习的人脸超分辨率方法，其特征在于，所述将所述空间域特征图和频域特征图送入编码器层阶段一边下采样一边提取特征，包括：

5.根据权利要求4所述的残差增强的频率空间相互学习的人脸超分辨率方法，其特征在于，所述最后一个编码器层输出的特征再送入解码器阶段进行上采...

【专利技术属性】
技术研发人员：隋天宝，吕娜，王慧璇，彭京亮，
申请(专利权)人：济南大学，
类型：发明
国别省市：