基于分层多尺度残差融合网络的人脸超分辨率方法及装置制造方法及图纸

本发明专利技术公开了一种基于分层多尺度残差融合网络的人脸超分辨率方法及装置，属于人脸图像超分辨率领域，该方法包括：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将目标低分辨率图像进行分块操作，分出相互重叠的图像块后，使用瓶颈注意力模块提取精细的脸部特征图；将提取的精细脸部特征图发送到多尺度残差模块，多尺度残差模块内使用不同卷积层提取特征信息，使用交叉的方式实现特征信息共享，多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合，以更有效的提高SR性能；通过特征融合来更新目标低分辨率人脸图像的特征图以产生高分辨率结果。本发明专利技术所提出的网络优于其他最新的人脸图像超分辨率算法，能生成更高质量的人脸图像。

【技术实现步骤摘要】
基于分层多尺度残差融合网络的人脸超分辨率方法及装置
本专利技术属于人脸图像超分辨率
，更具体地，涉及一种基于分层多尺度残差融合网络的人脸超分辨率方法及装置。
技术介绍
人脸超分辨率(Super-Resolution，SR)是一种从输入的低分辨率(LowResolution，LR)人脸图像中推断出潜在的高分辨率(HighResolution，HR)图像的技术，可以显著增强LR人脸图像的细节信息。因此，它被广泛应用于人脸识别、刑事侦察、娱乐等领域。虽然人脸SR也被归类为自然图像SR，但是大多数基于深度学习SR方法的自然图像都不适合这种情况。由于人脸结构有许多不同于自然图像的先验知识，自然图像SR方法不能充分利用人脸图像唯一的先验信息，这使得人脸SR任务不同于一般的自然图像SR问题。近年来，人脸先验在现有的人脸SR算法中得到了广泛的应用。例如：Song提出了一种基于分量生成和增强学习的幻觉人脸图像算法(LearningtohallucinatefaceimagesviaComponentGenerationandEnhancement，本文档来自技高网...

【技术保护点】
1.一种基于分层多尺度残差融合网络的人脸超分辨率方法，其特征在于，包括：/nS1：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将所述目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块；/nS2：将所述相互重叠的图像块输入瓶颈注意力模块，使用所述瓶颈注意力模块提取精细的脸部特征图；/nS3：由多尺度残差模块对提取的精细脸部特征图进行处理，以由所述多尺度残差模块使用不同卷积层提取特征信息，使用信息共享的方式实现特征信息共享，在所述多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合；/nS4：将经过多尺度残差模块得到的人脸特征信息通过特征融合来更新所述目标低分辨率人脸图像的纹理特征图以...

【技术特征摘要】
1.一种基于分层多尺度残差融合网络的人脸超分辨率方法，其特征在于，包括：
S1：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将所述目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块；
S2：将所述相互重叠的图像块输入瓶颈注意力模块，使用所述瓶颈注意力模块提取精细的脸部特征图；
S3：由多尺度残差模块对提取的精细脸部特征图进行处理，以由所述多尺度残差模块使用不同卷积层提取特征信息，使用信息共享的方式实现特征信息共享，在所述多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合；
S4：将经过多尺度残差模块得到的人脸特征信息通过特征融合来更新所述目标低分辨率人脸图像的纹理特征图以产生高分辨率结果。


2.根据权利要求1所述的方法，其特征在于，所述瓶颈注意力模块包括以并联方式连接的通道注意力模块和空间注意力模块，在所述通道注意力模块和所述空间注意力模块之后为融合模块。


3.根据权利要求2所述的方法，其特征在于，步骤S2包括：
S2.1：将所述相互重叠的图像块输入卷积层，以生产粗糙的面部特征图像，将所述粗糙的面部特征图像同时发送到通道注意力模块和空间注意力模块，通过所述通道注意力模块得到通道注意力图，通过所述空间注意力模块得到空间注意力图；
S2.2：将所述通道注意力图和所述空间注意力图扩展到相同尺寸后，将扩展后的通道注意力图与空间注意力图并行融合，通过融合模块将提取的局部特征图与输入的全局特征图进行融合，生成精细的面部特征，所述局部特征图表示通道注意力图和空间注意力图融合后的特征图，全局特征图表示输入的相互重叠的图像块。


4.根据权利要求1至3任意一项所述的方法，其特征在于，所述多尺度残差模块包括三层子网络，不同的子网络使用不同的卷积内核。


5.根据权利要求4所述的方法，其特征在于，步骤S3包括：
S3.1：通过第一层子网络中的各不同卷积...

【专利技术属性】
技术研发人员：卢涛，王宇，张彦铎，吴云韬，陈灯，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：湖北;42