一种基于识别特征保持的超分辨率重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于识别特征保持的超分辨率重建方法及装置。该方法包括：将低分辨率图像输入基于空间注意力机制构建的生成器中得到超分辨率重建图像；将带有类别标签的高分辨率图像，输入到特征网络进行预训练；分别将高分辨率图像和超分辨率重建图像输入特征提取网络中，提取特征并计算特征损失和分类损失，分别计算生成器的损失和判别器的损失；根据特征损失、分类损失和生成器的损失得到总损失，并根据总损失训练生成器，得到训练完成的重建网络模型；将目标低分辨率图像输入到重建网络模型中得到重建的目标超分辨率图像。实现了构建更为精准的重建网络，增强对图像中目标的重建效果。的重建效果。的重建效果。

【技术实现步骤摘要】
一种基于识别特征保持的超分辨率重建方法及装置


[0001]本专利技术属于图像处理
，更具体地，涉及一种基于识别特征保持的超分辨率重建方法及装置。

技术介绍

[0002]近年来，随着深度学习领域的快速发展，图像识别技术广泛应用于安全监控、医学诊断辅助、灾害监测等领域。图像是一种信息的载体，一般情况下，图像所承载的信息多于文字或者音频。图像的质量越高，其承载的信息越多。然而，图像采集过程中会受到各种客观因素的影响，如网络延迟、雨雪环境、镜头抖动等，获取的图像往往会产生一定程度的退化，对后续的图像处理造成不利影响。针对这种问题，通常有两种解决方案：1)优化图像采集过程，使用更高性能的设备、在环境好时进行采集、提高网络带宽等，但是这种方案成本高昂并且高度依赖于技术的发展和环境的改变，有很高的不确定性；2)提高图像质量，可以使用去模糊、超分辨率等算法，对退化图像进行重建，从而增强图像承载的信息，这种方法不仅可以避免升级硬件而产生的高昂成本，而且可以搭载到各种平台上，具有广泛的适用性。
[0003]图像分辨率是一种用于评价图像中承载信息丰富程度的参数，相较于低分辨率(Low Resolution,LR)图像，高分辨率(High Resolution,HR)图像通常包含更丰富的细节信息和更高的可信度。图像超分辨率重建(Super
‑
Resolution Image Reconstruction,SRIR)可以对LR图像进行重建，获得相应的SR图像，目前在计算机视觉方面已经得到了较多的研究，并被用于解决实际问题。例如，在公共安防领域，超分辨率重建可以恢复出车牌、人脸等信息，方便后续识别。图像超分辨率重建过程是一种不适定问题，对于同一张LR图像，根据损失函数和评价指标的不同设置，可以重建出多个不同的SR图像。
[0004]在目前的研究中，单帧图像超分辨率(Single Image Super
‑
Resolution，SISR)算法中，通常针对峰值信噪比(Peak Signal
‑
to
‑
Noise Ratio,PSNR)和结构相似性(Structural Similarity Index,SSIM)这两个评价指标，致力于SR图像和HR图像在像素域上的相似和视觉效果的优化，而在识别过程中，常用的神经网络识别算法根据提取的特征对目标进行分类，因此，在面向图像识别过程时，存在面向识别任务的退化图像如何根据图像识别特征进行重建的问题。

技术实现思路

[0005]针对相关技术的缺陷，本专利技术的目的在于提供一种基于识别特征保持的超分辨率重建方法及装置，旨在解决在重建面向识别任务的退化图像时，如何对图像识别特征进行重建的问题。
[0006]为实现上述目的，第一方面，本专利技术提供了一种基于识别特征保持的超分辨率重建方法，包括：
[0007]将低分辨率图像输入基于空间注意力机制构建的生成器中得到超分辨率重建图
像；
[0008]将带有类别标签的高分辨率图像输入到识别网络中进行预训练，得到特征提取网络；
[0009]分别将所述高分辨率图像和所述超分辨率重建图像输入所述特征提取网络中，提取特征并计算特征损失；
[0010]将提取的特征输入到特征提取网络的分类部分，计算分类损失；
[0011]将所述高分辨率图像和所述超分辨率重建图像分别输入到判别器中计算生成器的损失；
[0012]根据所述特征损失、所述分类损失和所述生成器的损失得到总损失，并根据所述总损失训练所述生成器，得到目标生成器；
[0013]将目标低分辨率图像输入到所述目标生成器中得到重建的目标超分辨率图像。
[0014]可选的，所述将低分辨率图像输入基于空间注意力机制构建的生成器中得到超分辨率重建图像，包括：
[0015]将所述低分辨率图像输入所述生成器，经过特征提取部分得到初始特征图；
[0016]将所述初始特征图像输入所述生成器中的注意力模块，分别经过平均值池化和最大值池化，对所述特征图像的通道进行压缩，再将得到的两个1通道特征图合并为一个2通道特征图，然后再通过一个n*n的卷积核，得到空间注意力权重；
[0017]所述生成器中的重建部分根据所述空间注意力权重改变所述初始特征图中特征的重要性，重建超分辨率图像。
[0018]可选的，所述特征损失计算使用L1损失计算方法，计算公式为：
[0019][0020]上式中，I
HR
(x,y)表示高分辨率图像HR，I
SR
(x,y)表示超分辨率重建图像SR，M
VGG
‑
F
(I
HR
(x,y))为将HR图像输入特征提取网络后得到的HR特征图，M
VGG
‑
F
(I
SR
(x,y))为将SR图像输入特征提取网络后得到的SR特征图。
[0021]可选的，所述分类损失计算使用交叉熵损失计算方法，计算公式为：
[0022][0023]其中，N为图像类别总量，为HR图像的分类结果，为SR图像的分类结果。
[0024]可选的，所述判别器的损失为对抗损失；所述生成器的损失包括内容损失、感知损失和生成损失；
[0025]所述内容损失的计算通过计算超分辨率重建图像和相对应的高分辨率图像之间逐像素差的绝对值得到，计算方法如下：
[0026][0027]其中，G为生成器，x
i
为低分辨率图像LR，G(x
i
)指代生成器重建得到的超分辨率重建图像SR，y为对应的高分辨率图像HR；
[0028]所述感知损失的计算通过使用激活前的识别网络分别提取SR图像和对应的HR图
像特征，对SR图像特征图和对应的HR图像特征图逐点求欧式距离之和，再求该平方和的均值得到；其计算公式如下：
[0029][0030]其中，W
i,j
为特征图的宽，H
i,j
为特征图的高，φ
i,j
(I
HR
)
x,y
为HR图像在φ
i,j
的(x,y)位置的特征点值，φ
i,j
(G(I
LR
))
x,y
为SR图像在φ
i,j
的(x,y)位置的特征点值；
[0031]所述生成损失的计算公式为：
[0032][0033]其中，x
r
代表HR图像，x
f
代表低分辨率图像LR经生成器作用产生的超分辨率重建图像SR，D
Ra
(a,b)为取差值运算。
[0034]可选的，所述总损失为：
[0035][0036]其中α、β、γ和δ均为常数；L
percep
表示感知损失，为生成损失，L
cont
表示内容损失，L...

【技术保护点】

【技术特征摘要】
1.一种基于识别特征保持的超分辨率重建方法，其特征在于，包括：将低分辨率图像输入基于空间注意力机制构建的生成器中得到超分辨率重建图像；将带有类别标签的高分辨率图像输入到识别网络中进行预训练，得到特征提取网络；分别将所述高分辨率图像和所述超分辨率重建图像输入所述特征提取网络中，提取特征并计算特征损失；将提取的特征输入到特征提取网络的分类部分，计算分类损失；将所述高分辨率图像和所述超分辨率重建图像分别输入到判别器中计算生成器的损失；根据所述特征损失、所述分类损失和所述生成器的损失得到总损失，并根据所述总损失训练所述生成器，得到目标生成器；将目标低分辨率图像输入到所述目标生成器中得到重建的目标超分辨率图像。2.如权利要求1所述的方法，其特征在于，所述将低分辨率图像输入基于空间注意力机制构建的生成器中得到超分辨率重建图像，包括：将所述低分辨率图像输入所述生成器，经过特征提取部分得到初始特征图；将所述初始特征图像输入所述生成器中的注意力模块，分别经过平均值池化和最大值池化，对所述特征图像的通道进行压缩，再将得到的两个1通道特征图合并为一个2通道特征图，然后再通过一个n*n的卷积核，得到空间注意力权重；所述生成器中的重建部分根据所述空间注意力权重改变所述初始特征图中特征的重要性，重建超分辨率图像。3.如权利要求1所述的方法，其特征在于，所述特征损失计算使用L1损失计算方法，计算公式为：上式中，I
HR
(x,y)表示高分辨率图像HR，I
SR
(x,y)表示超分辨率重建图像SR，M
VGG
‑
F
(I
HR
(x,y))为将HR图像输入特征提取网络后得到的HR特征图，M
VGG
‑
F
(I
SR
(x,y))为将SR图像输入特征提取网络后得到的SR特征图。4.如权利要求1所述的方法，其特征在于，所述分类损失计算使用交叉熵损失计算方法，计算公式为：其中，N为图像类别总量，为HR图像的分类结果，为SR图像的分类结果。5.如权利要求1所述的方法，其特征在于，所述判别器的损失为对抗损失；所述生成器的损失包括内容损失、感知损失和生成损失；所述内容损失的计算通过计算超分辨率重建图像和相对应的高分辨率图像之间逐像素差的绝对值得到，计算方法如下：
其中，G为生成器，x

【专利技术属性】
技术研发人员：胡静，吕思琪，张美琦，张怡强，钟卫卫，黄成阳，陈逸凡，石梓灿，朱晓晖，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：