基于辅助边缘的图像超分辨率方法技术

本发明专利技术公开了一种基于辅助边缘的图像超分辨率方法。该方法中包括边缘重建子网络、图像重建子网络以及基于像素注意力机制的边缘融合模块。主要步骤是：(1)选择公开图像数据集并下采样得到低分辨率图像；(2)利用边缘提取算法计算高分辨率图像对应的边缘；(3)图像重建子网络从低分辨率图像中提取特征，重建初始高分辨率图像；(4)边缘重建子网络以图像重建子网络的低级特征作为输入，重建初始边缘图像；(5)边缘融合模块以初始高分辨率图像和边缘图像作为输入，融合边缘信息，对初始高分辨率图像进行优化，得到最终的高分辨率图像。本发明专利技术能够高效利用边缘信息，抑制边缘处模糊，实现高质量的超分辨率重建。实现高质量的超分辨率重建。实现高质量的超分辨率重建。

【技术实现步骤摘要】
基于辅助边缘的图像超分辨率方法

：
[0001]本专利技术属于计算机视觉中图像超分辨率的领域，具体涉及一种基于辅助边缘的图像超分辨率方法。

技术介绍
：
[0002]在图像的各个参数中,分辨率对图像的质量有着至关重要的影响。分辨率比较低的图像包含较少的数据,图像中就会丢失大量感兴趣的细节信息,造成不良的视觉体验。获取高分辨率图像最直接的方法是利用高分辨率相机等先进的硬件设备。然而这些先进高分辨率相机往往价格较为高昂,使得系统实现成本较高。除此之外,从更换先进硬件设备的角度来提高图像的分辨率,在物理上存在限制,不够灵活,难以满足不同分辨率的要求。图像超分辨率技术能够在不改变现有硬件情况下从退化的低分辨率图像中重建相应的高分辨率图像,相比于直接改善硬件设备,更加灵活方便。另外,改善硬件设备仅能保证当前获取的图像较高的分辨率,对于已有的低分辨率图像,是无法通过高分辨率相机提高分辨率的。
[0003]然而许多图像超分辨率重建方法,直接从整体考虑高分辨率图像的重建问题。在处理时,实际并未考虑具体的像素点的区域特征,如像素点是否属于边缘。对于图像中所有的像素点不加区分的重建,容易造成边缘过于平滑。一些方法从空间域的角度,显式重建边缘信息,对图像边缘进行增强。这些利用图像边缘的方法要么是直接构建一个平行的边缘提取网络从低分辨率图像中构造高分辨率图像对应的边缘图,要么从重建得到的超分辨率图像中获取边缘特征。这些方法忽略了在图像超分辨率重建环节中提取到的低级特征,这些低级特征必然是和边缘提取任务中提取的低级特征是重叠的。也就是说,这些方法没有有效利用超分辨率重建网络中的特征信息,导致了一定程度上的资源浪费。其次,在这些显式利用边缘信息的图像超分辨率网络中存在一个特征融合模块,用于融合重建得到的高分辨率图像和边缘图像。在这一部分的设计中,一些方法级联残差结构形成一个较为复杂的后处理模块,一些方法仅简单的进行相加操作,无法高效的进行融合。

技术实现思路
：
[0004]为解决上述问题，本专利技术采用以下技术方案：
[0005]基于辅助边缘的图像超分辨率方法，该方法包括如下步骤：
[0006]S1.选择公开图像数据集作为真值，以双线性插值算法对高分辨率图像下采样得到对应的低分辨率图像；
[0007]S2.根据步骤S1中得到的高分辨率图像，利用边缘提取算法计算对应的边缘图像；
[0008]S3.随机选择步骤S1中低分辨率图像H
×
W的区域进行裁剪，在对应高分辨率图像和步骤S2中的边缘图像上裁剪sH
×
sW大小的图像块，其中s表示缩放因子；
[0009]S4.将步骤S3中裁剪得到的低分辨率图像块和高分辨率图像块、边缘图像块对应，得到训练数据集；
[0010]S5.图像重建子网络从低分辨率图像块中提取特征,重建初始高分辨率图像SR；
[0011]S6.设计边缘重建子网络
[0012]6.1：设计边缘重建模块
[0013]边缘重建模块由多个标准卷积层、反卷积层串联组成。每个标准卷积后紧接一个Relu激活函数，用于提升网络的非线性拟合能力。反卷积层的数量N根据缩放因子动态决定，计算公式为：
[0014][0015]6.2:设计边缘处理模块
[0016]边缘处理模块首先利用拼接操作把每一个边缘重建模块的输出组合到一起，然后利用1
×
1的标准卷积进行降维，得到仅含有一个通道的边缘图像。
[0017]S7：设计边缘融合模块
[0018]7.1：设计基于像素注意力机制的增强模块
[0019]该模块中包含三个像素注意力模块。每个像素注意力模块含有三路分支。第一路分支使用大小为1
×
1的卷积核对输入特征压缩，然后利用Sigmoid函数计算每个空间位置的权重值W。第二路分支使用一个大小为3
×
3的卷积核从输入数据中提取特征，输出结果与第一路分支中的输出数据相乘。第三路分支直接输出输入数据并与第二路分支输出结果相加。
[0020]7.2：设计边缘融合模块
[0021]边缘融合模块首先设置两个标准卷积，卷积步长为2。每个标准卷积后设置一个基于像素注意力机制的增强模块。然后使用两个反卷积恢复特征的空间分辨率，每个反卷积前设置一个基于像素注意力机制的增强模块。第一个反卷积的输出结果会再次与第一个标准卷积的输出求和，作为下一卷积的输入。
[0022]S8.设置损失函数并训练网络得到映射模型。
[0023]作为本专利技术的进一步改进，所述的基于辅助边缘的图像超分辨率方法，步骤S1中首先对高分辨率图像加入高斯噪声等，然后再下采样，以模拟实际环境。
[0024]作为本专利技术的进一步改进，所述的基于辅助边缘的图像超分辨率方法，步骤S2中以高分辨率图像及对应边缘图像作为真值。
[0025]作为本专利技术的进一步改进，所述的基于辅助边缘的图像超分辨率方法，步骤S5中仅有图像重建子网络从输入图像中提取特征，边缘重建子网络以图像重建子网络的部分低级特征作为输入。
[0026]作为本专利技术的进一步改进，所述的基于辅助边缘的图像超分辨率方法，步骤6.1中,标准卷积的卷积核尺寸为3
×
3，卷积步长为1。反卷积数量根据缩放因子动态调整。
[0027]作为本专利技术的进一步改进，所述的基于辅助边缘的图像超分辨率方法，步骤7.2中,每个卷积串联基于像素注意力机制的增强模块，每个基于像素注意力机制的增强模块中包含三个串联的像素注意力模块。
[0028]作为本专利技术的进一步改进，所述的基于辅助边缘的图像超分辨率方法，步骤S8中,损失函数由l1损失函数、Charbonnier损失函数和边缘注意损失函数联合构成，权重值依次为0.2、1、0.5。
[0029]有益效果：
[0030]本专利技术针对已有的基于显式边缘的图像超分辨率网络中存在的低级特征无法充
分利用，网络效率低以及对于重建得到的边缘无法高效融合的问题，提出了基于辅助边缘的图像超分辨率方法。本专利技术显式利用边缘信息，对图像边缘进行增强。整体将图像超分辨率重建分为图像超分辨重建子网络、边缘重建子网络以及边缘融合模块三部分。在边缘重建子网络中,输入数据来自于图像重建子网络,避免单纯的并行结构难以有效利用低级特征以及串行结构从高分辨率图像重建边缘图导致的计算量较大的问题。对于边缘信息和高分辨率图像的融合,本专利技术结合图像去模糊的相关知识,设计了结合像素注意力机制的编解码优化模块,用以提升最终的重建质量。在网络训练中，本专利技术使用基于l1损失函数、Charbonnier损失函数和边缘注意损失函数的联合损失函数，强调边缘像素的空间特性。
附图说明
[0031]图1是专利技术的整个系统的框架示意图。
[0032]图2是边缘重建子网络示意图。
[0033]图3是边缘融合模块示意图。
[0034]图4是部分高分辨率图像与其对应的边缘图像，其中，左列图为高分辨率图像，右列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于辅助边缘的图像超分辨率方法，其特征在于，包括以下步骤：S1.选择公开图像数据集作为真值，以双线性插值算法对高分辨率图像下采样得到对应的低分辨率图像；S2.根据步骤S1中得到的高分辨率图像，利用边缘提取算法计算对应的边缘图像；S3.随机选择步骤S1中低分辨率图像H
×
W的区域进行裁剪，在对应高分辨率图像和步骤S2中的边缘图像上裁剪sH
×
sW大小的图像块，其中s表示缩放因子；S4.将步骤S3中裁剪得到的低分辨率图像块和高分辨率图像块、边缘图像块对应，得到训练数据集；S5.图像重建子网络从低分辨率图像块中提取特征,重建初始高分辨率图像SR；S6.设计边缘重建子网络6.1：设计边缘重建模块边缘重建模块由多个标准卷积层、反卷积层串联组成；每个标准卷积后紧接一个Relu激活函数，用于提升网络的非线性拟合能力；反卷积层的数量N根据缩放因子动态决定，计算公式为：6.2:设计边缘处理模块边缘处理模块首先利用拼接操作把每一个边缘重建模块的输出组合到一起，然后利用1
×
1的标准卷积进行降维，得到仅含有一个通道的边缘图像；S7：设计边缘融合模块7.1：设计基于像素注意力机制的增强模块该模块中包含三个像素注意力模块；每个像素注意力模块含有三路分支；第一路分支使用大小为1
×
1的卷积核对输入特征压缩，然后利用Sigmoid函数计算每个空间位置的权重值W；第二路分支使用一个大小为3
×
3的卷积核从输入数据中提取特征，输出结果与第一路分支中的输出数据相乘；第三路分支直...

【专利技术属性】
技术研发人员：盖绍彦，陈文龙，达飞鹏，
申请(专利权)人：东南大学，
类型：发明
国别省市：