基于级联网络框架的图像超分辨率方法、级联网络技术

本发明专利技术涉及一种基于级联网络框架的图像超分辨率方法、级联网络，基于基础超分辨率网络，获取目标图像的初步上采样结果；基于细节精修网络，根据初步上采样结果，获取超分辨率图像结果。其两个网络级联，将面向峰值信噪比的任务和面向主观感受的任务分开，由两个模型分别处理，基础超分辨率网络首先完成初步的上采样，这个初步上采样的结果很大程度上和原始高分辨率图像保证了内容一致性，接下来将初步上采样的结果送入精修网络来进一步改善感官损失，精修网络有了初步上采样结果的输入保证了整个超分辨率结果不会过度牺牲内容一致性，并且在初步上采样结果上精修减轻了精修网络和判别器的训练难度加快了训练速度，有效地缓解了现有模型的问题。

【技术实现步骤摘要】
基于级联网络框架的图像超分辨率方法、级联网络
本专利技术属于图像超分辨率
，具体涉及一种基于级联网络框架的图像超分辨率方法、级联网络。
技术介绍
超分辨率是一种从观察到的低分辨率图像重建更高分辨率图像或序列的技术。由于光的衍射特性，成像系统中的感光元件往往无法获得低于可见光波长的细节，这样就限制了单个像素所能蕴含的细节信息，整体来看，一个可见光成像系统可以看作是一个具有一定频率阈值的低通滤波器，所有高于这个阈值的图像信息成像系统都无法有效地记录，超分辨率任务就是利用图像低频信息和高频信息之间的互补能力和相关性来预测频率阈值之上的高频信息。超分辨率重建的可行性建立在图像的信息冗余性和自相似性基础之上。按照输入图像的类型，超分辨率算法可以为多帧超分辨率和单帧超分辨率，如果可以获取具有子像素未对准的相同场景的多个图像，则可以利用它们之间的互补信息来重建更高分辨率的图像或图像序列。然而，由于客观因素限制，多个低分辨率图像有时可能无法同时获得，因此使用有限的分辨率信息来恢复高分辨率图像具有很高的应用价值，通过单个低分辨率图像恢复高分辨率图像的任务又称作做单帧超分辨。现有的面向感知度量的超分辨率模型主要通过对损失函数的改造来引入感知损失，这种方法往往存在两个问题：(1)感知损失与内容损失以及L2损失之间是加权相加的，具体的权值大小往往对超分辨率模型的重建效果起着至关重要的作用。在现有的方法中，这些权值大小都属于超参数需要人类进行手工调参，手工调参带来的是模型训练时间的加长和模型重建表现的不稳定性。(2)现有的通过对损失函数的改造来达到提升感知效果的方法往往在带来感知效果提升的同时降低了在客观指标上的表现，往往会生成一些感知效果很好但峰值信噪比并不高的图像。因此，如何使得图像超分辨率过程中，减小模型训练的时间，增强模型重建的稳定性，达到客观指标，成为现有技术中亟待解决的技术问题。
技术实现思路
为了至少解决现有技术存在的上述问题，本专利技术提供了一种基于级联网络框架的图像超分辨率方法、级联网络，以实现综合考虑主客观评价指标的级联网络框架，有效缓解图像超分辨率中模型训练时间长、过度平滑问题。本专利技术提供的技术方案如下：一方面，一种用于图像超分辨率的级联网络，包括：基础超分辨率网络、细节精修网络；所述细节精修网络与基础超分辨率网络级联；所述基础超分辨率网络，用于获取目标图像的初步上采样结果；所述细节精修网络，用于根据所述初步上采样结果，获取超分辨率图像结果。可选的，还包括：判别器网络；所述判别器网络，用于判别所述超分辨率图形结果与原始高分辨率图像的可信程度，根据所述可信程度进行学习，从而实现与所述细节精修网络的对抗式训练。可选的，所述细节精修网络，包括：特征提取器子网络、非线性映射子网络和重建子网络；所述特征提取器子网络，用于根据初步上采样结果，提取粗特征；所述非线性映射子网络，用于将所述粗特征，映射到具有高感知效果的特征空间，获取映射后的图像特征；所述重建子网络，用于根据所述映射后的图像特征，重建获取超分辨率图像。可选的，所述特征提取子网络，用于：从低分辨率图像Il中提取粗特征Fl；所述Fl的提取公式为：Fl＝H1(H0(Il))其中，Fl为提取出的粗特征，H1和H0分别为卷积层，Il代表输入的低分辨率图像。可选的，所述非线性映射子网络，用于基于密集连接的通道注意力模块，将特征提取器提取到的粗特征Fl映射到具有高感知效果的特征空间FP；所述FP的计算方式为：FP＝HDID(FL)其中，FP是经过映射后的图像特征；HDID是密集连接的通道注意力模块。可选的，所述HDID由k个密集连接的卷积组组成，对于不同的升分辨率倍数，k值不同；所述HDID的计算方式为：其中，代表密集连接的通道注意力模块中第K个卷积组，其中每一个卷积组的输入都是之前所有卷积组的输出和原始输入图像特征的结合。可选的，所述细节精修网络，用于：根据所述初步上采样结果，获取初步超分辨率图像；根据所述初步超分辨率图像与所述初步上采样结果相加并平均，获取所述超分辨率图像结果。可选的，所述判别器网络为相对判别器网络；所述相对判别器网络，用于接受精修网络输出的超分辨率结果和原始的高分辨率图像，并判断相较于原始高分辨率图片，生成图片的可信程度。可选的，所述相对判别器，用于：对真实高分辨率图像和超分辨率图像的联合判别结果，为：DRa(xr,xf)＝δ(C(xr)-E[C(xf)])→1DRa(xf,xr)＝δ(C(xf)-E[C(xr)])→0；其中，xr代表真实高分辨率图像，xf代表模型重建出的超分辨率图像，C为判别器网络，δ为Sigmod函数。又一方面，一种基于级联网络的图像超分辨率方法，包括：基于基础超分辨率网络，获取目标图像的初步上采样结果；基于细节精修网络，根据所述初步上采样结果，获取超分辨率图像结果。本专利技术的有益效果为：本专利技术实施例提供的一种基于级联网络框架的图像超分辨率方法、级联网络，基于基础超分辨率网络，获取目标图像的初步上采样结果；基于细节精修网络，根据初步上采样结果，获取超分辨率图像结果。其两个网络级联，将面向峰值信噪比的任务和面向主观感受的任务分开，由两个模型分别处理，基础超分辨率网络首先完成初步的上采样，这个初步上采样的结果很大程度上和原始高分辨率图像保证了内容一致性，接下来将初步上采样的结果送入精修网络来进一步改善感官损失，精修网络有了初步上采样结果的输入保证了整个超分辨率结果不会过度牺牲内容一致性，并且在初步上采样结果上精修减轻了精修网络和判别器的训练难度加快了训练速度，有效地缓解了现有模型的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种用于图像超分辨率的级联网络的结构示意图；图2为本专利技术实施例提供的一种细节精修网络的结构示意图；图3为Set14-Comic细节精修网络的效果比较示意图；图4为Set14-Face细节精修网络的效果比较示意图；图5为Set14-Coastguard不同策略效果对比示意图；图6为Texture-10视觉效果对比示意图；图7为Texture-13视觉效果对比示意图；图8为Texture-14视觉效果对比示意图；图9为Texture-22视觉效果对比示意图；图10为本专利技术实施例提供的一种基于级联网络的图像超分辨率方法流程示意图；图11为本专利技术实施例提供的一种基于级联网络的图像超分辨率设备的结构示意图。本文档来自技高网...

【技术保护点】
1.一种用于图像超分辨率的级联网络，其特征在于，包括：基础超分辨率网络、细节精修网络；所述细节精修网络与基础超分辨率网络级联；/n所述基础超分辨率网络，用于获取目标图像的初步上采样结果；/n所述细节精修网络，用于根据所述初步上采样结果，获取超分辨率图像结果。/n

【技术特征摘要】
1.一种用于图像超分辨率的级联网络，其特征在于，包括：基础超分辨率网络、细节精修网络；所述细节精修网络与基础超分辨率网络级联；
所述基础超分辨率网络，用于获取目标图像的初步上采样结果；
所述细节精修网络，用于根据所述初步上采样结果，获取超分辨率图像结果。


2.根据权利要求1所述的用于图像超分辨率的级联网络，其特征在于，还包括：判别器网络；所述判别器网络，用于判别所述超分辨率图形结果与原始高分辨率图像的可信程度，根据所述可信程度进行学习，从而实现与所述细节精修网络的对抗式训练。


3.根据权利要求1所述的用于图像超分辨率的级联网络，其特征在于，所述细节精修网络，包括：特征提取器子网络、非线性映射子网络和重建子网络；
所述特征提取器子网络，用于根据初步上采样结果，提取粗特征；
所述非线性映射子网络，用于将所述粗特征，映射到具有高感知效果的特征空间，获取映射后的图像特征；
所述重建子网络，用于根据所述映射后的图像特征，重建获取超分辨率图像。


4.根据权利要求3所述的用于图像超分辨率的级联网络，其特征在于，所述特征提取子网络，用于：从低分辨率图像Il中提取粗特征Fl；所述Fl的提取公式为：
Fl＝H1(H0(Il))
其中，Fl为提取出的粗特征，H1和H0分别为卷积层，Il代表输入的低分辨率图像。


5.根据权利要求3所述的用于图像超分辨率的级联网络，其特征在于，所述非线性映射子网络，用于基于密集连接的通道注意力模块，将特征提取器提取到的粗特征Fl映射到具有高感知效果的特征空间FP；所述FP的计算方式为：
FP＝HDID(FL)
其中，FP是...

【专利技术属性】
技术研发人员：刘庆杰，傅泽华，王蕴红，刘一郎，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：浙江;33