基于任务解耦的双分支超分辨率网络的图像超分辨率方法技术

本发明专利技术特别涉及一种基于任务解耦的双分支超分辨率网络的图像超分辨率方法，包括如下步骤：获取LR

【技术实现步骤摘要】
基于任务解耦的双分支超分辨率网络的图像超分辨率方法


[0001]本专利技术涉及单图像超分辨率
，特别涉及一种基于任务解耦的双分支超分辨率网络的图像超分辨率方法。

技术介绍

[0002]大数据时代，高分辨率图像在各个领域得到了越来越广泛的应用。在社媒领域，高分辨率图像可以提高用户的使用体验；在医疗领域，高分辨率图像可以帮助专业人士做出正确判断；在安防领域，高分辨率图像可以帮助有关部门维护社会治安。然而，由于设备成本、自然环境等因素的限制，往往导致采集到的图像分辨率较低、质量较差且纹理模糊。因此，单图像超分辨率(Single Image Super
‑
Resolution，SISR)技术对各个领域都具有非常重要的研究意义。
[0003]单图像超分辨率是使用低分辨率(Low
‑
Resolution，LR)图像生成高分辨率(High
‑
Resolution，HR)图像的一种技术。传统的单图像超分辨率基于插值策略，其代表性算法为最近邻插值算法(Nearest Neighbor Interpolation)、双线性插值算法(Bilinear Interpolation)和双三次插值算法(Bicubic Interpolation)。然而，这些算法所使用的简单插值函数难以反映LR图像与HR图像之间复杂的映射关系，导致它们重建的超分辨率(Super
‑
Resolution，SR)图像质量较差。
[0004]近年来，卷积神经网络(Convolutional Neural Network，CNN)由于其拟合复杂映射的强大能力成为了研究的热点。许多使用CNN的单图像超分辨率策略被提出，如：基于深度的策略、基于注意力的策略和基于先验的策略。基于深度的策略的代表性算法为Very Deep Convolutional Network(VDSR)，Enhanced Deep Residual Network(EDSR)和Residual Dense Network(RDN)。这些方法通过增加网络的深度以更好的拟合LR图像与HR图像之间的映射关系，从而重建更高质量的SR图像。基于注意力的策略的代表性算法为Residual Channel Attention Network(RCAN)，Second
‑
Order Attention Network(SAN)和Holistic Attention Network(HAN)。这些方法通过在网络中添加注意力模块以更好的利用来自不同特征图中的信息，使网络生成的SR图像含有更多纹理细节。基于先验的策略则通过利用图像中的先验信息，如：结构自相似性先验信息、噪声先验信息和梯度先验信息，以缓解SISR的不适定性，使得超分辨率过程更有效。该策略的代表性算法为Non
‑
Local Recurrent Network(NLRN)，Residual Non
‑
Local Attention Network(RNAN)和Cross
‑
Scale Non
‑
Local Network(CSNLN)。
[0005]然而，图像中不同类型信息的性质并不相同。以图像中最重要的两种信息结构信息和颜色信息为例，前者已经被证明具有长距离自相似性(Long
‑
Range Self
‑
Similarity)，而图像中大量含有相似的颜色信息的区域则表明后者具有局部自相似性(Local Self
‑
Similarity)。因此，在超分辨率的过程中对这两种信息进行不加区分的处理是不合理的，并可能会导致网络的性能下降。例如，非局部操作(Non
‑
Local Operation)在挖掘图像中结构信息的长距离自相似性时，会不可避免的受到图像中颜色信息的局部自相
似性的影响。这一影响大大增加了网络的计算量。
[0006]因此，针对以上问题，如何设计出一种能够更灵活的处理图像中不同种类的信息的单图像超分辨率方法已经成为了一个亟待解决的问题。

技术实现思路

[0007]本专利技术的目的在于提供一种基于任务解耦的双分支超分辨率网络的图像超分辨率方法，可以得到质量更佳的超分辨率图像。
[0008]为实现以上目的，本专利技术采用的技术方案为：一种基于任务解耦的双分支超分辨率网络的图像超分辨率方法，包括如下步骤：获取LR
‑
HR图像对作为训练样本；搭建由结构提取分支和颜色提取分支构成的双分支超分辨率网络，利用训练样本对网络进行训练得到训练后的双分支超分辨率网络；将待处理图像作为LR图像导入到训练后的双分支超分辨率网络中，网络输出的结果即为HR图像。
[0009]与现有技术相比，本专利技术存在以下技术效果：通过构建双分支超分辨率网络，其中的结构提取分支可以方便的提取图像的结构特征，颜色提取分支在不断提取更深层次特征的同时，不断的增强其中的颜色信息，最后混合这两种信息，得到更加优秀的超分辨率图像，通过对图像中的结构信息和颜色信息作有针对性的处理，实现了在多种超分辨率任务下的优异表现。
附图说明
[0010]图1是本专利技术的流程示意图；
[0011]图2是本专利技术中双分支超分辨率网络的结构示意图；
[0012]图3是本专利技术中上下文归因池化层的结构示意图；
[0013]图4是本专利技术中色彩增强模块的结构示意图；
[0014]图5为本专利技术的BI超分辨率结果与其他方法的结果的对比示意图；
[0015]图6为本专利技术的BD超分辨率结果与其他方法的结果的对比示意图；
[0016]图7为本专利技术的DN超分辨率结果与其他方法的结果的对比示意图；
[0017]图8为本专利技术对单图像超分辨率任务的解耦示意图。
具体实施方式
[0018]下面结合图1至图8，对本专利技术做进一步详细叙述。
[0019]参阅图1，一种基于任务解耦的双分支超分辨率网络的图像超分辨率方法，包括如下步骤：获取LR
‑
HR图像对作为训练样本；搭建由结构提取分支和颜色提取分支构成的双分支超分辨率网络，利用训练样本对网络进行训练得到训练后的双分支超分辨率网络；将待处理图像作为LR图像导入到训练后的双分支超分辨率网络中，网络输出的结果即为HR图像。通过构建双分支超分辨率网络，其中的结构提取分支可以方便的提取图像的结构特征，颜色提取分支在不断提取更深层次特征的同时，不断的增强其中的颜色信息，最后混合这两种信息，得到更加优秀的超分辨率图像，通过对图像中的结构信息和颜色信息作有针对性的处理，实现了在多种超分辨率任务下的优异表现。
[0020]进一步地，为了方便的获取到训练样本，我们对已经拥有的HR图像进行剪裁和下
采样操作以获取LR
‑
HR图像对；其中，LR作为网络的输入，HR用于监督网络的训练；随后，所有LR
‑...

【技术保护点】

【技术特征摘要】
1.一种基于任务解耦的双分支超分辨率网络的图像超分辨率方法，其特征在于：包括如下步骤：获取LR
‑
HR图像对作为训练样本；搭建由结构提取分支和颜色提取分支构成的双分支超分辨率网络，利用训练样本对网络进行训练得到训练后的双分支超分辨率网络；将待处理图像作为LR图像导入到训练后的双分支超分辨率网络中，网络输出的结果即为HR图像。2.如权利要求1所述的基于任务解耦的双分支超分辨率网络的图像超分辨率方法，其特征在于：所述的获取LR
‑
HR图像对作为训练样本包括如下步骤：获取准备作为训练样本的HR图像；对HR图像进行剪裁得到剪裁后的图像I
HR
；对剪裁后的图像I
HR
按如下公式进行下采样得到LR图像I
LR
：I
LR
＝imresize(crop(I
HR
,k),method＝
′
bicubic
′
)，其中，imresize()代表MATLAB软件中的imresize函数，crop(I
HR
,k)代表将训练样本I
HR
的h和w调整为k的整数倍，method代表下采样所使用的插值函数；将图像I
LR
和I
HR
组成图像对，并转换为张量形式；将张量形式的图像对进行封装得到训练样本。3.如权利要求1所述的基于任务解耦的双分支超分辨率网络的图像超分辨率方法，其特征在于：所述的双分支超分辨率网络包括浅层特征提取模块、结构提取分支、颜色填充分支、超分辨率重建模块，双分支超分辨率网络的表达式如下：I
SR
＝H
RM
(H
SE
(H
SFEM
(I
LR
)),H
CF
(H
SFEM
(I
LR
)))，其中，I
LR
和I
SR
分别代表双分支超分辨率网络的输入和输出，H
SFEM
、H
SE
、H
CF
与H
RM
分别代表浅层特征提取模块、结构提取分支、颜色填充分支和超分辨率重建模块的函数。4.如权利要求3所述的基于任务解耦的双分支超分辨率网络的图像超分辨率方法，其特征在于：所述的浅层特征提取模块包括第一卷积层，其表达式如下：F
shallow
＝C1(I
LR
)，其中，F
shallow
代表该模块从其输入中提取的浅层特征，C1代表第一卷积层的函数。5.如权利要求4所述的基于任务解耦的双分支超分辨率网络的图像超分辨率方法，其特征在于：所述的结构提取分支包括1个编码器和1个解码器，其表达式如下：F
struct
＝H
DE
(H
EN
(F
shallow
))，其中，F
struct
代表该分支从其输入中提取的含有结构信息的特征，H
EN
和H
DE
分别代表编码器和解码器的函数。6.如权利要求5所述的基于任务解耦的双分支超分辨率网络的图像超分辨率方法，其特征在于：所述的编码器由3个编码块组成；每个编码块由1个残差块和1个上下文归因池化层组成，其表达式如下：F
en
＝H
CRPL
(H
RB
(F
...

【专利技术属性】
技术研发人员：翁士状，施金鹏，吕雯冰，陶文韬，孙浩宸，张巧巧，梁栋，郑玲，赵晋陵，黄林生，
申请(专利权)人：安徽大学，
类型：发明
国别省市：