一种基于相似图像引导的深度自学习图像超分辨率方法技术

本发明专利技术提供了一种基于相似图像引导的深度自学习图像超分辨率方法。主要包括如下步骤：针对输入的低分辨率图像，搜索匹配相似的高质量引导图像；分别构建用于图像重建、降质、鉴别的深度卷积神经网络；联合优化图像重建网络、图像降质网络、图像鉴别网络；基于重建网络对输入低分辨率图像进行重建，输出高分辨率重建图像。本发明专利技术所述方法能够有效地提升图像的分辨率、清晰度等，综合改善图像质量。本发明专利技术在图像/视频采集、存储、传输、显示、理解等方向具有重要的应用价值。有重要的应用价值。

【技术实现步骤摘要】
一种基于相似图像引导的深度自学习图像超分辨率方法


[0001]本专利技术涉及图像质量增强技术，具体涉及一种基于相似图像引导的深度自学习图像超分辨率方法，属于图像处理领域。

技术介绍

[0002]图像是一种重要的信息载体，目前已经广泛应用于各行各业并发挥着十分重要的作用，其中既包括大众生活中的通信、娱乐、教育、医疗等方向，也涉及到遥感、航空航天等领域。随着成像设备及相关技术的发展，人们可获取和使用的图像的分辨率越来越高。但是，更高分辨率的图像一直是众多应用中所期望和追求的。对于获取更高分辨率的图像，改善成像系统是一种较为直观的方式，但是通常更新硬件的周期长、成本高且灵活性较差。相比较而言，通过算法处理的方式提升图像分辨率以满足实际应用的需求是一种综合更优的解决方案。
[0003]图像超分辨率重建就是以提升图像分辨率为核心目标的图像处理算法。近年来，研究者们从多个角度对图像超分辨率重建技术开展了研究工作，提出了基于重建、稀疏表示、邻域嵌入、随机森林、深度学习等模型的一系列算法，重建效果也取得了显著提升。特别是基于深度学习的图像超分辨率算法，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相似图像引导的深度自学习图像超分辨率方法，其特征在于包括以下步骤：步骤1、针对输入的低分辨率图像，搜索匹配相似的高质量引导图像；步骤2、分别构建用于图像重建、降质、鉴别的深度卷积神经网络；步骤3、联合优化图像重建网络、图像降质网络、图像鉴别网络；步骤4、基于重建网络对输入低分辨率图像进行重建，输出高分辨率重建图像。2.根据权利要求1所述的一种基于相似图像引导的深度自学习图像超分辨率方法，其特征在于步骤1中所述的针对输入低分辨率图像搜索匹配相似的高质量引导图像，表示为Y
ref
＝M
ref
(Y)其中，Y为输入低分辨率图像，Y
ref
为匹配的高质量引导图像，M
ref
(
·
)表示针对输入低分辨率图像Y匹配高质量引导图像Y
ref
的操作；M
ref
(
·
)的实现可以采用人工手动搜索或相似图像检索等多种方式；Y
ref
在分辨率、清晰度等方面具有较高的质量，同时与Y在图像内容上有一定的相似性，用于引导对Y的超分辨率重建。3.根据权利要求1所述的一种基于相似图像引导的深度自学习图像超分辨率方法，其特征在于步骤2中所述的图像重建网络，表示为其中，和分别表示重建网络N
S
的输入图像和重建结果，N
S
(
·
)表示重建网络N
S
实现的功能；F
bs
(
·
)表示基础重建模块(“B
S”)实现的功能，即对进行初始重建(如提高分辨率等)；F
h
(
·
)表示特征提取层(“Conv-h”)实现的功能，即从中提取特征；F
rb1
(
·
)、F
rb2
(
·
)、
……
、F
rbn
(
·
)分别表示特征残差模块(“ResBlock-1”、“ResBlock-2”、
……
、“ResBlock-n”等，其中n为残差模块的总个数)实现的功能，即对F
h
(
·
)提取的特征进行优化；F
T
(
·
)为特征上采样层(“ConvT”)实现的功能，即对F
rbn
(
·
)的输出特征进行上采样，上采样倍数等于超分辨率重建因子s；F
t
(
·
)表示残差重建层(“Conv-t”)实现的功能，即由上采样后的特征重建出残差分量，以补充基础重建模块F
bs
(
·
)生成的初始重建图像。4.根据权利要求1所述的一种基于相似图像引导的深度自学习图像超分辨率方法，其特征在于步骤2中所述的图像降质网络，表示为其中，和分别表示降质网络N
R
的输入图像和降质结果，N
R
(
·
)表示降质网络N
R
实现的功能；F
br
(
·
)表示基础降质模块(“B
R”)实现的功能，即对进行初始降质(如降低分辨率等)；F
h
(
·
)表示特征提取层(“Conv-h”)实现的功能，即从中提取特征；F
s
(
·
)为特征下采样层(“Conv-s”)实现的功能，即对F
h
(
·
)提取的特征进行下采样，采样倍数等于超分辨率重建因子s；F
rb1
(
·
)、F
rb2
(
·
)、
……
、F
rbm
(
·
)分别表示特征残差模块(“ResBlock-1”、“ResBlock-2”、
……
、“ResBlock-m”等，其中n为残差模块的总个数)实现的功能，即对F
s
(
·
)生成的下采样特征进行优化；F
t
(
·
)表示残差重建层(“Conv-t”)实现的功能，即由特征残差模块优化后的特征重建出残差分量，以补充基础降质模块F
br
(
·
)生成的初始降质图
像。5.根据权利要求1所述的一种基于相似图像引导的深度自学习图像超分辨率方法，其特征在于步骤3中所述的图像重建网络、图像降质网络、图像鉴别网络的联合优化，仅使用权利要求1所述的输入低分辨率图像Y及其对应的高质量引导图像Y
ref
作为训练图像，且不需要利用提前预设的降质模型对Y及Y
ref
进行降质以生成成对的训练数据；联合优化图像重建网络、图像降质网络、图像鉴别网络的目标函数为其中，N
S
为重建网络，N
R
为降质网络，和均为鉴别网络，L
Adv_h
、L
Adv_sr
及L
Adv_rs
为对抗损失，L
Smi_h
和L
Smi_l
为相似损失，L
Smo_h
和L
Smo_l
为平滑损失，L
Col_h
和L
Col_l
为颜色损失，L
Cyc_sr
和L
Cyc_rs
为循环一致损失，为平衡各项代价函数的权重系数。6.根据权利要求1所述的一种基于相似图像引导的深度自学习...

【专利技术属性】
技术研发人员：陈洪刚，何小海，卿粼波，滕奇志，吴晓红，王正勇，熊淑华，
申请(专利权)人：四川大学，
类型：发明
国别省市：