一种基于不动点方程求解的图像超分辨率网络重构方法技术

本发明专利技术公开了一种基于不动点方程求解的图像超分辨率网络重构方法，通过LandNet模型将迭代步骤展开为连续的网络块，使得通过直接的网络从低分辨率图像中重构高分辨率图像，并且，受Landweber迭代公式的启发，以Landweber迭代块进行迭代，并使用卷积层来模拟每次迭代的优化步骤，在Landweber迭代块的基础上，建立端到端网络进行有效恢复。本发明专利技术在较少的参数和计算成本下，具有更好的主管性能和客观性能。能。能。

【技术实现步骤摘要】
一种基于不动点方程求解的图像超分辨率网络重构方法


[0001]本专利技术涉及图像重构
，更具体的是，本专利技术涉及一种基于不动点方程求解的图像超分辨率网络重构方法。

技术介绍

[0002]单图像超分辨率(SISR)作为一种经典的图像处理问题之一，近年来得到了广泛的研究，给定一个低分辨率(LR)图像，SISR的任务是生成一个相应的、满足视觉质量的高分辨率(HR)图像。
[0003]传统的SISR方法通常通过插值或压缩感知来寻找SISR的可行解决方案，Zhang等人提出了一种基于轮廓的SISR插值方法，还有利用小波变换进行插值的研究，上述研究均是设计一个过滤器来处理图像，但缺乏学习步骤来寻找LR和HR图像之间的统计相关性；SISR的压缩感知从训练数据中学习LR和HR图像之间的映射关系，Chen等人利用K
‑
SVD进行字典学习，获得了良好的恢复性能，Zhao等人考虑了压缩感知中的局部流形投影，以获得更准确的结果，实际上，基于压缩感知的方法高度依赖于调节项的选择，而超参数是人工干预的，缺乏普遍性。
[0004]近年来，卷积神经网络(CNNs)在图像超分辨率(SR)上表现出了惊人的性能。SRCNN是第一个基于CNN的图像超分辨率网络，采用三层神经网络来模拟压缩感知的步骤；在其基础上，FSRCNN提高了SRCNN的速度，并利用了更深层次的网络来获得更好的性能；ESPCN提出了一种亚像素卷积策略来调整特征图的大小，并利用它来代替反卷积层，并得到了广泛的应用；VDSR、EDSR和SRDenseNet可以构建更深入、更广泛的网络，以获得更好的性能。RDN结合了残差和稠密的连接，设计了一种新的残余密集的块用于图像恢复；RCAN研究了一个具有通道级注意的残差块，并获得了更好的SR性能；SAN利用一个二阶注意网络来关注特征之间的内在相关性；RFANet聚合残余信息以改进网络表示，在残差聚合的基础上，提出了有效的轻量级图像超分辨率的RFDN；Cross
‑
SRN设计了一种交叉卷积来提高边缘信息的恢复能力。但是，上述方法并不专注于图像超分辨率的数学分析，而只使用端到端CNN将低分辨率(LR)图像映射到高分辨率(HR)图像。
[0005]事实上，也有一些在优化的角度来考虑SISR的工作。ADMM
‑
Net提供了压缩感知MRI的优化视角分析，并设计了一个端到端网络来模拟乘子(ADMM)操作的交替方向方法。Ma等人提出了一种基于ADMM的图像超分辨率展开网络。Tuo等人还考虑了使用基于ADMM的求解器的真实孔径超分辨率。ISRN最近也针对单图像超分辨率进行了研究，它利用HQS构建了一个端到端迭代网络。Zhang等人重新思考了图像超分辨率的退化模型，并提出了一种针对任意降采样情况的即插即用的超分辨率网络。然而，上述研究只使用堆叠块来构建迭代公式的求解器，即只将迭代方案作为网络管道设计的指导，而忽略了关注块体系结构。

技术实现思路

[0006]本专利技术的目的是设计开发了一种基于不动点方程求解的图像超分辨率网络重构
方法，通过LandNet模型将迭代步骤展开为连续的网络块，并构建一个直接的网络从低分辨率图像中重构高分辨率图像，能够在较少的参数和计算成本下，具有竞争力和更好的主观性能和客观性能。
[0007]本专利技术提供的技术方案为：
[0008]一种基于不动点方程求解的图像超分辨率网络重构方法，包括如下步骤：
[0009]步骤一、构建LandNet模型：
[0010]输入层为卷积层，第2～8层为卷积层和激活函数层依次交替设置，第9～y层为Landweber迭代块，且迭代步长为k，第y+1层为卷积层，第y+2层为激活函数层，第y+3层为卷积层，输出层为上采样模块层，在第y+3层和输出层之间为跳跃式连接；
[0011]所述Landweber迭代块由残差块、卷积层、激活函数层和跳跃式连接组成；
[0012]步骤二、将低分辨率图像输入所述LandNet模型，获得与所述低分辨率图像相对应的高分辨率图像。
[0013]优选的是，所述激活函数为线性整流函数。
[0014]优选的是，所述残差块由卷积层、激活函数层和跳跃式连接组成。
[0015]优选的是，所述Landweber迭代块的更新满足：
[0016][0017]式中，为第k+1次迭代的输出，为第k次迭代的输出，I为单位矩阵，α为每次迭代过程的权重因子，D为降采样算子，D
*
为降采样算子的共轭矩阵，I
LR
为低分辨率图像。
[0018]优选的是，所述输入层的输入通道数为3，输入层的输出通道数为64。
[0019]优选的是，所述LandNet模型中第2～输出层之间的卷积层的输入通道均为64，输出通道均为64。
[0020]优选的是，所述上采样模块层由卷积层和亚像素卷积组成。
[0021]优选的是，所述迭代步长为16。
[0022]优选的是，所述第y+3层和输出层之间的跳跃式连接输出为：
[0023][0024]式中，x
LR
为特征图，x
SR
为恢复的高分辨率的图像特征。
[0025]本专利技术所述的有益效果：
[0026](1)、本专利技术设计开发的一种基于不动点方程求解的图像超分辨率网络重构方法，是基于兰德韦伯迭代方法的图像SR，是能够寻找不适定问题可行解的有效优化方法，通过从优化的角度考虑，本专利技术通过一个相应的Landweber迭代启发网络来自适应地学习参数并找到HR结果，该网络在较低的情况下，具有更好的主观和客观性能。
[0027](2)、本专利技术设计开发的基于不动点方程求解的图像超分辨率网络重构方法，通过LandNet模型将迭代步骤展开为连续的网络块，并构建一个直接的网络从LR实例中生成HR图像，在展开块的基础上，建立端到端网络进行有效恢复，能够在较少的参数和计算成本下，具有竞争力和更好的主观、客观性能。
附图说明
[0028]图1为本专利技术所述Landweber迭代块的示意图。
[0029]图2为本专利技术所述LandNet模型的示意图。
[0030]图3为本专利技术所述迭代步长为0时经LandNet模型所重构的图像。
[0031]图4为本专利技术所述迭代步长为4时经LandNet模型所重构的图像。
[0032]图5为本专利技术所述迭代步长为8时经LandNet模型所重构的图像。
[0033]图6为本专利技术所述迭代步长为12时经LandNet模型所重构的图像。
[0034]图7为本专利技术所述迭代步长为16时经LandNet模型所重构的图像。
[0035]图8为本专利技术所述在Urban100中的“img002”的原始图像。
[0036]图9为本专利技术所述在Urban100中的“img002”的高分辨率图像。
[0037]图10为本专利技术所述在Urban100中的“img002”的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于不动点方程求解的图像超分辨率网络重构方法，其特征在于，包括如下步骤：步骤一、构建LandNet模型：输入层为卷积层，第2～8层为卷积层和激活函数层依次交替设置，第9～y层为Landweber迭代块，且迭代步长为k，第y+1层为卷积层，第y+2层为激活函数层，第y+3层为卷积层，输出层为上采样模块层，在第y+3层和输出层之间为跳跃式连接；所述Landweber迭代块由残差块、卷积层、激活函数层和跳跃式连接组成；步骤二、将低分辨率图像输入所述LandNet模型，获得与所述低分辨率图像相对应的高分辨率图像。2.如权利要求1所述的基于不动点方程求解的图像超分辨率网络重构方法，其特征在于，所述激活函数为线性整流函数。3.如权利要求2所述的基于不动点方程求解的图像超分辨率网络重构方法，其特征在于，所述残差块由卷积层、激活函数层和跳跃式连接组成。4.如权利要求3所述的基于不动点方程求解的图像超分辨率网络重构方法，其特征在于，所述Landweber迭代块的更新满足：式中，为第k+1次迭代的输出，为第k次迭代的输出，I为单...

【专利技术属性】
技术研发人员：刘新博，李晓会，王岭，
申请(专利权)人：辽宁工业大学，
类型：发明
国别省市：