一种基于分数阶微分方程的图像超分辨率方法技术

本发明专利技术公开了一种基于分数阶微分方程的图像超分辨率方法，首先，将深度神经网络的变换看做分数阶动力学系统，基于系统解决方案自动构建两个相互依赖的密集连接模块；其次，借助两个模块各自的功能，即控制系统迭代预测下一个状态的预测模块进行粗重建，以及迭代细化预测状态以提高预测精度的校正模块进行细重建，完成神经分数阶微分方程网络模型的结构设计，重建超分辨率图像；然后，迭代两个密集连接的模块的循环结构，具有内存效率并且可用于低功耗实际应用；最后，通过分析分数阶微分方程的解决方案的存在性和唯一性，从理论上保证了超分辨率神经分数阶微分方程网络模型的可行性，获得细节更加生动的图像超分辨结果。获得细节更加生动的图像超分辨结果。

【技术实现步骤摘要】
一种基于分数阶微分方程的图像超分辨率方法


[0001]本专利技术属于图像处理
，具体涉及一种图像超分辨率方法。

技术介绍

[0002]图像超分辨率已经被广泛应用于医学图像、遥感以及电子消费等领域。单张图像超分辨是其中的一项重要应用。基于深度神经网络的方法因其强大的表达能力而主导了单张图像超分辨的最新进展，该方法专注于使用不同结构的网络对低分辨率图像与其高分辨率图像对应关系(即映射函数)进行建模。文献“Chao Dong,Chen Change Loy, Kaiming He,and Xiaoou Tang.Learning a deep convolutional network for image super
‑ꢀ
resolution.In Proceedings of the European Conference on Computer Vision(ECCV),pages 184
‑
199.Springer,2014.”和“Kaiming He,Xiangyu Zhang,Shaoqing Ren,and Jian Sun. Deep residual learning for image recognition.In Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition(CVPR),pages 770
‑
778,June 2016.”是两种具有代表性的结构，它们通常通过逐层顺序变换输入的低分辨率图像来重建所需的高分辨率图像。然而，这两个模型都是瞬态的，即仅根据最后一层的特征图计算当前层的特征图，而没有综合考虑其前一层的信息。受此启发，“Tong Tong,Gen Li,Xiejie Liu,andQinquan Gao.Image super
‑
resolution using dense skip connections.In Proceedings of theIEEE International Conference on Computer Vision(ICCV),pages 4799
‑
4807,2017.”被提出并用于提高单张图像超分辨性能。通过重用从前一层提取的中间特征和恒等映射，这些方法明显提高了它们的表达能力，并取得了最先进的单张图像超分辨性能。然而，大多数现有的密集连接网络是手动设计的，并且过度依赖实践经验，在数学或物理领域没有理论上的保证，从而导致性能次优。此外，由于深层结构和密集连接，这些方法存在昂贵的内存消耗、缺乏系统理论指导，并且无法扩展到低功耗的实际应用程序。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供了一种基于分数阶微分方程的图像超分辨率方法，首先，将深度神经网络的变换看做分数阶动力学系统，它能够基于系统解决方案自动构建两个相互依赖的密集连接模块，而不是手动设计；其次，借助两个模块各自的功能，即控制系统迭代预测下一个状态的预测模块进行粗重建，以及迭代细化预测状态以提高预测精度的校正模块进行细重建，完成神经分数阶微分方程网络模型的结构设计，重建超分辨率图像；然后，由于迭代计算方式要求两个密集连接的模块都具有循环结构，因此神经分数阶微分方程网络具有内存效率并且可用于低功耗实际应用；最后，通过分析分数阶微分方程的解决方案的存在性和唯一性，从理论上保证了超分辨率神经分数阶微分方程网络模型的可行性，获得细节更加生动的图像超分辨结果。
[0004]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0005]步骤1：对于给定的单张低分辨率图像，用卷积操作对其进行处理，得到特征图p1；
[0006]步骤2：给出带有初值条件y0的连续时间的Caputo导数动力学系统表达式：
[0007][0008]其中，y0表示由低分辨率图像处理得到的特征图p1，α∈(0,1)代表分数阶次；表示Caputo类型分数阶动力学系统，C代表Caputo类型；y(t),f(t,y)分别表示Caputo 系统在时间t∈{0...T}的状态及相应的微分动力学形式；T代表Caputo系统的终止计算时间；
[0009]为了离散求解方程(1)，首先给出(1)式对应的分数阶积分方程：
[0010][0011]其中Γ(α)是Gamma函数，s表示时间；
[0012]步骤3：构建神经分数阶微分方程网络模型，包括粗重建子网络和细重建子网络，对应的网络堆叠方式用数学形式表达为：
[0013]粗重建子网络堆叠方式：
[0014][0015]其中f(t
j
,y
j
；θ
f
)是由“Conv+PReLU”组成的带有参数θ
f
的动力学形式；t
j
∈{0...T}，y
j
代表在时间j时的系统状态，代表在时间k+1时的预估状态，b
j,k+1
，0<j<k为：
[0016][0017]其中，h表示时间步长，大小等于t
j
‑
t
j
‑1；
[0018]细重建子网络堆叠方式：
[0019][0020]其中a
j,k+1
为：
[0021][0022]用粗重建子网络(3)对p1进行特征提取，输出特征p2；再对p2用细重建子网络(4) 细化重建粗重建的特征信息结果，输出特征p3；
[0023]步骤4：建立由三个卷积层、神经分数阶微分方程网络模型和一个上采样操作组成的超分辨率卷积神经网络，并利用反向传播算法求解L1范数进行网络优化训练；
[0024]所建立的超分辨率卷积神经网络的结构依次为：
[0025]第一层卷积层，输出空间的维度为64，卷积窗口的大小为3，卷积步长为1，padding 设置为0，输出结果为p1；
[0026]神经分数阶微分方程网络由粗重建子网络和细重建子网络组成，输出结果为p3；
[0027]第二层卷积层，输出空间维度为64，卷积窗口的大小为3，卷积步长为1，padding 设置为0，输出结果为p4；
[0028]将第一层卷积的输出与第二层卷积的输出进行跳跃连接，输出结果为p5；
[0029]再进行上采样操作，采用的是双线性插值，输出结果为p6；
[0030]最后是第三层卷积层，输出空间维度为输入数据的空间维度，得到复原的高分辨率图像p7。
[0031]本专利技术的有益效果如下：
[0032]本专利技术方法将超分辨率深度神经网络模型变换看作一种分数阶动态系统的状态演化，这使能够基于系统解决方案自动构建两个相互依赖的密集连接模块，而不是手动设计。上述两个模块分别是控制系统迭代预测下一个状态的预测模块进行粗重建，以及迭代细化预测状态以提高预测精度的校正模块进行细重建。以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分数阶微分方程的图像超分辨率方法，其特征在于，包括如下步骤：步骤1：对于给定的单张低分辨率图像，用卷积操作对其进行处理，得到特征图p1；步骤2：给出带有初值条件y0的连续时间的Caputo导数动力学系统表达式：其中，y0表示由低分辨率图像处理得到的特征图p1，α∈(0,1)代表分数阶次；表示Caputo类型分数阶动力学系统，C代表Caputo类型；y(t),f(t,y)分别表示Caputo系统在时间t∈{0...T}的状态及相应的微分动力学形式；T代表Caputo系统的终止计算时间；为了离散求解方程(1)，首先给出(1)式对应的分数阶积分方程：其中Γ(α)是Gamma函数，s表示时间；步骤3：构建神经分数阶微分方程网络模型，包括粗重建子网络和细重建子网络，对应的网络堆叠方式用数学形式表达为：粗重建子网络堆叠方式：其中f(t
j
,y
j
；θ
f
)是由“Conv+PReLU”组成的带有参数θ
f
的动力学形式；t
j
∈{0...T}，y
j
代表在时间j时的系统状态，代表在时间k+1时的预估状态，b
...

【专利技术属性】
技术研发人员：魏巍，张磊，张晓，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：