【技术实现步骤摘要】
本专利技术属于计算机软件中图像超分辨率重建、数字图像处理、计算机视觉，涉及一种基于深度学习的图像超分辨率重建方法。
技术介绍
1、在计算机视觉领域，数字图像通常以二维栅格形式表现，而图像分辨率体现了数字图像所能表达空间信息的能力，通常对于相同的图像场景，高分辨率图像往往能够比低分辨率图像表达更加丰富的信息。然而，受限于成像设备的硬件水平、数据传输方式以及图像退化模型等现实条件，人们往往只能获得低分辨率图像。通过算法实现由低分辨率图像获取高分辨率图像是一种相对简单且低成本的方式，而相比于基于插值的方法、基于退化模型的方法和基于学习的方法等传统图像超分辨率重建方法，深度学习具有更好的自主学习能力，正因为深度学习能自适应地学习低分辨率图像与高分辨率图像之间的非线性映射关系这种特性，使得基于深度学习的图像超分辨率重建算法明显优于传统方法，因此也成为单张图像超分辨率重建的主流研究方法。
2、一种经典的基于深度学习的图像超分辨率重建方法即srcnn神经网络模型，该方法具有简单的网络模型，因此能较高效率地实现低分辨率向高分辨率图像的重建，然而该方法采用经过双三次插值后的低分辨率图像作为输入，同时由于其简单的网络结构，该方法的超分辨率重建表现一般。后来，srresnet、edsr、rcan等网络模型直接采用原始尺寸的低分辨率图像作为输入，并引入了残差结构以恢复更多高频细节，其中rcan提出的残差-残差(rir)结构使丰富的低频信息通过多个跳跃连接直接进行传播，同时采用通道注意力策略使主网络专注于高频信息的学习。然而rcan模型依赖于
技术实现思路
1、(一)专利技术目的
2、本专利技术的目的是：针对现有技术的不足，本专利技术提出一种基于深度学习的图像超分辨率重建方法。
3、(二)技术方案
4、为了解决上述技术问题，本专利技术提供一种基于深度学习的图像超分辨率重建方法，其括以下步骤：
5、s1、获取低分辨率灰度图像作为输入；
6、s2、将经过卷积处理后的低分辨率灰度图像特征图降维映射为图结构，并采用图卷积运算对特征信息进行全局融合，然后重新映射为新特征图；
7、s3、采用一种对rcan中的rir结构进行改造的残差-残差结构，对步骤s2中的新特征图进一步特征提取；
8、s4、对步骤s3中特征提取后的特征图进行预定尺度的上采样输出，获得高分辨率图像。
9、步骤s2中，采用图卷积运算对特征信息进行全局融合的过程为：
10、s2.1、采用一次卷积运算对原始低分辨率图像进行初始特征提取，获得特征图一，；
11、s2.2、采用两次卷积运算将栅格形式的特征图一映射为具有多个节点的全连通图结构，第一次卷积运算用于降低维度，第二次卷积运算用于映射图节点；
12、s2.3、对全连通图结构进行图卷积运算，使经过抽象的全局特征在每个图节点中融合，生成新的图结构；
13、s2.4、对新的图结构进行反向映射并恢复原特征图通道维度，并通过一次残差结构运算重新获得栅格形式的特征图，即特征图二。
14、步骤s2.1中，卷积运算参数为：输入通道数为1，输出通道数为64，卷积核大小为3×3，步长为1。
15、步骤s2.2中，第一次卷积运算输入通道数为64，输出通道数为32，卷积核大小为1×1，步长为1；第二次卷积运算输入通道数为64，输出通道数为16，卷积核大小为1×1，步长为1。
16、步骤s2.3中，图卷积运算的参数为：图卷积的状态数为前述降维通道数32，节点数为16。
17、步骤s2.4中，反向映射的卷积运算参数为：输入通道数为32，输出通道数为64，卷积核大小为1×1，步长为1，最后还要经过一次批量归一化处理。
18、步骤s3中包括以下子步骤：
19、s3.1、将前述经过图卷积运算融合后的特征图二作为恒等映射；
20、s3.2、对rcan中提出的rir结构进行改造，即删减残差组中最长跳跃的残差结构，将残差组的个数由20个减少为10个，并对每个残差组采用前述恒等映射构造新的残差结构，采用前述一系列残差处理对新特征图进行更深层的特征提取和高频细节信息融合，获得特征图三；
21、s3.3、采用一次卷积运算对特征图三进行特征提取，并对运算结果采用前述恒等映射进行残差处理，获得特征图四。
22、步骤s3.3中，卷积运算的参数为：输入通道数为64，输出通道数为64，卷积核大小为3×3，步长为1。
23、步骤s4中包括以下子步骤：
24、s4.1、采用卷积与pixel shuffle组合将特征图三上采样至预定尺寸，获得特征图四；
25、s4.2、采用一次卷积运算，对前述经过上采样的特征图三进行最终的特征提取，获得高分辨率图像。卷积运算的参数为：输入通道数为64，输出通道数为1，卷积核大小为3×3，步长为1。
26、(三)有益效果
27、上述技术方案所提供的基于深度学习的图像超分辨率重建方法，具有以下有益效果：
28、(1)本专利技术考虑到一般的卷积运算感受野有限，对全局信息的利用不足，因此提出采用图卷积运算对经过映射后的特征图进行全局信息融合，同时考虑到相较于深层次特征图，浅层特征图拥有更多的高频细节信息，因此将图卷积运算置于第一层卷积运算之后。
29、(2)所述改造后的残差-残差结构为基于rcan中提出的rir结构经过轻量化和新的残差构造后的神经网络结构，改造后的神经网络具有结构轻量且能够充分融合浅层特征图的大量高频细节的优点。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的图像超分辨率重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤S2中，采用图卷积运算对特征信息进行全局融合的过程为：
3.如权利要求2所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤S2.1中，卷积运算参数为：输入通道数为1，输出通道数为64，卷积核大小为3×3，步长为1。
4.如权利要求3所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤S2.2中，第一次卷积运算输入通道数为64，输出通道数为32，卷积核大小为1×1，步长为1；第二次卷积运算输入通道数为64，输出通道数为16，卷积核大小为1×1，步长为1。
5.如权利要求4所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤S2.3中，图卷积运算的参数为：图卷积的状态数为前述降维通道数32，节点数为16。
6.如权利要求5所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤S2.4中，反向映射的卷积运算参数为：输入通道数为32，输出通道数为64，卷积核大小
7.如权利要求6所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤S3中包括以下子步骤：
8.如权利要求7所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤S3.3中，卷积运算的参数为：输入通道数为64，输出通道数为64，卷积核大小为3×3，步长为1。
9.如权利要求8所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤S4中包括以下子步骤：
10.如权利要求9所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤S4.2中，卷积运算的参数为：输入通道数为64，输出通道数为1，卷积核大小为3×3，步长为1。
...【技术特征摘要】
1.一种基于深度学习的图像超分辨率重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤s2中，采用图卷积运算对特征信息进行全局融合的过程为：
3.如权利要求2所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤s2.1中，卷积运算参数为：输入通道数为1，输出通道数为64，卷积核大小为3×3，步长为1。
4.如权利要求3所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤s2.2中，第一次卷积运算输入通道数为64，输出通道数为32，卷积核大小为1×1，步长为1；第二次卷积运算输入通道数为64，输出通道数为16，卷积核大小为1×1，步长为1。
5.如权利要求4所述的基于深度学习的图像超分辨率重建方法，其特征在于，步骤s2.3中，图卷积运算的参数为：图卷积的状态数为前述降维通道数32，节点数为1...
【专利技术属性】
技术研发人员：王浩，王升哲，张毅，杨晓，赵惠，张琪，郑杰，颜小红，关炜，昔华倩，
申请(专利权)人：西南技术物理研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。