【技术实现步骤摘要】
本公开实施例涉及图像处理的，更具体地，涉及一种基于非局部稀疏注意力的图像超分辨率方法和装置。
技术介绍
1、随着信息时代的快速发展，数字图像作为一种信息传输的重要形式，其分辨率有着更高的要求。目前，现有的图像重建方式会对低分辨率图像的特征进行一定的切分，这种方式对全局特征的学习能力较差，图像重建时可能会出现不相关纹理，使得图像重建效果较差。
技术实现思路
1、本公开实施例的一个目的是提供一种基于非局部稀疏注意力的图像超分辨率方法和装置的新的技术方案。
2、根据本公开的第一方面，提供了一种基于非局部稀疏注意力的图像超分辨率方法，所述方法包括：
3、获取被压缩的低分辨率图像；
4、提取所述低分辨率图像的浅层特征，得到低分辨率图像的浅层特征图；
5、对所述浅层特征图进行至少一次的通道稀疏处理和至少一次的空间稀疏处理，得到双维度稀疏特征图；
6、将所述双维度稀疏特征图与所述浅层特征图进行融合，得到所述低分辨率图像的特征融合图；
7、对所述特征融合图进行卷积和上采样处理，得到超分辨率图像。
8、可选地，所述对所述浅层特征图进行至少一次的通道稀疏处理和至少一次的空间稀疏处理，得到双维度稀疏特征图，包括：
9、通过双维度稀疏处理模块，对所述浅层特征图执行至少一次的先通道稀疏处理，后空间稀疏处理，得到处理至少一次后的双维度稀疏特征图；其中，所述双维度稀疏处理模块包括至少一组串联连接的通道稀疏网络和空间稀
10、可选地，所述针对输入的特征图，进行通道稀疏处理，得到通道稀疏特征图，包括：
11、提取所述输入的特征图的非局部特征，得到第一重塑矩阵；
12、根据所述第一重塑矩阵的向量，得到注意力图；
13、根据设定的筛选机制，在所述注意力图中筛选设定比例的注意力特征；
14、根据所述注意力特征、预置的第一激活函数和所述向量，得到通道稀疏特征图。
15、可选地，所述针对所述通道稀疏特征图，进行空间稀疏处理，得到所述处理后的深度稀疏特征图，包括：
16、按照设定的分块规则，将所述通道稀疏特征图划分成多组图块；
17、提取所述多组图块的局部特征，得到第二重塑矩阵；
18、根据所述第二重塑矩阵的向量，得到注意力图；
19、根据所述注意力图、预置的第二激活函数和所述向量，得到深度稀疏特征图。
20、可选地，所述针对输入的深度稀疏特征图，进行通道稀疏处理，得到通道稀疏特征图之后，所述方法还包括：
21、通过连接于同一组的通道稀疏网络和同一组的空间稀疏网络之间的第一门控卷积前馈网络，提取所述通道稀疏特征图中的第一高频信息；其中，所述第一高频信息为通道稀疏处理之后表示出所述通道稀疏特征图中的图像高频信息。
22、可选地，所述针对所述通道稀疏特征图，进行空间稀疏处理，得到所述处理后的深度稀疏特征图之后，所述方法还包括：
23、通过连接于后一组的通道稀疏网络和前一组的空间稀疏网络之间的第二门控卷积前馈网络，提取所述深度稀疏特征图中的第二高频信息；其中，所述第二高频信息为空间稀疏处理之后表示出所述深度稀疏特征图中的图像高频信息。
24、可选地，各门控卷积前馈网络是通过提取到的输入的稀疏网络图的特征和预置的第三激活函数得到的图像高频信息。
25、可选地，所述对所述浅层特征图进行至少一次的通道稀疏处理和至少一次的空间稀疏处理，得到双维度稀疏特征图，包括：
26、通过n个串联连接的双维度稀疏处理模块各执行一次所述对所述浅层特征图进行至少一次的通道稀疏处理和至少一次的空间稀疏处理的步骤，得到所述n个处理后的深层特征图；其中，n≥2且为整数；所述浅层特征图输入至第1个双维度稀疏处理模块；所述双维度稀疏处理模块针对输入特征图的特征，进行至少一次的通道稀疏处理和至少一次的空间稀疏处理，得到处理后的深层特征图；每一双维度稀疏处理模块输出一个处理后的深层特征图，前一双维度稀疏处理模块输出的处理后的深层特征图输入至相邻的后一双维度稀疏处理模块，继续进行双维度稀疏处理；根据所述浅层特征图和n个处理后的深层特征图，得到双维度稀疏特征图。
27、根据本公开的第二方面，还提供了一种基于非局部稀疏注意力的图像超分辨率装置，所述装置包括：
28、图像获取模块，用于获取被压缩的低分辨率图像；
29、特征获取模块，用于提取所述低分辨率图像的浅层特征，得到低分辨率图像的浅层特征图；
30、特征处理模块，用于对所述浅层特征图进行至少一次的通道稀疏处理和至少一次的空间稀疏处理，得到双维度稀疏特征图；
31、特征融合模块，用于将所述双维度稀疏特征图与所述浅层特征图进行融合，得到所述低分辨率图像的特征融合图；
32、图像得到模块，用于对所述特征融合图进行卷积和上采样处理，得到超分辨率图像。
33、根据本公开的第三方面，还提供了一种基于非局部稀疏注意力的图像超分辨率装置，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据本公开第一方面所述的方法。
34、根据本公开的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据本公开的第一方面所述的方法。
35、本公开实施例的一个有益效果在于，通过通道稀疏网络的通道稀疏处理和空间稀疏网络的空间稀疏处理，实现对低分辨率图像的局部特征和非局部特征的处理，从而提升低分辨率图像的重建效果，减少伪影的产生，从而得到质量较高的超分辨率图像。
36、通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
本文档来自技高网...【技术保护点】
1.一种基于非局部稀疏注意力的图像超分辨率方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述浅层特征图进行至少一次的通道稀疏处理和至少一次的空间稀疏处理，得到双维度稀疏特征图，包括：
3.根据权利要求2所述的方法，其特征在于，所述针对输入的特征图，进行通道稀疏处理，得到通道稀疏特征图，包括：
4.根据权利要求2所述的方法，其特征在于，所述针对所述通道稀疏特征图，进行空间稀疏处理，得到所述处理后的深度稀疏特征图，包括：
5.根据权利要求2所述的方法，其特征在于，所述针对输入的特征图，进行通道稀疏处理，得到通道稀疏特征图之后，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述针对所述通道稀疏特征图，进行空间稀疏处理，得到所述处理后的深度稀疏特征图之后，所述方法还包括：
7.根据权利要求5或6所述的方法，其特征在于，各门控卷积前馈网络是通过提取到的输入的稀疏网络图的特征和预置的第三激活函数得到的图像高频信息。
8.根据权利要求1所述的方法，其特征在于，所
9.一种基于非局部稀疏注意力的图像超分辨率装置，其特征在于，所述装置包括：
10.一种基于非局部稀疏注意力的图像超分辨率装置，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据如权利要求1至8任一项所述的方法。
...【技术特征摘要】
1.一种基于非局部稀疏注意力的图像超分辨率方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述浅层特征图进行至少一次的通道稀疏处理和至少一次的空间稀疏处理，得到双维度稀疏特征图，包括：
3.根据权利要求2所述的方法，其特征在于，所述针对输入的特征图，进行通道稀疏处理，得到通道稀疏特征图，包括：
4.根据权利要求2所述的方法，其特征在于，所述针对所述通道稀疏特征图，进行空间稀疏处理，得到所述处理后的深度稀疏特征图，包括：
5.根据权利要求2所述的方法，其特征在于，所述针对输入的特征图，进行通道稀疏处理，得到通道稀疏特征图之后，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述针对...
【专利技术属性】
技术研发人员：祝晓斌，李亦轲，周鸿杨，杨春，殷绪成，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。