一种极轻量的图像超分辨率重建方法技术

本发明专利技术公开了一种极轻量的图像超分辨率重建方法，其通过构建密集特征融合神经网络骨架，有效地缓解了浅层信息损失的问题；本发明专利技术基于蒸馏网络机制，设计了多尺度感受野特征融合架构，能提取到更为丰富多样的特征；本发明专利技术针对特征提取子单元，采用更加高效轻量的特征提取模块，大大提高整个网络的效率；本发明专利技术设计了基于哈希映射的极简non－local模块，以非常小的代价深度发掘点与点之间的相关性；另外，本发明专利技术巧妙融合空间信息，通道信息和二阶信息，得到了性能更佳的注意力模块。本发明专利技术提出的方法参数量少，计算量小，精度高，超越了目前800K以下的所有图像超分辨率重建方法。前800K以下的所有图像超分辨率重建方法。前800K以下的所有图像超分辨率重建方法。

【技术实现步骤摘要】
一种极轻量的图像超分辨率重建方法


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种极轻量的图像超分辨率重建方法。

技术介绍

[0002]单幅图像超分辨率旨在从低分辨率输入中重建出高分辨率图像，但由于一张确定的低分辨率图像可以由多种高分辨率图像退化而成，导致了任务的不确定性和高难度。为了更好地解决这个问题，许多基于卷积神经网络的方法出现并取代了之前的传统方法，得到了很好的结果。但是，这些方法往往拥有大量的参数量和昂贵的计算消耗，因此轻量超分网络被进一步提出和研究。
[0003]早期的轻量超分网络仅仅采用20层来进行特征提取，但是其效果仅仅比传统方法好上一点。接着循环结构被引入轻量超分，虽然其大幅度削减了模型部署的大小，它的计算量得到了几何倍数的增长。不久后可记忆网络架构被引入超分，一定程度上解决了参数量和计算量失衡的问题。后来，一种非常有效的蒸馏网络架构被提出，该方法经历了好几个版本的更迭和优化，证明了其自身的优越性并达到当时最好的性能。最近，神经网络结构搜索也被应用于轻量超分领域，对手工设计的网络架构进行自适应修正，使之得到了不错的提升。
[0004]但是，目前的方法都没有考虑到多尺度感受野信息融合对轻量超分的重要性，以及忽略了网络传输过程中浅层信息逐渐损失的现象，并且采用传统低效的卷积特征提取算子，这些因素大大限制了网络的表达能力和网络的轻量化。
[0005]除此之外，注意力机制在轻量超分任务中也占据着重要的地位，以往的注意力机制仅仅结合了空间信息和通道信息，或者仅仅结合了通道信息和二阶信息，并没有哪一种方法充分利用三种信息，这是不足够的。
[0006]特别地，non－local是一种特殊的自注意力机制，它充分利用了图像的先验信息，计算成对点之间的相似性并根据该相似权重图对输入特征进行修正。虽然该机制非常适用于超分任务，其巨额计算量限制了它的应用，即使存在数种方法对其进行简化，它对于轻量超分来说仍是不可接受的。

技术实现思路

[0007]本专利技术针对现有技术中存在的技术问题，提供一种极轻量的图像超分辨率重建方法，其目的在于解决现有技术并不够轻量高效的问题。
[0008]根据本专利技术的第一方面，提供了一种极轻量的图像超分辨率重建方法，包括：步骤1，构建密集特征融合神经网络模型的骨架，所述神经网络模型的骨架包括依次层级连接的多个特征提取模块和一个注意力模块；
[0009]步骤2，基于蒸馏网络机制，将所述特征提取模块设计为多尺度感受野特征融合架构；
[0010]步骤3，在所述神经网络模型的骨架中添加基于哈希映射的极简non－local模块，
通过所述non－local模块通融合所述神经网络模型的各个网络层次所包含的特征信息；
[0011]步骤4，融合通道注意力信息、空间注意力信息和二阶注意力信息后得到所述注意力模块。
[0012]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0013]可选的，所述步骤1包括：
[0014]融合每个所述特征提取模块前后的特征作为该特征提取模块的最终输出；
[0015]融合所有所述特征提取模块的特征并通过所述注意力模块对该特征进行修正。
[0016]可选的，融合层级连接的各个所述特征提取模块前后的特征的过程包括：
[0017]各个所述特征提取模块的后方设置一条线将紧邻的前层特征提取模块的特征传递过来并进行通道级联，通过一个1
×
1卷积和激活函数进行特征融合；
[0018]将每个所述特征提取模块得到的不同深度的特征通过下方的信息通道传输出来并进行通道级联和特征融合。
[0019]可选的，所述特征提取模块包括：多个特征提取支路和对应的蒸馏支路，各个特征提取支路上设置有特征提取子单元，所述蒸馏支路由1
×
1卷积构成；
[0020]所述步骤2中设计多尺度感受野特征融合架构的方法包括：
[0021]将各个所述特征提取子单元感受野设置为不同的大小；
[0022]各个所述蒸馏支路分别对不同感受野大小的特征进行蒸馏并融合；
[0023]对融合信息进行注意力修正和残差修正。
[0024]可选的，所述特征提取子单元对特征进行提取的过程包括：
[0025]结合特征复用对输入特征进行超轻量通道升维；
[0026]对升维后的输入特征进行特征融合筛选后降维到输入特征大小；
[0027]对输出特征进行修正。
[0028]可选的，所述步骤3中所述non－local模块的构建过程包括：
[0029]基于可学习的哈希映射对像素进行相似性聚类；
[0030]针对聚类好的相似点进行再排序以进行并行加速点相似权重计算；
[0031]对相似度计算支路和特征变换支路进行通道衰减。
[0032]可选的，所述步骤4中得到所述注意力模块的过程包括：
[0033]分别对X方向和Y方向做通道注意力计算并融合；
[0034]进行所述通道注意力计算时融合二阶信息。
[0035]可选的，计算X方向和Y方向的通道注意力的过程包括：通过通道级联和共同卷积层进行信息融合后，再次分离分别进行不同方向特征编码，进行点乘得到注意力分布图。
[0036]可选的，进行通道注意力计算时融合二阶信息的方法包括：在使用通道一阶信息平均值的基础上增加通道二阶信息方差。
[0037]本专利技术提供的一种极轻量的图像超分辨率重建方法，通过构建密集特征融合神经网络骨架，有效地缓解了浅层信息损失的问题；本专利技术基于蒸馏网络机制，设计了多尺度感受野特征融合架构，能提取到更为丰富多样的特征；本专利技术针对特征提取子单元，采用更加高效轻量的特征提取模块，大大提高整个网络的效率；本专利技术设计了基于哈希映射的极简non－local模块，以非常小的代价深度发掘点与点之间的相关性；另外，本专利技术巧妙融合空间信息，通道信息和二阶信息，得到了性能更佳的注意力模块。本专利技术提出的方法参数量
少，计算量小，精度高，超越了目前800K以下的所有图像超分辨率重建方法。
附图说明
[0038]图1为本专利技术提供的一种极轻量的图像超分辨率重建的流程图；
[0039]图2为本专利技术实施例提供的一种密集特征融合神经网络骨架示意图；
[0040]图3为本专利技术实施例提供的一种基于蒸馏网络机制的多尺度感受野特征融合架构示意图；
[0041]图4所示为本专利技术实施例提供的一种更加高效轻量的特征提取子单元示意图；
[0042]图5为本专利技术实施例提供的一种基于哈希映射的极简non－local模块的结构示意图；
[0043]图6为本专利技术实施例提供的一种融合空间信息、通道信息和二阶信息的注意力模块的主架构示意图；
[0044]图7为本专利技术实施例提供的一种融合空间信息、通道信息和二阶信息的注意力模块中Contrast模块的结构示意图；
[0045]图8为本专利技术实施例提供的一种图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种极轻量的图像超分辨率重建方法，其特征在于，图像超分辨率重建方法包括：步骤1，构建密集特征融合神经网络模型的骨架，所述神经网络模型的骨架包括依次层级连接的多个特征提取模块和一个注意力模块；步骤2，基于蒸馏网络机制，将所述特征提取模块设计为多尺度感受野特征融合架构；步骤3，在所述神经网络模型的骨架中添加基于哈希映射的极简non－local模块，通过所述non－local模块通融合所述神经网络模型的各个网络层次所包含的特征信息；步骤4，融合通道注意力信息、空间注意力信息和二阶注意力信息后得到所述注意力模块。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述步骤1包括：融合每个所述特征提取模块前后的特征作为该特征提取模块的最终输出；融合所有所述特征提取模块的特征并通过所述注意力模块对该特征进行修正。3.根据权利要求2所述的图像超分辨率重建方法，其特征在于，融合层级连接的各个所述特征提取模块前后的特征的过程包括：各个所述特征提取模块的后方设置一条线将紧邻的前层特征提取模块的特征传递过来并进行通道级联，通过一个1
×
1卷积和激活函数进行特征融合；将每个所述特征提取模块得到的不同深度的特征通过下方的信息通道传输出来并进行通道级联和特征融合。4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述特征提取模块包括：多个特征提取支路和对应的蒸馏支路，各个特征提取支路上设置有特征提取子单元，所述蒸馏支路由1
...

【专利技术属性】
技术研发人员：陶文兵，罗京，刘李漫，
申请(专利权)人：武汉图科智能科技有限公司，
类型：发明
国别省市：