一种空间金字塔图卷积网络实现方法技术

本发明专利技术公开了一种空间金字塔图卷积网络实现方法，该方法首先生成针对深度网络特征图的关联矩阵，并通过对其进行分解和使用乘法结合律，导出了高效的计算方法，从而可以使图卷积直接在原始特征空间进行。本发明专利技术作为一种轻量级网络，打破了过往方法中图卷积需要在语义节点中进行的局限，并且通过在多个尺度上进行图推理，进一步提升了网络的表达能力；本发明专利技术能够有效地解决全卷积网络感知域不足的问题，显著地提升全卷积网络的性能；本发明专利技术提出的图卷积方案，在计算机视觉中的密度预测任务中取得了显著的性能，示例与实验充分验证了本发明专利技术的有效性和潜在应用价值。

A realization method of convolution network of spatial pyramid

【技术实现步骤摘要】
一种空间金字塔图卷积网络实现方法
本专利技术属于图卷积网络和深度网络结构设计领域，尤其涉及一种空间金字塔图卷积网络实现方法。
技术介绍
近年来，基于全卷积网络的网络结构在计算机视觉任务中取得了巨大的成功。全卷积网络仅由卷积层和池化层构成，通过堆叠卷积层，网络的理论感知域可以随网络深度增大而增加。但是其有效感知域有限，因此它们只能为每个捕获局部信息。因此，全卷积网络难以捕获复杂的上下文信息。而对于密集预测任务，如语义分割、深度估计等，上下文信息非常关键。这一问题限制了全卷积网络的性能。目前已有诸多方法来尝试解决这一问题。基于空洞卷积的空间金字塔提出使用不同的卷积膨胀系数来捕获不同距离的上下文信息。可变形卷积通过学习卷积位置的偏移，来自适应地决定最终感知域。非局部神经网络和双重注意力网络尝试引入新的交互模块使像素感知整个空间。递归神经网络也被用来执行远程推理。上述几种方法，扩大了感知域，能够帮助网络捕捉远程信息，但存在计算量大的问题。标准卷积在非结构数据上进行延拓，产生了图卷积。后续的研究对图卷积公式进行了近似计算，以减少计算成本和本文档来自技高网...

【技术保护点】
1.一种空间金字塔图卷积网络实现方法，其特征在于，包括以下步骤：/n(1)图像经过卷积网络后得到原始尺度的特征X

【技术特征摘要】
1.一种空间金字塔图卷积网络实现方法，其特征在于，包括以下步骤：
(1)图像经过卷积网络后得到原始尺度的特征X0，然后对X0下采样得到多尺度特征，公式如下：
Xs+1＝∏down(Xs)
其中，∏down表示下采样；上标表示尺度层级，范围为0～S，Xs+1、Xs表示尺度层级为s、s+1的特征。
(2)对步骤(1)得到的多尺度特征进行图卷积，然后进行上采样并加上前一级尺度特征的图卷积输出，最后得到网络的输出Y0，公式如下：
Ys＝GR(Xs)+∏up(Ys+1)
其中，Ys表示第s级尺度特征的网络输出，且YS＝GR(XS)，XS为最小尺度的特征；GR表示图卷积；∏up表示上采样。


2.根据权利要求1所述空间金字塔图卷积网络实现方法，其特征在于，所述图卷积由以下步骤实现：
(2.1)输入特征图X∈RH×W×C；其中，H，W，C分别指特征图X的高、宽和通道数。
(2.2)获得关联矩阵A，包括以下子步骤：
(2.1.1)步骤(2.1)输入的X经过1×1卷积进行变换得到通道数为M的Φ(X；WΦ)；其中WΦ表示1×1卷积参数。
(2.1.2)步骤(2.1)输入的X先进行空间池化到1×1×C，再通过1×1卷积得到维度为M的向量，最后...

【专利技术属性】
技术研发人员：林宙辰，李夏，
申请(专利权)人：之江实验室，
类型：发明
国别省市：浙江;33