一种双速时空图卷积神经网络架构及数据处理方法技术

本发明专利技术公开了图数据处理领域的一种双速时空图卷积神经网络架构及数据处理方法，其包括：时空图特征编码模块，包括高速时空图特征编码模块和低速时空图特征编码模块，分别用于接收高、低速时空图数据并进行编码，并将编码后得到的输出张量输出至时空图卷积模块；时空图卷积模块，包括高速时空图卷积模块和低速时空图卷积模块，分别用于对高、低速时空图数据的输出张量进行图卷积运算，并将运算得到的输出特征张量输出至融合模块。本发明专利技术可用于基于时空图数据相关的任务中，与现有技术相比，本发明专利技术能有效提取时空图中的长时和短时信息，另外，不同路中节点的不同连接关系可使模型学习到更有辨别力的特征，从而获得更好的图节点或图分类性能。图分类性能。图分类性能。

【技术实现步骤摘要】
一种双速时空图卷积神经网络架构及数据处理方法


[0001]本专利技术涉及一种双速时空图卷积神经网络架构及数据处理方法，属于图数据处理


技术介绍

[0002]卷积神经网络近年来在图像、视频、自然语言以及语音领域方面表现优异，然而，大部分卷积神经网络只能处理欧氏空间数据(如图像、文本和语音)，这些领域的数据具有平移不变性。平移不变性使得我们可以在输入数据空间定义全局共享的卷积核，从而定义卷积神经网络。图数据作为一种非欧式空间的数据，传统的卷积神经网络对其处理的效果较差，因此，图卷积神经网络被提出并成为对图数据建模的主要模型。
[0003]图数据建模所针对的应用场景非常广泛，这也使得图数据建模所处理的任务多样。下游任务可分为节点级别的任务和图级别的任务，节点级别的任务包括节点分类，链接预测等，如引文网络中的文章分类，推荐系统中用户对商品的偏好推断。图级别的任务包括图生成，图分类等，如药物网络生成，蛋白质网络中的蛋白质分类、骨架动作分类等。
[0004]图卷积神经网络的构建所面临的挑战主要来源于以下几个方面：
[0005](1)图数据是非欧式数据，传统卷积神经网络中的卷积和池化，依赖于平移不变性，如何针对图数据设计卷积和池化是设计的难点；
[0006](2)图数据的多样性，实际生活中的多种应用都可以用图数据自然的表示，这使得图数据具有多样的特性，如社交网络中用户的有向连接，引文网络中作者和引文的异质连接等，针对不同的图，需要设计不同的图卷积神经网络以更好地建模图数据；
[0007](3)图数据的大规模性，在大数据时代，实际应用中的图可能规模极大，含有百万甚至千万级别的节点，如推荐系统中的用户商品网络，社交网络中的用户网络，如何在时间和空间可接受范围内在大规模图上构建图卷积神经网络也是非常大的挑战。

技术实现思路

[0008]本专利技术的目的在于克服现有技术中的不足，提供一种双速时空图卷积神经网络架构，用于基于时空图数据相关的任务中，能有效提取时空图中的长时和短时信息，且不同路中节点的不同连接关系可使模型学习到更有辨别力的特征，从而获得更好的图节点或图分类性能。
[0009]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0010]第一方面，本专利技术提供了一种双速时空图卷积神经网络架构，包括：
[0011]时空图特征编码模块，包括高速时空图特征编码模块和低速时空图特征编码模块，分别用于接收高、低速时空图数据并进行编码，并将编码后得到的输出张量输出至时空图卷积模块；
[0012]时空图卷积模块，包括高速时空图卷积模块和低速时空图卷积模块，分别用于对高、低速时空图数据的输出张量进行图卷积运算，并将运算得到的输出特征张量输出至融
合模块；
[0013]融合模块，用于对高、低速时空图数据的输出特征张量进行融合运算并输出结果。
[0014]优选的，所述时空图特征编码模块包括：
[0015]图节点特征编码器，用于对时空图数据中的图节点特征张量进行编码；
[0016]图节点时空序号编码器，包含空间序号编码器和时间序号编码器，二者分别用于对时空图数据的图节点空间序号张量和图节点时间序号张量进行编码。
[0017]优选的，所述图节点特征编码器由1
×
1卷积层、BN层和激活函数层顺序组合而成，所述空间序号编码器和时间序号编码器均由1
×
1卷积层和激活函数层顺序组合而成，且空间序号编码器、时间序号编码器与图节点特征编码器的卷积层输出通道数一致。
[0018]优选的，所述时空图卷积模块包括由两条支路组成的时空图卷积，其中一条支路用于将所述时空图特征编码模块的输出张量与邻接矩阵相乘，再经过1
×
1卷积层、BN层和激活函数层，另一条支路用于将所述时空图特征编码模块的输出张量直接经过1
×
1卷积层、BN层和激活函数层。
[0019]优选的，所述融合模块包括：
[0020]高、低速池化层，用于将高、低速时空图的输出特征张量池化到同一输出尺度，并输出至高、低速特征并列层；
[0021]高、低速特征并列层，用于将池化后的输出特征张量并列，并输出至时空卷积；
[0022]时空卷积层，包括K*K卷积，BN层以及激活函数层，用于计算所述高、低速特征并列层并列后的输出特征张量。
[0023]优选的，所述融合模块还包括：
[0024]时空池化层，用于将时空卷积层处理后的输出特征张量进行池化处理，并输出至全连接层；
[0025]全连接层，用于接收时空池化层的输出特征张量并输出分类结果。
[0026]第二方面，本专利技术提供了一种双速时空图数据处理方法，包括以下步骤：
[0027]接收高、低速时空图数据并分别进行编码操作得到输出张量；
[0028]对高、低速时空图数据的输出张量分别进行图卷积运算得到输出特征张量；
[0029]对高、低速时空图数据的输出特征张量行融合运算并输出结果。
[0030]优选的，所述编码操作包括：
[0031]对高、低速时空图数据进行图节点特征编码操作和图节点时空序号编码操作，并将图节点特征编码操作和图节点时空序号编码操作后的特征张量相加；
[0032]其中，所述图节点时空序号编码操作包括空间序号编码操作和时间序号编码操作。
[0033]与现有技术相比，本专利技术所达到的有益效果：
[0034]本专利技术通过提供一种双速时空图卷积神经网络架构及数据处理方法，可用于基于时空图数据相关的任务中，与现有技术相比，本专利技术同时处理高速(高帧率)和低速(低帧率)时空图数据，能有效提取时空图中的长时和短时信息，另外，不同路中节点的不同连接关系可使模型学习到更有辨别力的特征，从而获得更好的图节点或图分类性能。
附图说明
[0035]图1是本专利技术实施例一提供的双速时空图卷积神经网络架构的整体结构图。
[0036]图2是本专利技术实施例一提供的高低速时空图特征编码模块示意图。
[0037]图3是本专利技术实施例一提供的高低速时空图卷积模块示意图。
[0038]图4是本专利技术实施例一提供的融合模块的结构示意图。
具体实施方式
[0039]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0040]实施例一：
[0041]一种双速时空图卷积神经网络架构，包括高、低速时空图特征编码模块；高、低速时空图卷积模块，融合模块。其中：
[0042]高、低速时空图特征编码模块，其输入为图节点特征张量和图节点时空序号张量，时空序号特征使用独热编码得到。包含图节点特征编码器以及图节点时空序号编码器，其中：图节点特征编码器由1
×
1卷积层、BN层(批次归一化，Batch Normalization)、激活函数层(根据任务选择，一般选ReLU本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双速时空图卷积神经网络架构，其特征在于，包括：时空图特征编码模块，包括高速时空图特征编码模块和低速时空图特征编码模块，分别用于接收高、低速时空图数据并进行编码，并将编码后得到的输出张量输出至时空图卷积模块；时空图卷积模块，包括高速时空图卷积模块和低速时空图卷积模块，分别用于对高、低速时空图数据的输出张量进行图卷积运算，并将运算得到的输出特征张量输出至融合模块；融合模块，用于对高、低速时空图数据的输出特征张量进行融合运算并输出结果。2.根据权利要求1所述的一种双速时空图卷积神经网络架构，其特征在于，所述时空图特征编码模块包括：图节点特征编码器，用于对时空图数据中的图节点特征张量进行编码；图节点时空序号编码器，包含空间序号编码器和时间序号编码器，二者分别用于对时空图数据的图节点空间序号张量和图节点时间序号张量进行编码。3.根据权利要求2所述的一种双速时空图卷积神经网络架构，其特征在于，所述图节点特征编码器由1
×
1卷积层、BN层和激活函数层顺序组合而成，所述空间序号编码器和时间序号编码器均由1
×
1卷积层和激活函数层顺序组合而成，且空间序号编码器、时间序号编码器与图节点特征编码器的卷积层输出通道数一致。4.根据权利要求1所述的一种双速时空图卷积神经网络架构，其特征在于，所述时空图卷积模块包括由两条支路组成的时空图卷积，其中一条支路用于将所述时空图特征编码模块的输出张量与邻接矩阵相乘，再经过1
×
1卷积层、BN层和...

【专利技术属性】
技术研发人员：张雄伟，方正，曹铁勇，郑云飞，孙蒙，王杨，杨吉斌，赵斐，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：