一种融合结构和语义模态的行为表征方法和系统技术方案

技术编号:21606814 阅读:16 留言:0更新日期:2019-07-13 18:39
本申请公开了一种融合结构和语义模态的行为表征方法和系统,所述方法包括:对原始数据进行处理,得到多个子图;对所述多个子图分别进行数据结构化处理,将处理得到的结构化数据输入神经网络中进行训练,得到每个子图的输出结果;对所述每个子图的输出结果进行合并。

A Behavior Representation Method and System Fusing Structure and Semantic Modal

【技术实现步骤摘要】
一种融合结构和语义模态的行为表征方法和系统
本申请涉及神经网络技术,尤其涉及一种融合结构和语义模态的行为表征方法和系统。
技术介绍
近年来,卷积神经网络的迅速发展,在网络数据上已经取得了巨大的成功,比如图片处理,手写数据集的识别等问题。深度学习方法在对象识别和图像分类方面取得了巨大成功。但是,自然界的许多问题都不能简单的建模为网格数据,最典型的就是社交网络,在社交网络中,用户构成一个个的点,他们之间的认识与否构成边,边上的权值有节点的度构成,通过这个模型可以解决社交网络中的许多问题。因此,最近的一些工作集中在将卷积神经网络推广到网格之外的结构,即从2D/3D图像到任意图形或网络。图上的卷积神经网络通常被称为图形卷积网络(GraphConvolutionalNetwork,GCN),并且通过将任意图形表示为具有有效的丰富结构化语义信息的固定特征映射,在特征提取中具有鲁棒性。然而这种在任意图上做卷积的方式目前存在几个问题:1)局部邻域中图卷运算过度简化。作为局部邻域中节点值的聚合,存在与基本图卷积运算相关联的信息的潜在损失;2)对同构图进行分类的效果差。GCN模型不能直接应用,因为它与图中的节点顺序的等价性相当,这意味着它们不能保证任何两个同构图的输出总是相同的;3)获取全局信息的能力有限。图形卷积过滤器是本地数据,并提供本地数据的平均/聚合视图。这个缺点在处理节点标签不存在的图表时会造成严重的困难;4)进行最大池化(MaxPooling)时存在的缺点。由于对节点排序进行了比较,MaxPooling无法保证同构子图共享不变特征向量,因为MaxPooling可以测量子图的比较顺序。并且,MaxPooling运算符是聚合后用于实现不变性的流行选择。这些问题的存在,使得现在的神经网络对于任意图的处理学习方面效果存在不少问题,导致效果并不好。申请内容为解决上述技术问题,本申请实施例提供了一种融合结构和语义模态的行为表征方法和系统。本申请实施例提供的神经网络处理数据的方法,包括:对原始数据进行处理,得到多个子图;对所述多个子图分别进行数据结构化处理;将处理得到的结构化数据输入神经网络中进行训练,得到每个子图的输出结果;对所述每个子图的输出结果进行合并。本申请实施例提供的神经网络处理数据的装置,包括:子图提取模块,用于对原始数据进行处理,得到多个子图;结构化处理模块,用于对所述多个子图分别进行数据结构化处理;卷积处理模块,用于将处理得到的结构化数据输入神经网络中进行训练,得到每个子图的输出结果;合并模块,用于对所述每个子图的输出结果进行合并。采用本申请实施例的上述技术方案,1)考虑了不同边缘对节点标注产生的影响。实现了深度卷积神经网络来提取辨别图特征,特别是为了避免同构子图问题;2)能够提取复杂的空间信息,并在现实世界图中提取不同的子图;3)通过使用提出的基于匹配的子图归一化和掩盖的自我注意层在大多数任务中获得了显着的性能提升。附图说明图1为本申请实施例提供的神经网络处理数据的方法的流程示意图;图2为本申请实施例提供的社交网络的行为表征架构图;图3为本申请实施例提供的神经网络处理数据的架构图;图4为本申请实施例提供的神经网络处理数据的装置的结构组成示意图。具体实施方式现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。本申请实施例可以应用于计算机系统/服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。任意图模型是很常见的一种结构,许多现实世界的问题都可以建模成该结构,但是它的处理上还存在不少问题,因此,本申请实施例提出了一种新的融合结构和语义模态的系统来解决这类问题,这个系统可以克服卷积运算和获取相邻节点特征的局限性,通过选择合理的结构,可以更好的获得整体的数据信息,更快速的进行处理,以在社交网络上进行的实验为例:本申请实施例为社交网络数据集精心设计了合适的网络主题,并执行与主题匹配的引导图规范化选定的小图。并且适应可计算的自注意前提条件,不仅放弃了两个方向的汇集操作,而且还通过设置水平步幅来确保特征映射上的每个维度代表特征性子图。图1为本申请实施例提供的神经网络处理数据的方法的流程示意图,如图1所示,所述神经网络处理数据的方法包括以下步骤:步骤101:对原始数据进行处理,得到多个子图;对所述多个子图分别进行数据结构化处理。本申请实施例中,可以使用python的graph-tool工具对原始数据进行处理,得到多个子图,并对多个子图分别进行数据结构化处理。需要说明的是,本申请实施例可以基于python环境来实现,不局限于此,在不偏离本申请实施例的技术方案核心的情况下,本申请实施例还可以基于其他语言环境来实现。本申请实施例中,子图的提取过程可以通过以下步骤来实现:1)对目标网络中的节点按照紧密中心度进行排序;2)选择前k个节点作为各个子图的中心节点,k是子图个数;3)针对所述前k个节点中的各个节点,将该节点周围的m个节点增加到该节点对应的子图中,m是该子图中的节点数。本申请实施例中,子图的数据结构化处理过程可以通过以下步骤来实现:1)针对所述多个子图中的各个子图,将该子图中的节点按照紧密中心度进行排序,并选择两跳结构对所述子图进行结构化处理,得到中心节点、第二跳节点和三跳节点;基于所述中心节点和该节点之后的节点构成的三角结构,形成第一块矩阵;2)基于所述第二跳节点和该节点之后的节点构成的三角结构,形成第二块矩阵;基于所述第三跳节点和该节点之后的节点构成的三角结构,形成第三块矩阵;3)将所述第一块矩阵、所述第二块矩阵和所述第三块矩阵进行拼接,构成所述子图的结构化表示。步骤102:将处理得到的结构化数据输入神经网络中进行训练,得到每个子本文档来自技高网...

【技术保护点】
1.一种融合结构和语义模态的行为表征方法和系统,其特征在于,所述方法包括:对原始数据进行处理,得到多个子图;对所述多个子图分别进行数据结构化处理;将处理得到的结构化数据输入神经网络中进行训练,得到每个子图的输出结果;对所述每个子图的输出结果进行合并。

【技术特征摘要】
1.一种融合结构和语义模态的行为表征方法和系统,其特征在于,所述方法包括:对原始数据进行处理,得到多个子图;对所述多个子图分别进行数据结构化处理;将处理得到的结构化数据输入神经网络中进行训练,得到每个子图的输出结果;对所述每个子图的输出结果进行合并。2.根据权利要求1所述的方法,其特征在于,所述对原始数据进行处理,得到多个子图,包括:对目标网络中的节点按照紧密中心度进行排序;选择前k个节点作为各个子图的中心节点,k是子图个数;针对所述前k个节点中的各个节点,将该节点周围的m个节点增加到该节点对应的子图中,m是该子图中的节点数。3.根据权利要求1所述的方法,其特征在于,所述对所述多个子图分别进行数据结构化处理,包括:针对所述多个子图中的各个子图,将该子图中的节点按照紧密中心度进行排序,并选择两跳结构对所述子图进行结构化处理,得到中心节点、第二跳节点和三跳节点;基于所述中心节点和该节点之后的节点构成的三角结构,形成第一块矩阵;基于所述第二跳节点和该节点之后的节点构成的三角结构,形成第二块矩阵;基于所述第三跳节点和该节点之后的节点构成的三角结构,形成第三块矩阵;将所述第一块矩阵、所述第二块矩阵和所述第三块矩阵进行拼接,构成所述子图的结构化表示。4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:利用注意力模型提取相邻子图的之间的联系信息。5.根据权利要求4所述的方法,其特征在于,所述注意力模型采用如下公式:其中,是注意力模型计算的第i个节点的结果,j代表与节点i相邻的节点,S是注意力的个数,是神经网络训练出来的每个子图的输出结果进行合并后的结果,表示子图之间的连接关系因子。6.一种神经网...

【专利技术属性】
技术研发人员:李建欣宁元星彭浩龚其然李培文
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1