丰富结构信息的深度网络表征方法技术

本发明专利技术公开了一种丰富结构信息的深度网络表征方法，通过综合的视角利用丰富的多阶结构信息来进行网络表征，例如，对不同阶的转移矩阵引入转移概率方向调整控制参数，利用堆叠降噪autoencoder对不同阶的转移矩阵进行非线性降维处理，利用注意力机制对多阶信息进行融合等，较好的提升了网络表征的效果。

【技术实现步骤摘要】
丰富结构信息的深度网络表征方法
本专利技术涉及机器学习及网络表征优化领域，尤其涉及一种丰富结构信息的深度网络表征方法。
技术介绍
网络表征是近期的一个热门技术，因为这种技术可以很好的提升神经网络的预测性能，同时也可以应用到多种其他的应用中。网络表征是学习网络节点低维表征的一种重要方法，其目的是捕捉和保存有效的结构信息。低维空间的网络表征可以为多种和网络有关的研究带来有益影响，例如影响力分析，社团发现，节点分类，经济决策支持等。目前在存在的只利用网络拓扑结构信息的众多网络表征方法中，应用比较有效的和广泛的是将网络从高维空间映射到低维矢量空间的这类方法，例如DeepWalk,node2vec,GraRep,DNGR和SDNE等。但是目前存在的这类算法，在设计时，都是从单一视角侧重某一方面来考虑的，例如邻居节点类型，抗干扰性，高阶信息利用，非线性结构关系等，没有从多视角多方面考虑的综合解决方案。这样就导致现有算法存在缺少节点邻居类型选择性，或者对噪声数据敏感等问题。
技术实现思路
本专利技术的目的是提供一种丰富结构信息的深度网络表征方法，可以很好的利用有效的结构拓扑信息对网络节点进行表征，从而为分类、预测等下游应用提供有力的支撑。本专利技术的目的是通过以下技术方案实现的：一种丰富结构信息的深度网络表征方法，包括：获取网络拓扑结构的不同阶初始特征矩阵，以捕获必要的网络结构信息；对不同阶初始特征矩阵进行微处理，获得不同阶的正偏置优化矩阵；对不同阶的正偏置优化矩阵进行降维处理，获得不同阶的隐特征，通过不同阶的隐特征来反应网络结构特征的不同方面和水平；利用注意力机制来计算各个隐特征的融合权值；结合所有隐特征及相应的融合权值来预测相关任务的概率分布输出。由上述本专利技术提供的技术方案可以看出，通过综合的视角利用丰富的多阶结构信息来进行网络表征，例如，对不同阶的转移矩阵引入转移概率方向调整控制参数，利用堆叠降噪autoencoder对不同阶的转移矩阵进行非线性降维处理，利用注意力机制对多阶信息进行融合等，较好的提升了网络表征的效果。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种丰富结构信息的深度网络表征方法的流程图；图2为本专利技术实施例提供的一种丰富结构信息的深度网络表征方法的模型框架整体框图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种丰富结构信息的深度网络表征方法，如图1所示，其主要包括如下步骤：步骤1、获取网络拓扑结构的不同阶初始特征矩阵，以捕获必要的网络结构信息。本专利技术实施例中，在获取网络拓扑结构的不同阶初始特征矩阵时，通过引入k阶偏置超参数，来对网络节点邻居搜索方向进行调节，以捕获有效的网络结构信息。在该步骤，还引入了两个控制参数(p和q)来调节转移概率，并提出了偏置转移矩阵的概念，通过该偏置转移矩阵，模型可以灵活的选取和调节网络结构的类型。由于模型的动机是获取必要的信息来更好的对网络进行表征，所以，为了更好的完成任务，引入控制参数来灵活选取必要的信息是必要的。步骤2、对不同阶初始特征矩阵进行微处理，获得不同阶的正偏置优化矩阵。本专利技术实施例中，为了提高表征的稀疏性和一致性，需要对不同阶的初始特征矩阵进行调整处理，获得不同阶的正偏置优化矩阵。步骤3、对不同阶的正偏置优化矩阵进行降维处理，获得不同阶的隐特征，通过不同阶的隐特征来反映网络结构特征的不同方面和水平。本专利技术实施例中，利用stackeddenoise(堆叠降噪)autoencoder对不同阶的正偏置优化矩阵进行降维处理，获得对应子空间里的隐特征。由于网络结构类型具有多样性(例如结构同质性、结构同位性、子图的大小等因素)，不同阶的隐表征反映了网络结构特征的不同方面和水平。步骤4、利用注意力机制来计算各个隐特征的融合权值。为了将多阶信息结合在一起，通过引入目标标签信息，并利用注意力机制计算不同隐特征的融合权重值。因为对不同阶的特征进行权值的优化，而不是对特征进行简单的相加或拼接进行融合，所以，对具体的表征任务，本专利技术能聚焦更重要的信息。步骤5、结合所有隐特征及相应的融合权值来预测相关任务的概率分布输出。本专利技术实施例中，预测任务主要包括：节点分类、连接预测及经济决策预测等。为了便于理解，下面针对本专利技术上述方案做详细说明。本专利技术实施例所提供的深度网络表征方法基于多角度多方面综合网络拓扑信息框架模型来实现，模型框架如图2所示。框架模型的目的是在将每一个节点从高维空间映射到低维空间的时候，要尽可能的能显式的捕捉和保存如下信息：1)需要的特定类型的结构信息；2)多阶结构信息；3)非线性结构信息，以充分的利用有效的结构拓扑信息对网络节点进行表征，进而为分类、预测等应用提供更可靠的支撑。一、获取网络拓扑结构的不同阶初始特征矩阵。本专利技术实施例中，引入偏置转移概率矩阵Uk，来对网络节点邻居搜索方向进行调节，偏置转移概率矩阵Uk表示为：Uk＝B·Ak，其中，k代表k阶，k＝1,2,...,K，K为阶的总数；B＝[αpq(vi,vj)]；其中，p和q均为控制参数，vi和vj分别代表输入样本序列中对应第i和j(i和j均为计数变量，后文多处使用的下标i也是此含义)的节点，代表vi和vj之间的距离，N为网络节点数，即输入样本总数；A＝D-1S，S为网络的邻接矩阵，D为网络的度矩阵(也是对角矩阵)，二者关系如下：其中H代表节点vi的邻居节点集合，代表vi和vj之间的邻接值。基于偏置转移概率矩阵Uk学习网络表征的理论损失函数Lk(vi,vj)，可表示为：其中，分别代表节点vi、vj对应的矢量，Dk代表观察到的节点和其他节点形成的具有k阶采样路径的节点对的集合，#(vi,vj)k代表节点对(vi,vj)在Dk中出现的次数，#(vi)k和#(vj)k分别代表节点vi和vj在Dk出现的次数，λ代表负采样数，σ(·)是sigmoid函数，σ(·)＝(1+e-x)-1。经过推导得到：其中代表节点vi对应网络节点表征矩阵的行，代表节点vj对应网络背景表征矩阵的列的转置，代表矩阵Mk中对应节点vi和vj的值，代表矩阵Uk中对应节点vi和vj的值。由上述公式可知，对损失函数的优化问题，转变为对偏置优化矩阵Mk的矩阵分解问题。从而获得不同阶初始特征矩阵，其中k阶初始特征矩阵记为Mk，该矩阵Mk也是一个偏置优化矩阵。同时，矩阵Mk能基于节点属于的角色或社团，通过合适的邻居选取方式来学习表征。二、对不同阶初始特征矩阵进行微处理。本专利技术实施例中，为了提升网络表征特征矩阵的稀疏性和一致性，将k阶初始特征矩阵Mk中的所有负值替换为0，从而获得相应的正k阶偏置优化矩阵Xk，表示为：其中，代表矩阵Xk中对应节点vi和vj的值。三、对不同阶的正偏置优化矩阵进行降维处理。前本文档来自技高网...

【技术保护点】
1.一种丰富结构信息的深度网络表征方法，其特征在于，包括：获取网络拓扑结构的不同阶初始特征矩阵，以捕获必要的网络结构信息；对不同阶初始特征矩阵进行微处理，获得不同阶的正偏置优化矩阵；对不同阶的正偏置优化矩阵进行降维处理，获得不同阶的隐特征，通过不同阶的隐特征来反应网络结构特征的不同方面和水平；利用注意力机制来计算各个隐特征的融合权值；结合所有隐特征及相应的融合权值来预测相关任务的概率分布输出。

【技术特征摘要】
1.一种丰富结构信息的深度网络表征方法，其特征在于，包括：获取网络拓扑结构的不同阶初始特征矩阵，以捕获必要的网络结构信息；对不同阶初始特征矩阵进行微处理，获得不同阶的正偏置优化矩阵；对不同阶的正偏置优化矩阵进行降维处理，获得不同阶的隐特征，通过不同阶的隐特征来反应网络结构特征的不同方面和水平；利用注意力机制来计算各个隐特征的融合权值；结合所有隐特征及相应的融合权值来预测相关任务的概率分布输出。2.根据权利要求1所述的一种丰富结构信息的深度网络表征方法，其特征在于，所述获取网络拓扑结构的不同阶初始特征矩阵包括：引入偏置转移概率矩阵Uk，来对网络节点邻居搜索方向进行调节，偏置转移概率矩阵Uk表示为：Uk＝B·Ak，其中，k代表k阶，k＝1,2,...,K，K为阶的总数；B＝[αpq(vi,vj)]；其中，p和q均为控制参数，vi和vj分别代表输入样本序列中对应第i和j的节点，代表vi和vj之间的距离，N为网络节点数，即输入样本总数；A＝D-1S，S为网络的邻接矩阵，D为网络的度矩阵，也是对角矩阵，二者关系如下：其中H代表节点vi的邻居节点集合，代表vi和vj之间的邻接值。基于偏置转移概率矩阵Uk学习网络表征的理论损失函数Lk(vi,vj)，表示为：其中，分别代表节点vi、vj对应的矢量，Dk代表观察到的节点和其他节点形成的具有k阶采样路径的节点对的集合，#(vi,vj)k代表节点对在Dk中出现的次数，#(vi)k和#(vj)k分别代表节点vi和vj在Dk出现的次数，λ代表负采样数，σ(·)是sigmoid函数；经过推导得到：其中代表节点vi对应网络节点表征矩阵的行，代表节点vj对应网络背景表征矩阵的列的转置，代表矩阵Mk中对应节点vi和vj的值，代表矩阵Uk中对应节点vi和vj的值；从而获得不同阶初始特征矩阵，其中k阶初始特征矩阵记为Mk，该矩阵Mk也即一个偏置优化矩阵。3.根据权利要求1所述的一种丰富结构信息的深度网络表征方法，其特征在于，所述对不同阶初始特征矩阵进行微处理，获得不同阶的正偏置优化矩阵包括：将k阶初始特征矩阵记为Mk，将Mk中的所有负值被替换为0，从而获得相应的正k阶偏置优化矩阵Xk，表示为：其中，代表矩阵Xk中对应节点vi和vj的值。4.根据权利要求1所述的一种丰富结构信息的深度网络表征方法，其特征在于，所述对不同阶的正偏置优化矩阵进行降维处理，获得不同阶的隐特征包括：通过堆叠降噪autoencoder对不同阶的正偏置优化矩阵进行降维处理，其中，对不同阶的正偏置优化矩阵中的矢量部分位置的值以一定概率随机设置为0；最终获得不同阶的正偏置优化矩阵对应子空间里的隐特征；降维过程的损失...

【专利技术属性】
技术研发人员：乔立升，陈恩红，刘淇，赵洪科，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34