基于多视角的随机删边嵌入模型的分类方法技术

本发明专利技术为基于多视角的随机删边嵌入模型的分类方法，该分类方法从两个视角分别是一阶邻居的编码和图扩散分布的各自的特殊通道和他们两个共享权重通道对其进行随机删边操作求和分别做KL散度，两个独特通道和共享权重通道再结合图注意力自适应权重嵌入可以实现最佳性能。基于随机删除边的思想对邻接矩阵和图扩散进行了节点增强，防止过拟合和过平滑增强模型的深度和嵌入能力，提高分类效果及分类速度。

【技术实现步骤摘要】
基于多视角的随机删边嵌入模型的分类方法
本专利技术属于同构图半监督分类
，具体是一种基于多视角的随机删边嵌入模型的分类方法。
技术介绍
随着机器学习和深度学习成为计算机科研领域非常热门的技术，CNN等一大批经典模型的出现更加推动了在CV领域的发展壮大。但是这些模型都是处理有规则的方方正正的数据，现实社会中更多的存在于非结构化数据，比如社交网络、引用网络、电话通讯网络等等。在处理这些数据情况下CNN就要逊色很多。近些年专家学着的研究提出了图神经网络(GNN)，目的就是为了解决CNN处理不了的数据，比如最近非常火的GCN、GAN等模型在处理非结构化数据表现非常的出色。图卷积神经网络(GNN)已被广泛用于图形表示的学习中，并在诸如节点分类和链接预测等任务中实现了较优的性能。GCN、GAT等这些模型都是从一个视角处理问题，并没有考虑多视角来获取更完整的信息，另外过平滑和过拟合都影响了深度神经网络的表达能力。最近相关论文AM-GCN通过实验证明了从两个视角即初始条件的邻接矩阵和以属性相关生成的邻接矩阵，一阶邻居的编码和生成属性相关矩阵的各自的特殊通道和他们两个共享权重通道分别进行了GCN得到最后的嵌入，在节点分类任务上取得了不错的效果，由于使用了希尔伯特-施密特独立性准则(Hilbert-SchmidtIndependenceCriterion(HSIC))一个简单而有效的独立措施，增强这两种嵌入的差距，通过实验表明使用HSIC并没有任何提高分类的效果，反而导致了模型的反向传播复杂度大，运行慢等问题。r>
技术实现思路
针对现有技术的不足，本专利技术拟解决的技术问题是，提供一种基于多视角的随机删边嵌入模型的分类方法。该分类方法，运行速度较快，且分类准确性在大多数据集中均表现出更高的精度，综合性能更优。本专利技术解决所述技术问题采用的技术方案是：一种基于多视角的随机删边嵌入模型的分类方法，包括以下步骤：步骤1、对已知的初始邻接矩阵A做图扩散(diffusion)操作得到图扩散矩阵S，将邻接矩阵A和图扩散矩阵S分别做随机剔除边操作得到Adrop和Sdrop。这是数据预处理也是为后面操作提供的基本条件。步骤2、邻接矩阵A和图扩散矩阵S分别经过两个独立通道的多层GCN卷积层得到嵌入矩阵ZE1、ZE2，随机剔除边Adrop和随机剔除边Sdrop分别经过共享通道的多层GCN卷积层获得嵌入矩阵ZCE1、ZCE2，嵌入矩阵ZCE1与嵌入矩阵ZCE2求和获得嵌入矩阵ZCM；不同种类通道GCN卷积层权重w不一样，共享通道的权重相同。步骤3、对嵌入矩阵ZE1、ZE2、ZCM使用注意力机制确定各嵌入矩阵的重要性，根据公式(10)得到最终嵌入矩阵Z；Z＝αE1·ZE1+αCM·ZCM+αE2·ZE2(10)其中，(αE1,αCM,αE2)分别为对应嵌入矩阵的重要性；步骤4、将步骤3获得的最终嵌入矩阵Z输入到具有线性变换和softmax函数的半监督多类分类器中，获得对应最终嵌入矩阵Z的预测标签，将预测标签和对应的真实标签Y做交叉熵，获得交叉熵损失函数Lt，步骤5、分别让ZE1和ZCM求KL得到KL散度的损失函数Le1，让ZE2和ZCM求KL得到KL散度的损失函数Le2，三个损失函数求和得到最终的损失函数Loss；Loss＝Lt+βLe1+βLe2(13)其中，γ和β是一致性和视差约束项的参数，在标记数据的指导下，通过反向传播优化建议的模型，并学习节点的嵌入以进行分类；完成嵌入模型的构建。在使用特定分类任务下的数据集经过本申请的嵌入模型构建过程，获得适用于解决该特定分类任务的高准确性嵌入模型，将该特定分类任务下的待分类数据输入到该嵌入模型中，即可完成待分类数据的分类。所述特定分类任务为节点分类和链接预测等任务。与现有技术相比，本专利技术的有益效果是：1、与GCN等模型比较增加了视角和通道，一个局部视角邻接矩阵A，一个全局视角扩散矩阵S，邻接矩阵A和图扩散矩阵S分别经过两个特定的通道另外他们各自随机删除节点后得到的邻接矩阵Adrop和Sdrop等四个通道使得模型学习到的嵌入更有利于节点分类等下游任务。2、应用了图扩散矩阵，通过将邻接矩阵转换为图扩散矩阵，并将这两个矩阵视为同一图结构的两个全等视图，邻接矩阵和扩散矩阵分别提供了图结构的局部和全局视图，从这两个视图学习到的嵌入矩阵表示二者之间的最大一致性，使得嵌入模型能够同时编码丰富的局部和全局信息。3、邻接矩阵A和图扩散矩阵S分别经过两个特定的通道通过多层GCN模型得到的嵌入矩阵ZE1、ZE2和随机删除节点后得到的邻接矩阵Adrop、Sdrop通过共享通道GCN模型得到的嵌入矩阵ZCE1、ZCE2，二者相加得到ZCM，特定的独立通道的嵌入矩阵和共享通道的加和两者做KL散度，在整个模型中充当损失函数的正则化，得到更加鲁棒性的模型有效的增强了节点分类等任务。4、通过实验本专利技术方法的分类结果都有不同程度的提高。本专利技术基于随机删除边即drop_edge的思想对邻接矩阵和图扩散进行了节点增强。采用随机删除边能对邻接矩阵和图扩散进行随机采样，防止过拟合和过平滑增强模型的深度和嵌入能力。附图说明图1是本专利技术基于多视角的随机删边嵌入模型的分类方法的流程示意图。具体实施方式下面结合实施例及附图进一步解释本专利技术，但并不以此作为对本申请保护范围的限定。本专利技术提供一种基于多视角的随机删边嵌入模型的分类方法，该方法包括下述步骤：步骤1：初始邻接矩阵A和对A做图扩散操作后得到图扩散矩阵S，分别对以上两个矩阵做随机剔除边后对应得到Adrop和Sdrop；其中邻接矩阵A是初始条件。将邻接矩阵转换为图扩散矩阵并将这两个矩阵视为同一图形结构的两个全等视图，由于邻接矩阵和扩散矩阵分别提供了图结构的局部视图和全局视图，因此从这两个视图(局部视图和全局视图)中学习到的表示形式之间的最大化一致性可使GCN模型同时编码丰富的局部和全局信息。使用快速逼近和稀疏化方法一次计算扩散矩阵，扩散公式为公式(1)，其中，T∈Rn×n是广义转换矩阵，R是矩阵空间维度表示，n是节点的个数，而θ是确定全局局部信息比率的加权系数，即为概率，同分布前提条件就是所有概率和加起来等于1，因此设θm∈[0,1]，和λi∈[0,1]其中λi是T的特征值，可确保收敛，m表示迭代次数，S属于Rn*n，给定邻接矩阵A∈Rn×n和对角度矩阵D∈Rn×n，个性化PageRank(PPR)和热核(heat)，即广义的两个实例通过设置T＝AD-1和θm＝α(1-α)m和θm＝e-ttm/m！来定义图扩散，其中α表示随机游走的传送概率，t是扩散次数。热核(heat)和PPR不同个性化形式下的图扩散矩阵可以分别按照方程式(2)和(3)求解闭式解。Sheat＝exp(tAD-1-t)(2)SPPR＝α(In-(1-α)D-1/2AD-1/2)-1(3),I本文档来自技高网...

【技术保护点】
1.一种基于多视角的随机删边嵌入模型的分类方法，包括以下步骤：/n步骤1、对已知的初始邻接矩阵A做图扩散操作得到图扩散矩阵S，将邻接矩阵A和图扩散矩阵S分别做随机剔除边操作得到A

【技术特征摘要】
1.一种基于多视角的随机删边嵌入模型的分类方法，包括以下步骤：
步骤1、对已知的初始邻接矩阵A做图扩散操作得到图扩散矩阵S，将邻接矩阵A和图扩散矩阵S分别做随机剔除边操作得到Adrop和Sdrop；
步骤2、邻接矩阵A和图扩散矩阵S分别经过两个独立通道的多层GCN卷积层得到嵌入矩阵ZE1、ZE2，随机剔除边Adrop和随机剔除边Sdrop分别经过共享通道的多层GCN卷积层获得嵌入矩阵ZCE1、ZCE2，嵌入矩阵ZCE1与嵌入矩阵ZCE2求和获得嵌入矩阵ZCM；
步骤3、对嵌入矩阵ZE1、ZE2、ZCM使用注意力机制确定各嵌入矩阵的重要性，根据公式(10)得到最终嵌入矩阵Z；
Z＝αE1·ZE1+αCM·ZCM+αE2·ZE2(10)
其中，(αE1，αCM，αE2)分别为对应嵌入矩阵的重要性；
步骤4、将步骤3获得的最终嵌入矩阵Z输入到具有线性变换和softmax函数的半监督多类分类器中，获得对应最终嵌入矩阵Z的预测标签，将预测标签和对应的真实标签Y做交叉熵，获得交叉熵损失函数Lt，
步骤5、分别让ZE1和ZCM求KL得到KL散度的损失函数Le1，让ZE2和ZCM求KL得到KL散度的损失函数Le2，三个损失函数求和得到最终的损失函数Loss；
Loss＝Lt+γLe1+βLe2(13)
其中，γ和β是一致性和视差约束项的参数，在标记数据的指导下，通过反向传播优化建议的模型，并学习节点的嵌入以进行分类。


2.根据权利要求1所述的分类方法，其特征在于，该分类方法用于节点分类和链接预测任务中。


3.根据权利要求1所述的分类方法，其特征在于，使用快速逼近和稀疏化方法一次计算图扩散矩阵。


4.根据权利要求1所述的分类方法，其特征在于，使用注意力机制确定各嵌入矩阵的重要性的具体过程是：
在节点i上，在ZE1中的嵌入是即ZE1的第i行，首先通过非线性变换对进行变换，然后使...

【专利技术属性】
技术研发人员：杨亮，栗位勋，顾军华，贾永娜，张亚娟，牛丙鑫，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12