System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及异构图神经网络,尤其涉及基于transform和对比学习的异构图神经网络容噪方法。
技术介绍
1、随着计算机行业的不断进步与发展,异构图神经网络成为人工智能领域的重要研究方向。异构图神经网络(heterogeneous graph neural network)能够对真实场景中复杂的交互数据进行建模,能够把图中节点的结构信息和特征信息映射到一个低维的嵌入向量中,使用这个嵌入向量能解决许多不同的下游任务,例如个性化推荐、生物分子功能预测。
2、但是在对实际场景中的数据建模时,不可避免的会有噪声信息或者人工添加的恶意信号,例如淘宝卖家的恶意刷单行为,会给自己的店铺在图结构数据中增加许多与购买者之间的虚假交易边,导致平台的物品推荐往卖家店铺倾斜。如何有效识别出图数据中的噪声信息并弱化这些噪声信息在神经网络中的传播,成为了一项挑战。
3、“heterogeneous graph neural networks with denoising for graphembeddings”提出基于特征相似度来识别噪声节点,首先将不同类型的节点特征映射到同一个空间中,目标节点基于gat模型聚合邻居节点的特征向量,最后损失函数是最大化节点与正样本的相似度,最小化节点与负样本的相似度,在确定损失函数时模型加入了噪声过滤,把目标节点与邻居节点之间大于阈值的损失从目标函数中去除,弱化目标节点与噪声节点的特征相似度。该方法将检测噪声的操作放在了损失函数这一步,在目标节点进行信息聚合时,并没有考虑检测并去除噪声节点,这会导
4、“heterogeneous graph structure learning for graph neural networks”提出在异构图上进行结构学习,根据节点对之间的特征相似度对图结构进行重构,将主图分解成三个子图:特征传播子图、语义相似子图和特征相似子图,然后将子图的邻接矩阵合并,作为新的图结构输入到异构图神经网络模型中,从特征相似度、语义相似度两个方面去检测噪声节点,去除原始图结构中的噪声信息或者对不完整的图结构进行补充完善。该方法通过对整个整个图结构进行重构来去除噪声连接边,虽然部分噪声信号在形成新的图结构时被丢弃,但是有些重要的交互边也从原始异构图结构中删除了;另外在进行图结构重构时,将原始异构图结构分解成三个子图,然后融合三个子图形成新的异构图结构,上述分解再重构图结构的这一系列操作需要巨大的工作量和时间复杂度,导致模型训练时间较长;除此之外模型在重构时还添加了一部分新的连接边,这些连接边在原始的图结构中并不存在,相当于又给模型引入了新的噪声。
技术实现思路
1、本专利技术要解决的技术问题是针对上述现有技术的不足,提供一种基于transform和对比学习的异构图神经网络容噪方法,实现对异构图中的噪声节点识别及弱化。
2、为解决上述技术问题,本专利技术所采取的技术方案是:基于transform和对比学习的异构图神经网络容噪方法,根据节点对之间的特征相似度、转移概率和局部拓扑结构相似性对邻居节点的可信度打分,把可信度得分低于阈值的节点剪枝;构建特定于降噪场景下的transform模型,自动的给弱噪声节点分配低的权重系数,弱化噪声节点的影响;最后在使用损失函数训练容噪异构图神经网络模型时,加入一个特定于降噪场景的对比学习损失,将目标节点与噪声节点的嵌入表示相似度降低,进一步强化容噪异构图神经网络模型的降噪能力。
3、步骤1、从已有的异构图数据集中获取用于容噪研究的干净数据,对干净数据集预处理,通过给目标节点添加噪声连接边的方式构建噪声数据集,用于对容噪异构图神经网络模型的容噪能力测试;
4、为异构图中每种类型的节点设计一个映射矩阵,将异构图中不同类型的节点特征向量映射到同一个向量空间中,如下公式所示:
5、hv=waxv (1)
6、其中,xv表示节点v的原始特征向量,wa表示a类型的节点映射矩阵,hv是映射后的节点v的特征向量;
7、步骤2、对异构图中的目标节点采用多条元路径选取不同语义关系的邻居节点,并构建异构图在每条元路径下的邻接矩阵;
8、步骤3、根据目标节点与邻居节点之间的原始特征、元路径下的转移概率、局部拓扑结构相似性来检测异构图中的噪声节点,并进行剪枝;将目标节点与基于元路径下的邻居节点的特征向量点乘,获得目标节点与邻居节点对之间的特征相似度得分,如下公式所示:
9、
10、其中,表示目标节点u与邻居节点v在元路径φ下的特征相似度得分;
11、计算目标节点与邻居节点形成的元路径中各个边出现的概率,然后将每条边出现的概率累乘,获得目标节点与邻居节点在当前元路径下的转移概率
12、目标节点与邻居节点聚合各自网络模式下的一跳邻居,获得节点的局部拓扑结构特征向量,并点乘目标节点与邻居节点之间的局部拓扑结构向量,获得目标节点与邻居节点的局部拓扑结构相似性得分
13、将目标节点与邻居节点之间的特征相似度得分、元路径下的转移概率、局部拓扑结构相似性得分点乘,送入sigmod激活函数σ中,获取邻居节点的可信度得分suv,如下公式所示:
14、
15、最后将可信度得分低于阈值的邻居节点剪枝;
16、步骤4、将邻居节点的中心度编码、节点对之间连接边的类型信息编码、元路径下节点之间的转移概率和节点对之间的空间关系编码加入transform模型中,获取邻居节点在transform模型下分配的权重信息;
17、邻居节点在transform模型下分配的权重值如下公式所示:
18、
19、其中,bφ(uv)表示节点对u、v之间的空间距离即最短路径,cuv表示节点对之u、v间相连的边的类型信息,表示节点对u、v基于元路径的转移概率,wq、wk是对节点向量进行映射的矩阵,d表示节点向量的维度,表示邻居节点在transform模型中最终分配的权重值;
20、步骤5、将元路径下邻居节点的特征向量和transform分配的权重点乘,然后目标节点聚合元路径下的邻居节点,获取每个目标节点在元路径下的最终向量表示,如下公式所示:
21、
22、其中,表示目标节点u的邻居节点,表示目标节点u在元路径φ下的向量表示;
23、步骤6、将目标节点在多条元路径下得到的多个向量表示进行聚合,得到用于计算损失函数的目标节点最终向量表示;
24、计算每条元路径的权重系数,然后根据每条元路径的权重系数,目标节点聚合元路径下本文档来自技高网...
【技术保护点】
1.一种基于Transform和对比学习的异构图神经网络容噪方法,其特征在于:根据节点对之间的特征相似度、转移概率和局部拓扑结构相似性对邻居节点的可信度打分,把可信度得分低于阈值的节点剪枝;构建特定于降噪场景下的Transform模型,自动的给弱噪声节点分配低的权重系数,弱化噪声节点的影响;最后在使用损失函数训练容噪异构图神经网络模型时,加入一个特定于降噪场景的对比学习损失,将目标节点与噪声节点的嵌入表示相似度降低,进一步强化容噪异构图神经网络模型的降噪能力。
2.根据权利要求1所述的一种基于Transform和对比学习的异构图神经网络容噪方法,其特征在于:所述方法包括以下步骤:
3.根据权利要求2所述的一种基于Transform和对比学习的异构图神经网络容噪方法,其特征在于:所述步骤1为异构图中每种类型的节点设计一个映射矩阵,将异构图中不同类型的节点特征向量映射到同一个向量空间中,如下公式所示:
4.根据权利要求3所述的一种基于Transform和对比学习的异构图神经网络容噪方法,其特征在于:所述步骤3的具体方法为:
5.根据权利
6.根据权利要求5所述的一种基于Transform和对比学习的异构图神经网络容噪方法,其特征在于:所述步骤5获取的每个目标节点在元路径下的最终向量表示如下公式所示:
7.根据权利要求6所述的一种基于Transform和对比学习的异构图神经网络容噪方法,其特征在于:所述步骤6的具体方法为:
8.根据权利要求7所述的一种基于Transform和对比学习的异构图神经网络容噪方法,其特征在于:所述容噪异构图神经网络模型包括全连接层,堆叠的GATConv层和Transform层以及输出层;所述堆叠的GATConv层和Transform层数目和异构图数据集中元路径的数目一致;
9.根据权利要求8所述的一种基于Transform和对比学习的异构图神经网络容噪方法,其特征在于:所述步骤7将异构图的节点特征矩阵和图结构输入到容噪异构图神经网络模型中,计算模型预测的标签和节点真实标签之间的交叉熵损失,将L1作为容噪异构图神经网络模型的第一个优化目标;
...【技术特征摘要】
1.一种基于transform和对比学习的异构图神经网络容噪方法,其特征在于:根据节点对之间的特征相似度、转移概率和局部拓扑结构相似性对邻居节点的可信度打分,把可信度得分低于阈值的节点剪枝;构建特定于降噪场景下的transform模型,自动的给弱噪声节点分配低的权重系数,弱化噪声节点的影响;最后在使用损失函数训练容噪异构图神经网络模型时,加入一个特定于降噪场景的对比学习损失,将目标节点与噪声节点的嵌入表示相似度降低,进一步强化容噪异构图神经网络模型的降噪能力。
2.根据权利要求1所述的一种基于transform和对比学习的异构图神经网络容噪方法,其特征在于:所述方法包括以下步骤:
3.根据权利要求2所述的一种基于transform和对比学习的异构图神经网络容噪方法,其特征在于:所述步骤1为异构图中每种类型的节点设计一个映射矩阵,将异构图中不同类型的节点特征向量映射到同一个向量空间中,如下公式所示:
4.根据权利要求3所述的一种基于transform和对比学习的异构图神经网络容噪方法,其特征在于:所述步骤3的具体方法为:
5.根据权利要求4所述的一种基于tran...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。