一种应用于图学习领域的预训练模型的生成方法及装置制造方法及图纸

本发明专利技术公开了一种应用于图学习领域的预训练模型的生成方法及装置，包括：从第一图结构样本中确定第一节点并确定第一节点的第一样本子图，其中，第一图结构样本为第一训练样本中的任一个，第一图结构样本的各节点的属性与第一训练样本中第二图结构样本的各节点的属性不同，再确定第一节点的图基元标签向量和第一样本子图的初始表示向量，然后得到第一特征表示向量和得到第一节点的图基元预测向量，最后根据图基元预测向量和图基元标签向量，训练初始预训练模型，直至得到预训练模型。进而实现通过多个图结构样本得到预训练模型，且多个图结构样本的属性不同，以使预训练模型可以作为各属性的图结构的预训练模型。作为各属性的图结构的预训练模型。作为各属性的图结构的预训练模型。

【技术实现步骤摘要】
一种应用于图学习领域的预训练模型的生成方法及装置


[0001]本专利技术涉及图学习领域，尤其涉及一种应用于图学习领域的预训练模型的生成方法及装置。

技术介绍

[0002]图卷积神经网络通过聚集周围邻居节点的特征来学习图片中节点的表示向量，能够处理图片中节点分类和图片分类等下游任务。其中，图片可以作为表示数据的图结构，图结构在研究对象与对象之间的关联信息有着独特的优势，例如在生物化学领域中，分子可以被视为图结构，不同原子即为节点，通过化学键相连；在学术引用网络中，节点表示学者，学者间的合作为节点之间的关联信息，即图结构中的边；在电子商务领域，用户和商品可以构成图结构来进行个性化推荐。
[0003]然而，对不同的图结构来说，图结构中的节点所代表的语义是不同的，例如，在学术引用网络的图结构中，各节点表示学者，在社交网络的图结构中，节点还包括用户的兴趣爱好。在现有技术中，图卷积神经网络模型一般是通过数据集直接进行训练，并没有预训练过程，即使对图卷积神经网络模型进行的预训练，也仅可以通过单一属性或者某个独特领域中的一系列属性的图结构实现而得到预训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于图学习领域的预训练模型的生成方法，其特征在于，包括：从第一图结构样本中确定第一节点并确定所述第一节点的第一样本子图；所述第一图结构样本为第一训练样本中的任一个；所述第一图结构样本的各节点的属性与所述第一训练样本中第二图结构样本的各节点的属性不同；根据所述第一图结构样本，确定所述第一节点的图基元标签向量和所述第一样本子图的初始表示向量；将所述第一样本子图的初始表示向量输入至初始预训练模型，得到第一特征表示向量；将所述第一特征表示向量输入至第一初始神经网络模型，得到所述第一节点的图基元预测向量；根据所述图基元预测向量和所述图基元标签向量，训练所述初始预训练模型，直至得到所述预训练模型。2.如权利要求1所述的方法，其特征在于，从第一图结构样本中确定第一节点并确定所述第一节点的第一样本子图，包括：随机选取所述第一图结构样本中的节点作为所述第一节点；根据所述第一图结构样本中节点间的连接关系，通过重启随机游走策略算法得到所述第一节点的第一样本子图。3.如权利要求1所述的方法，其特征在于，根据所述第一图结构样本，确定所述第一节点的图基元标签向量，包括：根据所述第一图结构样本中节点间的连接关系，统计所述第一节点的各预设类型的图基元的数量，根据所述各预设类型的图基元的数量得到所述第一节点的图基元标签向量。4.如权利要求1所述的方法，其特征在于，根据所述第一图结构样本，确定所述第一样本子图的初始表示向量，包括：根据下述公式(1)得到所述第一样本子图的初始表示向量；I
‑
(K
‑
1/2
MK
‑
1/2
)＝UΛU
T
………………………………………………
(1)；其中，I为单位矩阵；K为第一节点在第一图结构样本中的度矩阵；M为第一节点在第一图结构样本中的邻接矩阵；U为第一样本子图的初始表示向量。5.如权利要求1所述的方法，其特征在于，根据所述图基元预测向量和所述图基元标签向量，训练所述初始预训练模型，直至得到所述预训练模型，包括：根据所述图基元预测向量和所述图基元标签向量，通过下述公式(2)确定出向量差异值；其中，V为预设值；c
u
为第一节点的图...

【专利技术属性】
技术研发人员：杨洋，邵平，王春平，徐晟尧，胥奇，陈磊，
申请(专利权)人：浙江大学，
类型：发明
国别省市：