一种基于图神经网络架构挑选的知识蒸馏方法技术

技术编号:42872705 阅读:45 留言:0更新日期:2024-09-27 17:32
本发明专利技术提供了一种基于图神经网络架构挑选的知识蒸馏方法,包括:获取预先定义的图神经网络架构的搜索空间,其定义架构搜索的范围;利用神经架构搜索技术和预设分类任务对应的验证集,采用强化学习机制从所述搜索空间中搜索执行该分类任务的最优图神经网络结构,所述预设分类任务与训练教师图模型时所对应的分类任务相同;基于预设的知识蒸馏方式,利用所述教师图模型指导采用所述最优图神经网络结构的学生图模型进行节点分类,得到经训练的学生图模型。

【技术实现步骤摘要】

本专利技术涉及图数据挖掘领域,具体来说涉及图神经网络知识蒸馏领域,更具体地说,涉及一种基于图神经网络架构挑选的知识蒸馏方法


技术介绍

1、图神经网络(graph neural networks,简称gnns)作为一种有效的图数据处理工具,在近年来受到了广泛关注。通过有效地捕捉图结构中的相互依赖关系,gnns能够对图中的节点和边进行高效地推断和预测,已经在社交网络分析、推荐系统、化学分子分析等领域展现出强大的潜力。然而,在实际应用中,如何构建一个性能优异的图神经网络模型依然是一个具有挑战性的问题。

2、近年来出现了图神经网络知识蒸馏(图蒸馏)方法,通过将预训练教师图模型的知识转移到学生图模型中,来增强学生表现。图蒸馏的核心思想是通过提取教师模型的表示学习能力和知识,将其传递给学生图模型,从而进一步提升学生图模型的预测准确性。这种方法在一定程度上为gnns在图数据分析和应用上,提供了一种有效的模型性能增强方案。

3、然而,目前的图蒸馏方法主要集中在知识的传递的优化上,所选择的学生图模型的结构可能并不适用教师图模型所应用的分类任务,即教本文档来自技高网...

【技术保护点】

1.一种基于图神经网络架构挑选的知识蒸馏方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述强化学习机制包括:

3.根据权利要求1或2所述的方法,其特征在于,所述预设的蒸馏方式包括:

4.根据权利要求3所述的方法,其特征在于,所述预设的损失函数用于计算一次训练所采用的所有节点的节点损失的均值,单个节点损失采用以下KL散度损失函数计算:

5.根据权利要求3所述的方法,其特征在于,所述预设的损失函数用于计算一次训练所采用的所有节点的节点损失的均值,单个的节点损失采用以下加权损失函数计算:

6.根据权利要求5所述的...

【技术特征摘要】

1.一种基于图神经网络架构挑选的知识蒸馏方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述强化学习机制包括:

3.根据权利要求1或2所述的方法,其特征在于,所述预设的蒸馏方式包括:

4.根据权利要求3所述的方法,其特征在于,所述预设的损失函数用于计算一次训练所采用的所有节点的节点损失的均值,单个节点损失采用以下kl散度损失函数计算:

5.根据权利要求3所述的方法,其特征在于,所述预设的损失函数用于计算一次训练所采用的所有节点的节点损失的均值,单个的节...

【专利技术属性】
技术研发人员:刘静郝沁汾
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1