【技术实现步骤摘要】
本专利技术涉及图数据挖掘领域,具体来说涉及图神经网络知识蒸馏领域,更具体地说,涉及一种基于图神经网络架构挑选的知识蒸馏方法。
技术介绍
1、图神经网络(graph neural networks,简称gnns)作为一种有效的图数据处理工具,在近年来受到了广泛关注。通过有效地捕捉图结构中的相互依赖关系,gnns能够对图中的节点和边进行高效地推断和预测,已经在社交网络分析、推荐系统、化学分子分析等领域展现出强大的潜力。然而,在实际应用中,如何构建一个性能优异的图神经网络模型依然是一个具有挑战性的问题。
2、近年来出现了图神经网络知识蒸馏(图蒸馏)方法,通过将预训练教师图模型的知识转移到学生图模型中,来增强学生表现。图蒸馏的核心思想是通过提取教师模型的表示学习能力和知识,将其传递给学生图模型,从而进一步提升学生图模型的预测准确性。这种方法在一定程度上为gnns在图数据分析和应用上,提供了一种有效的模型性能增强方案。
3、然而,目前的图蒸馏方法主要集中在知识的传递的优化上,所选择的学生图模型的结构可能并不适用教师图模型所
...【技术保护点】
1.一种基于图神经网络架构挑选的知识蒸馏方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述强化学习机制包括:
3.根据权利要求1或2所述的方法,其特征在于,所述预设的蒸馏方式包括:
4.根据权利要求3所述的方法,其特征在于,所述预设的损失函数用于计算一次训练所采用的所有节点的节点损失的均值,单个节点损失采用以下KL散度损失函数计算:
5.根据权利要求3所述的方法,其特征在于,所述预设的损失函数用于计算一次训练所采用的所有节点的节点损失的均值,单个的节点损失采用以下加权损失函数计算:
6.
...【技术特征摘要】
1.一种基于图神经网络架构挑选的知识蒸馏方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述强化学习机制包括:
3.根据权利要求1或2所述的方法,其特征在于,所述预设的蒸馏方式包括:
4.根据权利要求3所述的方法,其特征在于,所述预设的损失函数用于计算一次训练所采用的所有节点的节点损失的均值,单个节点损失采用以下kl散度损失函数计算:
5.根据权利要求3所述的方法,其特征在于,所述预设的损失函数用于计算一次训练所采用的所有节点的节点损失的均值,单个的节...
【专利技术属性】
技术研发人员:刘静,郝沁汾,
申请(专利权)人:中国科学院计算技术研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。