【技术实现步骤摘要】
本专利技术涉及图数据计算，具体来说涉及图神经网络领域，更具体地说，涉及一种基于图神经网络的异构蒸馏方法。
技术介绍
1、图数据在现实世界中无处不在，而图神经网络(graph neural networks，简称gnns)提供了对图数据的高效表示，并在生物信息学、社交网络和推荐系统等领域展示了显著的进展。为了提高对图数据的节点表示能力，已经涌现出了各种各样的gnns变体。知识蒸馏(knowledge distillation，简称kd)作为一种通用的模型增强技术，在改善gnns的性能方面显示出巨大潜力。因此，为gnns设计kd方法(图蒸馏方法)已经引起了广泛的研究兴趣，并成为该领域的一个热点研究方向。
2、kd在gnns上的尝试取得了一定的成功。例如，lsp明确将嵌入在教师模型中的拓扑结构知识提炼给学生。受lsp的启发，cpf提出从教师模型中提取结构性和特征知识，提升学生模型的性能。hire设计了即插即用的高阶关系知识蒸馏框架，将图蒸馏首次扩展到任意异构图神经网络上。linkdist采用自蒸馏方法从图的边上提取知识，并蒸馏至基...
【技术保护点】
1.一种基于图神经网络的异构蒸馏方法，包括：
2.根据权利要求1所述的方法，其特征在于，所述总损失函数为：
3.根据权利要求2所述的方法，其特征在于，所述中间级蒸馏损失函数为：
4.根据权利要求2所述的方法，其特征在于，所述输出级蒸馏损失函数为：
5.根据权利要求1-4之一所述的方法，其特征在于，所有教师模型和学生模型均为彼此结构不同的异构模型，但所有教师模型和学生模型均设有产生相同尺寸的中间节点表示的指定中间层，该指定中间层输出的中间节点表示被用于中间级蒸馏损失函数的计算。
6.根据权利要求1-4之一所述的...
【技术特征摘要】
1.一种基于图神经网络的异构蒸馏方法，包括：
2.根据权利要求1所述的方法，其特征在于，所述总损失函数为：
3.根据权利要求2所述的方法，其特征在于，所述中间级蒸馏损失函数为：
4.根据权利要求2所述的方法，其特征在于，所述输出级蒸馏损失函数为：
5.根据权利要求1-4之一所述的方法，其特征在于，所有教师模型和学生模型均为彼此结构不同的异构模型，但所有教师模型和学生模型均设有产生相同尺寸的中间节点表示的指定中间层，该指定中间层输出的中间节点表示被用于中间级蒸馏损失函数的计算。
6.根据权利要求1-4之一所述的方法，其特征...
【专利技术属性】
技术研发人员：刘静，郝沁汾，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。