【技术实现步骤摘要】
本说明书涉及计算机，尤其涉及一种基于隐私保护的图模型训练方法、系统和设备。
技术介绍
1、现有的人工智能应用大都基于由深度学习技术训练的模型。深度学习通常需要大量的训练数据，如果训练数据不足，模型的精度性能会受到很大的影响。然而，现在关于数据隐私的规章制度越来越严格，传统的中心化的深度学习训练方法通常会受到限制而不可行。针对这一问题，联邦学习提供了一种保护数据隐私的协作训练的解决方案。在联邦学习中，每个参与方只分享模型的参数，不分享本地的数据。通过这样，数据的隐私得以保护，而基于数据的模型知识也得以共享。联邦学习技术可用于不同类型的数据，例如文本、图片、视频、音频等。而最近，有一些新的研究工作[1,2,3]专注于把联邦学习技术拓展到一类新的数据类型——图。图是一种由节点和连接节点的边构成的数据类型，在诸多场景有着极为广泛的应用。例如，在线电商平台（如淘宝、京东）的典型数据便是由用户节点和商品节点构成的图数据。应注意图片和图的区别，图片是由像素构成的数据类型，而图是由节点和边构成的数据类型。
2、在近几年，针对图数据和图模型的联邦图学习也有所发展。然而现有的方法都假定输入为同质图数据，即只有一种节点类型和一种边类型的图数据。而现实中的图数据大多是异质的，即有多种节点类型或边类型的图数据。相对于同质图，异质图除了包含基本的图数据（邻接矩阵）外，还包含一类特殊的元数据——图模式。图模式是一种描述图的节点类型和边类型的元数据。如下所示为一个来自电商平台的图数据的图模式样例，其描述了用户节点、商品节点，以及节点之间的边类型，包
技术实现思路
1、本申请的一个目的是提供一种联邦图学习方法，能够在保护图数据隐私的同时保护图模式隐私，避免敏感信息泄露。
2、为实现上述目的，本申请的一些实施例提供了以下几个方面：
3、第一方面，本申请的一些实施例还提供了一种基于隐私保护的图模型训练方法，应用于服务器和多个客户端，每个客户端包括一个异质图神经网络模型和一个同质图神经网络模型，包括；
4、各客户端从服务端下载最新的图模型参数；
5、同质图神经网络模型将从服务端下载到的图模型参数通过知识蒸馏传递给异质图神经网络；各客户端使用本地的图数据训练本地异质图神经网络模型;同质图神经网络模型再将本地训练的异质图神经网络的知识通过知识蒸馏传递给同质图神经网络；
6、各客户端通过同质图神经网络将训练好的本地图模型参数或梯度上传给服务端；
7、服务端聚合来自各客户端的图模型参数或梯度，并更新服务端图模型的参数；
8、根据预设条件判断图模型是否训练完全，如是则结束联邦图学习过程，如否则继续进行下一轮训练。
9、所述同质图神经网络模型将从服务端下载到的图模型参数通过知识蒸馏传递给异质图神经网络，具体地通过使用梯度下降算法优化如下的损失函数实现：
10、；
11、所述同质图神经网络模型将本地训练的异质图神经网络的知识通过知识蒸馏传递给同质图神经网络，具体地通过使用梯度下降算法优化如下的损失函数实现：
12、
13、其中为异质图神经网络，为同质图神经网络，为任务相关的异质损失函数为任务相关的同质损失函数，为知识蒸馏使用的节点集合，为相对熵，为温度系数，为激活函数。
14、第二方面，本申请的一些实施例还提供了一种基于隐私保护的图模型训练系统，包括：
15、服务器和多个客户端，每个客户端包括一个异质图神经网络模型和一个同质图神经网络模型；
16、各客户端从服务端下载最新的图模型参数；
17、同质图神经网络模型将从服务端下载到的图模型参数通过知识蒸馏传递给异质图神经网络；各客户端使用本地的图数据训练本地异质图神经网络模型;同质图神经网络模型再将本地训练的异质图神经网络的知识通过知识蒸馏传递给同质图神经网络；
18、各客户端通过同质图神经网络将训练好的本地图模型参数或梯度上传给服务端；
19、服务端聚合来自各客户端的图模型参数或梯度，并更新服务端图模型的参数；
20、根据预设条件判断图模型是否训练完全，如是则结束联邦图学习过程，如否则继续进行下一轮训练。
21、第三方面，本申请的一些实施例还提供了一种计算机设备，其特征在于，所述设备包括：一个或多个处理器；以及存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行上述方法。
22、第四方面，本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如上所述的方法。
23、相较于现有技术，本申请实施例提供的基于隐私保护的图模型训练方法方案中，各客户端从服务端下载最新的图模型参数；同质图神经网络模型将从服务端下载到的图模型参数通过知识蒸馏传递给异质图神经网络；各客户端使用本地的图数据训练本地异质图神经网络模型;同质图神经网络模型将本地训练的异质图神经网络的知识通过知识蒸馏传递给同质图神经网络；各客户端通过同质图神经网络将训练好的本地图模型参数或梯度上传给服务端；服务端聚合来自各客户端的图模型参数或梯度，并更新服务端图模型的参数；根据预设条件判断图模型是否训练完全，如是则结束联邦图学习过程，如否则继续进行下一轮训练。在每个客户端引入一个额外的同质图神经网络模型，作为异质图神经网络和服务端之间知识交换的中继，避免服务端直接接触异质图的相关信息，从而保护异质图的图模式隐私。
本文档来自技高网...【技术保护点】
1.一种基于隐私保护的图模型训练方法，应用于服务器和多个客户端，每个客户端包括一个异质图神经网络模型和一个同质图神经网络模型，包括；
2.根据权利要求1所述的方法，其特征在于，所述同质图神经网络模型将从服务端下载到的图模型参数通过知识蒸馏传递给异质图神经网络，具体地通过使用梯度下降算法优化如下的损失函数实现：
3.根据权利要求2所述的方法，其特征在于，所述激活函数为ReLU函数。
4.根据权利要求2所述的方法，其特征在于，所述步骤②包括：
5.一种基于隐私保护的图模型训练系统，其特征在于，包括：
6.一种计算机设备，其特征在于，所述设备包括：
7.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1-4任一项所述的方法。
【技术特征摘要】
1.一种基于隐私保护的图模型训练方法，应用于服务器和多个客户端，每个客户端包括一个异质图神经网络模型和一个同质图神经网络模型，包括；
2.根据权利要求1所述的方法，其特征在于，所述同质图神经网络模型将从服务端下载到的图模型参数通过知识蒸馏传递给异质图神经网络，具体地通过使用梯度下降算法优化如下的损失函数实现：
3.根据权利要求2所述的方法，其特征...
【专利技术属性】
技术研发人员：金国庆，付新宇，
申请(专利权)人：香港中文大学深圳研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。