一种模型训练的方法及装置制造方法及图纸

本说明书公开了一种模型训练的方法及装置，用于隐私保护，第一计算节点可以将本地第一图数据输入到本地预测模型中，以通过该预测模型中包含的若干图卷积层，得到中间层特征矩阵，并输入到之后的目标卷积层中，得到目标特征矩阵，向第二计算节点发送中间层特征矩阵，第二计算节点将中间层特征矩阵输入到本地预测模型中包含的与目标卷积层对应的卷积层中，得到聚合矩阵并返回给第一计算节点，而后通过第二计算节点返回的聚合矩阵对目标特征矩阵进行更新，得到更新后矩阵，进而确定基于更新后矩阵的预测结果，以对第一计算节点本地预测模型进行训练，从而实现不同计算节点拥有不同业务类型的图数据的情况下的联邦学习，提高了业务执行的准确率。

【技术实现步骤摘要】

本说明书涉及计算机，尤其涉及一种模型训练的方法及装置。

技术介绍

1、随着人工智能技术的不断发展，联邦学习应运而生，联邦学习技术能够使得多个计算节点在共同训练模型的同时，彼此不交换训练数据，从而保证了每个计算节点所面向的用户的隐私数据的安全。

2、当前，在针对图数据(知识图谱)的联邦学习中，通常不同的计算节点所需执行的业务类型是相同的，并且，不同计算节点所拥有的图数据对应的业务类型也是相同的，即，不同计算节点的图数据表示相同的业务关系。

3、但是，当不同计算节点所需处理的业务不同，拥有不同业务类型下的图数据(即，不同计算节点的图数据表示节点之间的不同业务关系，例如，计算节点a的图数据表示用户之间的社交关系，计算节点b的图数据表示用户之间的交易关系)时，通过现有技术无法在这种情况下进行联邦学习。

4、因此，如何在这种情况下依然能够采用联邦学习的方式，对各计算节点中部署的本地模型进行训练，以提高业务执行的准确率，则是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种模型训本文档来自技高网...

【技术保护点】

1.一种模型训练的方法，所述方法应用于至少两个计算节点的联邦学习系统，不同计算节点中存储的图数据对应的业务类型不同，不同业务类型的图数据用于表征图节点之间的不同业务关系，包括：

2.如权利要求1所述的方法，以最小化所述第一预测结果与所述第一图数据对应的标注信息之间的差异为优化目标，对所述第一计算节点本地部署的预测模型进行训练，具体包括：

3.如权利要求2所述的方法，根据所述第一损失值，确定所述若干图卷积层中包含的网络参数对应的第一梯度值，具体包括：

4.如权利要求3所述的方法，根据所述第一损失值，确定所述中间层特征矩阵对应的梯度值，具体包括：

<...

【技术特征摘要】

1.一种模型训练的方法，所述方法应用于至少两个计算节点的联邦学习系统，不同计算节点中存储的图数据对应的业务类型不同，不同业务类型的图数据用于表征图节点之间的不同业务关系，包括：

2.如权利要求1所述的方法，以最小化所述第一预测结果与所述第一图数据对应的标注信息之间的差异为优化目标，对所述第一计算节点本地部署的预测模型进行训练，具体包括：

3.如权利要求2所述的方法，根据所述第一损失值，确定所述若干图卷积层中包含的网络参数对应的第一梯度值，具体包括：

4.如权利要求3所述的方法，根据所述第一损失值，确定所述中间层特征矩阵对应的梯度值，具体包括：

5.如权利要求1～4任一项所述的方法，所述目标卷积层为所述若干图卷积层中最后一个卷积层的下一个图卷积层。

6.一种模型训练的装置，所述装置为联邦学习系统中包含的计算节点，所述联邦学习系统中的不同计算节点中存储的图数据对应的业务类型不同，不同业务类型的图数据用于表征图节点之间的不同业务关系，包括：

7.如权利要求6所述的装置，所述训练模块具体用于，根据所述第一预测结果与所述标注信息，确定第一损失值；根据所述第一损失值，对所述目标卷积层和所述预测层进行参数更新；以及根据所述第一损失值，确定所述若干图卷积层中包含的网络参数对应的第一梯度值，以根据所述第一梯度值以及获取到的所述第二计算节点对应的第二梯度值，对所述若干图卷积层进行参数更新，所述第二梯度值是根据所述第二计算节点对应的第二损失值以及所述中间层特征矩阵确定的，所述第二损失值是所...

【专利技术属性】
技术研发人员：张明扬，吴若凡，刘腾飞，张天翼，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：