图神经网络模型训练方法、装置及系统制造方法及图纸

本说明书实施例提供用于经由多个数据拥有方来训练图神经网络模型的方法及装置。在该方法中，图神经网络模型被分割为判别模型以及多个图神经网络子模型。在进行模型训练时，各个数据拥有方将各自的特征数据子集提供给各自的图神经网络子模型，以得到各个节点的特征向量表示。各个数据拥有方从服务端接收判别模型，并使用各个节点的特征向量表示来得到各个节点的当前预测标签值，由此计算出各个数据拥有方处的当前损失函数，并基于当前损失函数来确定出判别模型的梯度信息以及更新各自的图神经网络子模型。各个数据拥有方将各自的梯度信息提供给服务端，以供服务端来更新判别模型。利用该方法，能够保证各个数据拥有方处的私有数据的数据安全。

Figure neural network model training method, device and system

【技术实现步骤摘要】
图神经网络模型训练方法、装置及系统
本说明书实施例通常涉及机器学习领域，尤其涉及用于使用水平切分的特征数据集来经由多个数据拥有方协同训练图神经网络模型的方法、装置及系统。
技术介绍
图神经网络模型是机器学习领域广泛使用的机器学习模型。在很多情况下，多个模型训练参与方（例如，电子商务公司、快递公司和银行）各自拥有训练图神经网络模型所使用的特征数据的不同部分数据。该多个模型训练参与方通常想共同使用彼此的数据来统一训练图神经网络模型，但又不想把各自的数据提供给其它各个模型训练参与方以防止自己的数据被泄露。面对这种情况，提出了能够保护隐私数据安全的图神经网络模型训练方法，其能够在保证多个模型训练参与方的各自数据安全的情况下，协同该多个模型训练参与方来训练图神经网络模型，以供该多个模型训练参与方使用。
技术实现思路
鉴于上述问题，本说明书实施例提供了一种用于经由多个数据拥有方协同训练图神经网络模型的方法、装置及系统，其能够在保证多个数据拥有方的各自数据安全的情况下实现图神经网络模型训练。根据本说明书实施例的一个方面，提本文档来自技高网...

【技术保护点】
1.一种用于经由多个数据拥有方来训练图神经网络模型的方法，所述图神经网络模型包括位于服务端的判别模型以及位于各个数据拥有方处的图神经网络子模型，每个数据拥有方具有通过对用于模型训练的训练样本集进行水平切分而获得的训练样本子集，所述训练样本子集包括特征数据子集以及真实标签值，所述方法由数据拥有方执行，所述方法包括：/n执行下述循环过程，直到满足循环结束条件：/n将当前特征数据子集提供给所述数据拥有方处的当前图神经网络子模型，以得到所述当前图神经网络子模型的各个节点的特征向量表示；/n从服务端获取当前判别模型；/n将各个节点的特征向量表示提供给所述当前判别模型，以得到各个节点的当前预测标签值；/n...

【技术特征摘要】
1.一种用于经由多个数据拥有方来训练图神经网络模型的方法，所述图神经网络模型包括位于服务端的判别模型以及位于各个数据拥有方处的图神经网络子模型，每个数据拥有方具有通过对用于模型训练的训练样本集进行水平切分而获得的训练样本子集，所述训练样本子集包括特征数据子集以及真实标签值，所述方法由数据拥有方执行，所述方法包括：
执行下述循环过程，直到满足循环结束条件：
将当前特征数据子集提供给所述数据拥有方处的当前图神经网络子模型，以得到所述当前图神经网络子模型的各个节点的特征向量表示；
从服务端获取当前判别模型；
将各个节点的特征向量表示提供给所述当前判别模型，以得到各个节点的当前预测标签值；
根据各个节点的当前预测标签值以及对应的真实标签值，确定当前损失函数；
在不满足循环结束条件时，
基于当前损失函数，确定所述当前判别模型的梯度信息并且更新当前图神经网络子模型的模型参数；以及
将所述当前判别模型的梯度信息提供给所述服务端，所述服务端使用来自于各个数据拥有方的所述当前判别模型的梯度信息来更新所述服务端处的判别模型，其中，在未满足所述循环结束条件时，所述更新后的各个数据拥有方的图神经网络子模型和所述服务端处的判别模型用作下一循环过程的当前模型。


2.如权利要求1所述的方法，其中，各个数据拥有方处得到的梯度信息通过安全聚合的方式提供给所述服务端。


3.如权利要求2所述的方法，其中，所述安全聚合包括：
基于秘密共享的安全聚合；
基于同态加密的安全聚合；或者
基于可信执行环境的安全聚合。


4.如权利要求1所述的方法，其中，在每次循环过程中，所述方法还包括：
获取当前训练样本子集。


5.如权利要求1到4中任一所述的方法，其中，所述循环结束条件包括：
预定循环次数；
所述判别模型的各个模型参数的变化量不大于预定阈值；或者
当前总损失函数位于预定范围内。


6.如权利要求1到4中任一所述的方法，其中，所述特征数据包括基于图像数据、语音数据或文本数据的特征数据，或者所述特征数据包括用户特征数据。


7.一种用于经由多个数据拥有方来训练图神经网络模型的方法，所述图神经网络模型包括位于服务端的判别模型以及位于各个数据拥有方处的图神经网络子模型，每个数据拥有方具有通过对用于模型训练的训练样本集进行水平切分而获得的训练样本子集，所述训练样本子集包括特征数据子集以及真实标签值，所述方法由服务端执行，所述方法包括：
执行下述循环过程，直到满足循环结束条件：
将当前判别模型提供给各个数据拥有方，各个数据拥有方将当前子图神经网络模型的各个节点的特征向量表示提供给所述当前判别模型以得到各个节点的预测标签值，基于各个节点的预测标签值以及对应的真实标签值确定各自的当前损失函数，以及在不满足循环结束条件时，各个数据拥有方基于各自的当前损失函数，确定判别模型的梯度信息以及更新当前图神经网络子模型的模型参数，并且将所确定的梯度信息提供给所述服务端，所述各个节点的特征向量表示通过将当前特征数据子集提供给所述当前图神经网络子模型而得到；
在未满足所述循环结束条件时，从各个数据拥有方获取所述当前判别模型的对应梯度信息，并且基于来自各个数据拥有方的梯度信息更新所述当前判别模型，
其中，在未满足所述循环结束条件时，所述更新后的各个数据拥有方的图神经网络子模型和所述服务端的判别模型用作下一循环过程的当前模型。


8.如权利要求7所述的方法，其中，各个数据拥有方处得到的梯度信息通过安全聚合的方式提供给所述服务端。


9.如权利要求8所述的方法，其中，所述安全聚合包括：
基于秘密共享的安全聚合；
基于同态加密的安全聚合；或者
基于可信执行环境的安全聚合。


10.一种用于使用图神经网络模型来进行模型预测的方法，所述图神经网络模型包括位于服务端的判别模型以及位于各个数据拥有方处的图神经网络子模型，所述方法由数据拥有方执行，所述方法包括：
将待预测特征数据提供给所述数据拥有方处的图神经网络子模型，以得到所述图神经网络子模型的各个节点的特征向量表示；
从服务端获取判别模型；以及
将各个节点的特征向量表示提供给所述判别模型，以得到各个节点的预测标签值。


11.一种用于经由多个数据拥有方来训练图神经网络模型的装置，所述图神经网络模型包括位于服务端的判别模型以及位于各个数据拥有方处的图神经网络子模型，每个数据拥有方具有通过对用于模型训练的训练样本集进行水平切分而获得的训练样本子集，所述训练样本子集包括特征数据子集以及真实标签值，所述装置应用于数据拥有方，所述装置包括：
向量表示单元，将当前特征数据子集提供给当前图神经网络子模型，以得到所述当前图神经网络子模型的各个节点的特征向量表示；
判别模型获取单元，从服务端获取当前判别模型；
模型预测单元，将各个节点的特征向量表示提供给所述当前判别模型，以得到各个节点的当前预测标签值；
损失函数确定单元，根据各个节点的当前预测标签值以及对应的真实标签值，确定当...

【专利技术属性】
技术研发人员：陈超超，王力，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33