图神经网络模型训练方法、装置及系统制造方法及图纸

本说明书实施例提供图神经网络模型训练方法及装置。图神经网络模型包括位于各个第一成员设备的节点特征向量表示子模型和归一化子模型以及位于第二成员设备的判别模型，各个第一成员设备的私有数据是非独立同分布数据。各个第一成员设备的节点特征向量表示子模型的模型结构根据各自数据的数据分布特征确定。各个第一成员设备使用节点特征向量表示子模型和归一化子模型得到归一化特征向量表示，利用从第二成员设备获取的判别模型得到预测标签值并确定出损失函数。各个第一成员设备基于损失函数，确定判别模型的模型更新量并更新节点特征向量表示子模型和归一化子模型。第二成员设备使用源于各个第一成员设备的判别模型的模型更新量更新判别模型。

【技术实现步骤摘要】
图神经网络模型训练方法、装置及系统
本说明书实施例通常涉及机器学习领域，尤其涉及用于训练图神经网络模型的方法、装置及系统。
技术介绍
图神经网络模型是机器学习领域广泛使用的机器学习模型。在很多情况下，多个数据拥有方（例如，电子商务公司、快递公司和银行）各自拥有训练图神经网络模型所使用的特征数据的不同部分数据。该多个数据拥有方希望共同使用彼此的数据来统一训练图神经网络模型，但又不想将各自的私有数据提供给其它数据拥有方以防止隐私数据泄露。面对这种情况，提出了能够保护隐私数据安全的图神经网络模型训练方法，其能够在保证多个数据拥有方的各自隐私数据安全的情况下，协同该多个数据拥有方来训练图神经网络模型，以供该多个数据拥有方使用。
技术实现思路
鉴于上述问题，本说明书实施例提供一种用于训练图神经网络模型的方法、装置及系统，其能够在保证多个数据拥有方的各自隐私数据安全的情况下实现图神经网络模型训练。根据本说明书实施例的一个方面，提供一种用于训练图神经网络模型的方法，所述图神经网络模型包括位于各个第一成员设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，所述方法包括：在各个第一成员设备处，将用于模型训练的私有数据提供给节点特征向量表示子模型得到节点特征向量表示，以及将所述节点特征向量表示提供给归一化子模型得到归一化特征向量表示，所述归一化特征向量表示的维度与所述判别模型的输入维度相同，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定；各个第一成员设备从所述第二成员设备获取当前判别模型；在各个第一成员设备处，将所述归一化特征向量表示提供给所述判别模型得到预测标签值，根据所述预测标签值以及所述第一成员设备具有的标签值确定损失函数，并且基于所述损失函数，确定所述判别模型的模型更新量并更新所述节点特征向量表示子模型和所述归一化子模型；各个第一成员设备将所述判别模型的模型更新量提供给所述第二成员设备；以及在所述第二成员设备处，使用源于各个第一成员设备的判别模型的模型更新量来更新所述判别模型。可选地，在上述方面的一个示例中，各个第一成员设备处得到的模型更新量通过安全聚合的方式提供给所述第二成员设备。可选地，在上述方面的一个示例中，所述安全聚合包括：基于秘密共享的安全聚合；基于同态加密的安全聚合；基于不经意传输的安全聚合；基于混淆电路的安全聚合；或者基于可信执行环境的安全聚合。可选地，在上述方面的一个示例中，各个第一成员设备具有模型更新权重，以及所述第二成员设备使用源于各个第一成员设备的判别模型的模型更新量以及各自的模型更新权重来更新所述判别模型。可选地，在上述方面的一个示例中，各个第一成员设备的模型更新权重根据各个第一成员设备的私有数据的数据质量和/或批样本数据数量确定。可选地，在上述方面的一个示例中，针对所述图神经网络模型的训练循环执行，直到满足循环结束条件，其中，在未满足所述循环结束条件时，所述更新后的各个第一成员设备的节点特征向量表示子模型和归一化子模型以及所述第二成员设备的判别模型用作下一循环过程的当前模型。可选地，在上述方面的一个示例中，所述循环结束条件包括：预定循环次数；所述判别模型的各个模型参数的变化量不大于预定阈值；或者当前总损失函数位于预定范围内。根据本说明书的实施例的另一方面，提供一种用于训练图神经网络模型的方法，所述图神经网络模型包括位于各个第一成员设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定，所述方法由第一成员设备执行，所述方法包括：将用于模型训练的私有数据提供给节点特征向量表示子模型得到节点特征向量表示；将所述节点特征向量表示提供给归一化子模型得到归一化特征向量表示，所述归一化特征向量表示的维度与所述判别模型的输入维度相同；从所述第二成员设备获取判别模型；将所述归一化特征向量表示提供给所述判别模型得到预测标签值；根据所述预测标签值以及所述第一成员设备的标签值确定损失函数；基于所述损失函数，确定所述判别模型的模型更新量并更新所述节点特征向量表示子模型和所述归一化子模型；以及将所述判别模型的模型更新量提供给所述第二成员设备，所述第二成员设备使用源于各个第一成员设备的判别模型的模型更新量来更新所述判别模型。根据本说明书的实施例的另一方面，提供一种用于训练图神经网络模型的方法，所述图神经网络模型包括位于各个第一成员设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定，所述方法由第二成员设备执行，所述方法包括：将判别模型提供给各个第一成员设备，各个第一成员设备将归一化特征向量表示提供给所述判别模型得到预测标签值，并且基于所述预测标签值以及所具有的标签值确定各自的损失函数，各个第一成员设备基于各自的损失函数，确定所述判别模型的模型更新量并且更新各自的节点特征向量表示子模型和归一化子模型，其中，所述归一化特征向量表示经由各个第一成员设备将节点特征向量表示提供给各自的归一化子模型而得到，所述归一化特征向量表示的维度与所述判别模型的输入维度相同，所述节点特征向量表示经由各个第一成员设备将各自的用于模型训练的私有数据提供给各自的节点特征向量表示子模型而得到；从各个第一成员设备获取所述判别模型的模型更新量，并且使用源于各个第一成员设备的模型更新量更新所述判别模型。根据本说明书的实施例的另一方面，提供一种用于训练图神经网络模型的装置，所述图神经网络模型包括位于各个第一成员设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定，所述装置应用于第一成员设备，所述装置包括：节点特征向量表示单元，将用于模型训练的私有数据提供给节点特征向量表示子模型得到特征向量表示；归一化向量表示单元，将所述节点特征向量表示提供给归一化子模型得到归一化特征向量表示，所述归一化特征向量表示的维度与所述判别模型的输入维度相同；判别模型获取单元，从所述第二成员设备获取判别模型；模型预测单元，将所述归一化特征向量表示提供给所述判别模型，得到预测本文档来自技高网...

【技术保护点】
1.一种用于训练图神经网络模型的方法，所述图神经网络模型包括位于各个第一成员设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，所述方法包括：/n在各个第一成员设备处，将用于模型训练的私有数据提供给节点特征向量表示子模型得到节点特征向量表示，以及将所述节点特征向量表示提供给归一化子模型得到归一化特征向量表示，所述归一化特征向量表示的维度与所述判别模型的输入维度相同，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定；/n各个第一成员设备从所述第二成员设备获取当前判别模型；/n在各个第一成员设备处，将所述归一化特征向量表示提供给所述判别模型得到预测标签值，根据所述预测标签值以及所述第一成员设备具有的标签值确定损失函数，并且基于所述损失函数，确定所述判别模型的模型更新量并更新所述节点特征向量表示子模型和所述归一化子模型；/n各个第一成员设备将所述判别模型的模型更新量提供给所述第二成员设备；以及/n在所述第二成员设备处，使用源于各个第一成员设备的判别模型的模型更新量来更新所述判别模型。/n...

【技术特征摘要】
1.一种用于训练图神经网络模型的方法，所述图神经网络模型包括位于各个第一成员设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，所述方法包括：
在各个第一成员设备处，将用于模型训练的私有数据提供给节点特征向量表示子模型得到节点特征向量表示，以及将所述节点特征向量表示提供给归一化子模型得到归一化特征向量表示，所述归一化特征向量表示的维度与所述判别模型的输入维度相同，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定；
各个第一成员设备从所述第二成员设备获取当前判别模型；
在各个第一成员设备处，将所述归一化特征向量表示提供给所述判别模型得到预测标签值，根据所述预测标签值以及所述第一成员设备具有的标签值确定损失函数，并且基于所述损失函数，确定所述判别模型的模型更新量并更新所述节点特征向量表示子模型和所述归一化子模型；
各个第一成员设备将所述判别模型的模型更新量提供给所述第二成员设备；以及
在所述第二成员设备处，使用源于各个第一成员设备的判别模型的模型更新量来更新所述判别模型。


2.如权利要求1所述的方法，其中，各个第一成员设备处得到的模型更新量通过安全聚合的方式提供给所述第二成员设备。


3.如权利要求2所述的方法，其中，所述安全聚合包括：
基于秘密共享的安全聚合；
基于同态加密的安全聚合；
基于不经意传输的安全聚合；
基于混淆电路的安全聚合；或者
基于可信执行环境的安全聚合。


4.如权利要求1所述的方法，其中，各个第一成员设备具有模型更新权重，以及所述第二成员设备使用源于各个第一成员设备的判别模型的模型更新量以及各自的模型更新权重来更新所述判别模型。


5.如权利要求4所述的方法，其中，各个第一成员设备的模型更新权重根据各个第一成员设备的私有数据的数据质量和/或批样本数据数量确定。


6.如权利要求1到5中任一所述的方法，其中，针对所述图神经网络模型的训练循环执行，直到满足循环结束条件，
其中，在未满足所述循环结束条件时，所述更新后的各个第一成员设备的节点特征向量表示子模型和归一化子模型以及所述第二成员设备的判别模型用作下一循环过程的当前模型。


7.如权利要求6所述的方法，其中，所述循环结束条件包括：
预定循环次数；
所述判别模型的各个模型参数的变化量不大于预定阈值；或者
当前总损失函数位于预定范围内。


8.一种用于训练图神经网络模型的方法，所述图神经网络模型包括位于各个第一成员设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定，所述方法由第一成员设备执行，所述方法包括：
将用于模型训练的私有数据提供给节点特征向量表示子模型得到节点特征向量表示；
将所述节点特征向量表示提供给归一化子模型得到归一化特征向量表示，所述归一化特征向量表示的维度与所述判别模型的输入维度相同；
从所述第二成员设备获取判别模型；
将所述归一化特征向量表示提供给所述判别模型得到预测标签值；
根据所述预测标签值以及所述第一成员设备的标签值确定损失函数；
基于所述损失函数，确定所述判别模型的模型更新量并更新所述节点特征向量表示子模型和所述归一化子模型；以及
将所述判别模型的模型更新量提供给所述第二成员设备，所述第二成员设备使用源于各个第一成员设备的判别模型的模型更新量来更新所述判别模型。


9.一种用于训练图神经网络模型的方法，所述图神经网络模型包括位于各个第一成员设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定，所述方法由第二成员设备执行，所述方法包括：
将判别模型提供给各个第一成员设备，各个第一成员设备将归一化特征向量表示提供给所述判别模型得到预测标签值，并且基于所述预测标签值以及所具有的标签值确定各自的损失函数，各个第一成员设备基于各自的损失函数，确定所述判别模型的模型更新量并且更新各自的节点特征向量表示子模型和归一化子模型，其中，所述归一化特征向量表示经由各个第一成员设备将节点特征向量表示提供给各自的归一化子模型而得到，所述归一化特征向量表示的维度与所述判别模型的输入维度相同，所述节点特征向量表示经由各个第一成员设备将各自的用于模型训练的私有数据提供给各自的节点特征向量表示子模型而得到；
从各个第一成员设备获取所述判别模型的模型更新量；以及
使用源于各个第一成员设备的模型更新量更新所述判...

【专利技术属性】
技术研发人员：郑龙飞，周俊，陈超超，王力，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33