一种基于隐私保护的图模型训练方法、装置及设备制造方法及图纸

本说明书实施例公开了一种基于隐私保护的图模型训练方法、装置及设备，该方法应用于终端设备，包括：获取待构建的第一图表的节点信息，以及第二图表的节点信息和节点连接信息；基于第一图表的节点信息，通过预设的全连接网络构建第一图表，并基于第二图表的节点信息和节点连接信息，通过预设的图网络构建第二图表，基于第一节点的隐向量和第一节点对应的训练标签信息，构建第一样本数据；分别为第一图表中的第二节点和第二图表中的节点生成相应的训练标签信息，基于第二节点和第二图表中的节点的隐向量和生成的训练标签信息，构建第二样本数据；基于第一样本数据和第二样本数据对图模型进行模型训练，并获取对应的梯度信息发送给服务器。发送给服务器。发送给服务器。

【技术实现步骤摘要】
一种基于隐私保护的图模型训练方法、装置及设备


[0001]本说明书涉及计算机
，尤其涉及一种基于隐私保护的图模型训练方法、装置及设备。

技术介绍

[0002]在大数据或人工智能应用场景中，许多任务需要利用用户数据来训练模型，而用户的个人隐私数据可能因为个人数据传输的过程遭到泄漏，因此，如何构建合理的隐私保护机器学习框架是当下最重要的话题之一。
[0003]联邦学习是目前分布式学习中最重要的分支之一，联邦学习通过用户与服务器(数据使用方)交换模型梯度从而避免了直接传输用户的原始隐私数据，联邦学习相对于中心化的机器学习，实现了数据隔离从而保证了一定程度的用户隐私。随着图学习在工业界的大量应用和在学界的蓬勃发展，联邦图学习有着重要的应用前景，然而当前的联邦学习协议并不能保证用户的隐私安全，因为在某些特殊的机器学习模型下，可以通过截获传输的梯度信息直接破译用户的原始隐私数据。为此，需要提供一种能够更好保护用户隐私数据的联邦学习框架。

技术实现思路

[0004]本说明书实施例的目的是提供一种能够更好保护用户隐私数据的联邦学习框架。
[0005]为了实现上述技术方案，本说明书实施例是这样实现的：
[0006]本说明书实施例提供的一种基于隐私保护的图模型训练方法，应用于终端设备，所述方法包括：获取待构建的第一图表的节点信息，以及第二图表的节点信息和节点连接信息。基于所述第一图表的节点信息，通过预设的全连接网络构建所述第一图表，并基于所述第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，其中，所述全连接网络和所述图网络具有相同的网络参数。获取所述第一图表中存在训练标签信息的第一节点的隐向量，基于所述第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据。分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，获取所述第二节点和所述第二图表中的节点的隐向量，基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息，通过预设的InstaHide隐私保护规则构建第二样本数据。基于所述第一样本数据和所述第二样本数据对服务器下发的图模型进行模型训练，并获取训练后的图模型对应的梯度信息，将所述梯度信息发送给所述服务器，以使所述服务器基于不同的终端设备提供的梯度信息对所述服务器中的图模型中的模型参数进行更新，得到更新后的图模型。
[0007]本说明书实施例提供的一种基于隐私保护的图模型训练方法，应用于服务器，所述方法包括：接收多个不同的终端设备发送的图模型对应的梯度信息，所述图模型对应的梯度信息是所述终端设备基于获取的待构建的第一图表的节点信息，通过预设的全连接网
络构建所述第一图表，并基于获取的第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，基于所述第一图表中存在训练标签信息的第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据，并分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息，通过预设的InstaHide隐私保护规则构建第二样本数据，基于所述第一样本数据和所述第二样本数据对图模型进行模型训练后而得到的梯度信息。基于多个不同的终端设备发送的图模型对应的梯度信息，对所述图模型中的模型参数进行更新，得到更新后的图模型。将更新后的图模型发送给所述终端设备，以使所述终端设备基于更新后的图模型执行相应的业务处理。
[0008]本说明书实施例提供的一种基于隐私保护的图模型训练方法，应用于区块链系统，所述方法包括：基于预先部署于所述区块链系统中的智能合约向联邦学习框架中的多个不同的终端设备发送图模型的模型参数，所述智能合约用于触发联邦学习处理。基于所述智能合约，分别从所述多个不同的终端设备获取所述图模型对应的梯度信息，所述图模型对应的梯度信息是所述终端设备基于获取的待构建的第一图表的节点信息，通过预设的全连接网络构建所述第一图表，并基于获取的第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，基于所述第一图表中存在训练标签信息的第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据，并分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息，通过预设的InstaHide隐私保护规则构建第二样本数据，基于所述第一样本数据和所述第二样本数据对图模型进行模型训练后而得到的梯度信息。基于多个不同的终端设备发送的图模型对应的梯度信息和所述智能合约，对所述图模型中的模型参数进行更新，得到更新后的图模型。将更新后的图模型提供给所述终端设备，以使所述终端设备基于更新后的图模型执行相应的业务处理。
[0009]本说明书实施例提供的一种基于隐私保护的图模型训练装置，所述装置包括：信息获取模块，获取待构建的第一图表的节点信息，以及第二图表的节点信息和节点连接信息。图表构建模块，基于所述第一图表的节点信息，通过预设的全连接网络构建所述第一图表，并基于所述第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，其中，所述全连接网络和所述图网络具有相同的网络参数。第一样本构建模块，获取所述第一图表中存在训练标签信息的第一节点的隐向量，基于所述第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据。第二样本构建模块，分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，获取所述第二节点和所述第二图表中的节点的隐向量，基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息，通过预设的InstaHide隐私保护规则构建第二样本数据。梯度确定模块，基于所述第一样本数据和所述第二样本数据对服务器下发的图模型进行模型训练，并获取训练后的图模型对应的梯度信息，将所述梯度信息发送给所述服务器，以使所述服务器基于不同的终端设备提供的梯度信息对所述服务器中的图模型中的模型参数进行更新，得到更新后的图模型。
[0010]本说明书实施例提供的一种基于隐私保护的图模型训练装置，所述装置包括：梯度接收模块，接收多个不同的终端设备发送的图模型对应的梯度信息，所述图模型对应的梯度信息是所述终端设备基于获取的待构建的第一图表的节点信息，通过预设的全连接网络构建所述第一图表，并基于获取的第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，基于所述第一图表中存在训练标签信息的第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据，并分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐私保护的图模型训练方法，应用于终端设备，所述方法包括：获取待构建的第一图表的节点信息，以及第二图表的节点信息和节点连接信息；基于所述第一图表的节点信息，通过预设的全连接网络构建所述第一图表，并基于所述第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，其中，所述全连接网络和所述图网络具有相同的网络参数；获取所述第一图表中存在训练标签信息的第一节点的隐向量，基于所述第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据；分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，获取所述第二节点和所述第二图表中的节点的隐向量，基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息，通过预设的InstaHide隐私保护规则构建第二样本数据；基于所述第一样本数据和所述第二样本数据对服务器下发的图模型进行模型训练，并获取训练后的图模型对应的梯度信息，将所述梯度信息发送给所述服务器，以使所述服务器基于不同的终端设备提供的梯度信息对所述服务器中的图模型中的模型参数进行更新，得到更新后的图模型。2.根据权利要求1所述的方法，所述全连接网络为全卷积网络FCN，所述图网络由图卷积神经网络GCN、图注意力网络GAT或GraphSAGE构建。3.根据权利要求1所述的方法，所述基于所述第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据，包括：针对所述第一节点的隐向量和所述第一节点对应的训练标签信息，生成所述第一节点对应的置换函数和权重；基于所述第一节点对应的置换函数和权重，以及所述第一节点的隐向量和所述第一节点对应的训练标签信息，生成第一预选样本数据；生成所述第一节点对应的节点参数，并基于所述第一节点对应的节点参数和所述第一预选样本数据，生成所述第一样本数据。4.根据权利要求3所述的方法，所述第一节点对应的权重的和为1。5.根据权利要求1所述的方法，所述基于所述第一样本数据和所述第二样本数据对图模型进行模型训练，并获取训练后的图模型对应的梯度信息，将所述梯度信息发送给服务器，包括：基于所述第一样本数据对所述图模型进行模型训练，得到所述第一样本数据对应的预设第一分类损失函数的函数值；基于所述第二样本数据对所述图模型进行模型训练，得到所述第二样本数据对应的预设第二分类损失函数的函数值；基于所述第一样本数据对应的预设第一分类损失函数的函数值和所述第二样本数据对应的预设第二分类损失函数的函数值，确定所述图模型对应的损失函数的函数值，并基于所述图模型对应的损失函数的函数值，确定训练后的图模型对应的梯度信息，并将所述梯度信息发送给服务器。6.根据权利要求5所述的方法，所述第一分类损失函数和所述第二分类损失函数相同，
所述第一分类损失函数为交叉熵损失函数。7.根据权利要求1所述的方法，所述分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，包括：分别将所述第一图表中不存在训练标签信息的第二节点的节点数据和所述第二图表中的节点的节点数据输入到预设的目标图神经网络GNN模型中，得到分别与所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点相应的训练标签信息，其中，所述目标GNN模型是基于预设的图表样本进行监督训练得到。8.根据权利要求1
‑
7中任一项所述的方法，所述图模型为基于图神经网络GNN构建。9.一种基于隐私保护的图模型训练方法，应用于服务器，所述方法包括：接收多个不同的终端设备发送的图模型对应的梯度信息，所述图模型对应的梯度信息是所述终端设备基于获取的待构建的第一图表的节点信息，通过预设的全连接网络构建所述第一图表，并基于获取的第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，基于所述第一图表中存在训练标签信息的第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据，并分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息，通过预设的InstaHide隐私保护规则构建第二样本数据，基于所述第一样本数据和所述第二样本数据对图模型进行模型训练后而得到的梯度信息；基于多个不同的终端设备发送的图模型对应的梯度信息，对所述图模型中的模型参数进行更新，得到更新后的图模型；将更新后的图模型发送给所述终端设备，以使所述终端设备基于更新后的图模型执行相应的业务处理。10.根据权利要求9所述的方法，所述基于多个不同的终端设备发送的图模型对应的梯度信息，对所述图模型中的模型参数进行更新，得到更新后的图模型，包括：基于多个不同的终端设备发送的图模型对应的梯度信息，通过预设的梯度更新策略对所述图模型中的模型参数进行更新，得到更新后的图模型，所述预设的梯度更新策略包括FedAvg梯度更新策略和FedSgd梯度更新策略中的一种或多种。11.一种基于隐私保护的图模型训练方法，应用于区块链系统，所述方法包括：基于预先部署于所述区块链系统中的智能合约向联邦学习框架中的多个不同的终端设备发送图模型的模型参数，所述智能合约用于触发联邦学习处理；基于所述智能合约，分别从所述多个不同的终端设备获取所述图模型对应的梯度信息，所述图模型对应的梯度信息是所述终端设备基于获取的待构建的第一图表的节点信息，通过预设的全连接网络构建所述第一图表，并基于获取的第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，基于所述第一图表中存在训练标签信息的第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据，并分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息，通过预设的InstaHide隐私保护规则构建第二样本数据，基于所述第一样本数据和所述第二样本数据对图模型进行模型训练后而得到的梯度信
息；基于多个不同的终端设备发送的图模型对应的梯度信息和所述智能合约，对所述图模型中的模型参数进行更新，得到更新后的图模型；将更新后的图模型提供给所述终端设备，以使所述终端设备基于更新后的图模型执行相应的业务处理。12.根据权利要求11所述的方法，所述基于多个不同的终端设备发送的图模型对应的梯度信息和所述智能合约，对所述图模型中的模型参数进行更新，得到更新后的图模型，包括：基于所述智能合约，从所述区块链系统中获取所述图模型的索引信息，并基于所述索引信息获取所述图模型；基于多个不同的终端设备发送的图模型对应的梯度信息和所述智能合约，对所述图模型中的模型参数进行更新，得到更新后的图模型；所述方法还包括：基于所述索引信息和所述智能合约，将更新后的图模型存储于所述索引信息对应的存储区域。13.根据权利要求11所述的方法，所述基于多个不同的终端设备发送的图模型对应的梯度信息和所述智能合约，对所述图模型中的模型参数进行更新，得到更新后的图模型，包括：基于所述智能合约，从所述区块链系统中获取所述图模型的索引信息；基于所述智能合约触发所述索引信息对应存储组件基于多个不同的终端设备发送的图模型对应的梯度信息，对所述图模型中的模型参数进行更新，得到更新后的图模型；所述将更新后的图模型提供给所述终端设备，包括：基于所述智能合约触发所述索引信息对应存储组件将更新后的图模型提供给所述终端设备。14.一种基于隐私保护的图模型训练装置，所述装置包括：信息获取模块，获取待构建的第一图表的节点信息，以及第二图表的节点信息和节点连接信息；图表构建模块，基于所述第一图表的节点信息，通过预设的全连接网络构建所述第一图表，并基于所述第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，其中，所述全连接网络和所述图网络具有相同的网络参数；第一样本构建模块，获取所述第一图表中存在训练标签信息的第一节点的隐向量，基于所述第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据；第二样本构建模块，分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，获取所述第二节点和所述第二图表中的节点的隐向量，基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息，通过预设的InstaHide隐私保护规则构建第二样本数据；梯度确定模块，基于所述第一样本数据和所述第二样本数据对服务器下发的图模型进行模型训练，并获取训练后的图模型对应的梯度信息，将所述梯度信息发送给所述服务器，
以使所述服务器基于不同的终端设备提供的梯度信息对所述服务器中的图模型中的模型参数进行更新，得到更新后的图模型。15.一种基于隐私保护的图模型训练装置，所述装置包括：梯度接收模块，接收多个不同的终端设备发送的图模型对应的梯度信息，所述图模型对应的梯度信息是所述终端设备基于获取的待构建的第一图表的节点信息，通过预设的全连接网络构建所述第一图表，并基于获取的第二图表的节点信息和节点连接信息，通过预设的图网络构建所述第二图表，基于所述第一图表中存在训练标签信息的第一节点的隐向量和所述第一节点对应的训练标签信息，通过预设的InstaHide隐私保护规则构建第一样本数据，并分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息，基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息，通过预设的InstaHide隐私保护规则...

【专利技术属性】
技术研发人员：吴若凡，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：