一种模型的训练方法、装置及设备制造方法及图纸

本说明书实施例公开了一种模型的训练方法、装置及设备，该方法包括：获取待训练的目标模型对应的模型参数和目标模型的训练样本，并将模型参数划分为多个不同的模型子参数，然后，可以基于训练样本和每个模型子参数对应的损失函数，对目标模型进行模型训练，确定每个模型子参数对应的初始梯度信息，基于每个模型子参数对应的截断信息对相应的模型子参数对应的初始梯度信息进行梯度截断，得到每个模型子参数对应的梯度信息，最终，可以向每个模型子参数对应的梯度信息中加入相应的噪声信息，得到每个模型子参数对应的目标梯度信息，并基于每个模型子参数对应的目标梯度信息对模型参数进行更新，得到训练后的目标模型。得到训练后的目标模型。得到训练后的目标模型。

【技术实现步骤摘要】
一种模型的训练方法、装置及设备


[0001]本文件涉及计算机
，尤其涉及一种模型的训练方法、装置及设备。

技术介绍

[0002]随着大数据技术的广泛应用，其所带来的用户隐私泄露问题日益受到人们的关注。差分隐私机制是一种被广泛认可的严格的隐私保护机制，差分隐私机制通过对数据添加干扰噪声的方式来保护所发布数据中潜在的用户隐私信息，从而达成即便攻击者已经掌握了除某一条信息以外的其他信息，该攻击者仍然无法推测出该条信息。
[0003]对于机器学习算法，通常需要学习一个确定性的实值映射函数，差分隐私机制可以通过添加噪声信息，调整映射函数的敏感度，上述方式虽然可以对机器学习模型进行隐私保护，但是会使得模型的准确率降低，从而导致模型无法使用。为此，需要提供一种在对机器学习模型进行训练的过程中的隐私保护方案，并可以保证模型最终识别的准确性。

技术实现思路

[0004]本说明书实施例的目的是提供一种在对机器学习模型进行训练的过程中的隐私保护方案，并可以保证模型最终识别的准确性。
[0005]为了实现上述技术方案，本说明书实施例是这样实现的：
[0006]本说明书实施例提供的一种模型的训练方法，所述方法包括：获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数。基于所述训练样本和每个所述模型子参数对应的损失函数，对所述目标模型进行模型训练，确定每个所述模型子参数对应的初始梯度信息。基于每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息。向每个所述模型子参数对应的梯度信息中加入相应的噪声信息，得到每个所述模型子参数对应的目标梯度信息，并基于每个所述模型子参数对应的目标梯度信息对所述模型参数进行更新，得到训练后的目标模型。
[0007]本说明书实施例提供的一种模型的训练方法，应用于区块链系统，所述方法包括：获取目标模型的训练规则信息，采用所述目标模型的训练规则信息生成相应的第一智能合约，并将所述第一智能合约部署到所述区块链系统中。调用所述第一智能合约，获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数。基于所述第一智能合约，通过所述训练样本和每个所述模型子参数对应的损失函数，对所述目标模型进行模型训练，确定每个所述模型子参数对应的初始梯度信息。基于所述第一智能合约，通过每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息。基于所述第一智能合约，向每个所述模型子参数对应的梯度信息中加入相应的噪声信息，得到每个所述模型子参数对应的目标梯度信息，并基于每个所述模型子参数对应的目标梯度信息对所述模型参数进行更新，得到训练后的目标模型。
[0008]本说明书实施例提供的一种模型的训练装置，所述装置包括：数据获取模块，获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数。训练模块，基于所述训练样本和每个所述模型子参数对应的损失函数，对所述目标模型进行模型训练，确定每个所述模型子参数对应的初始梯度信息。截断模块，基于每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息。更新模块，向每个所述模型子参数对应的梯度信息中加入相应的噪声信息，得到每个所述模型子参数对应的目标梯度信息，并基于每个所述模型子参数对应的目标梯度信息对所述模型参数进行更新，得到训练后的目标模型。
[0009]本说明书实施例提供的一种模型的训练装置，所述装置为区块链系统中的装置，所述装置包括：合约部署模块，获取目标模型的训练规则信息，采用所述目标模型的训练规则信息生成相应的第一智能合约，并将所述第一智能合约部署到所述区块链系统中。数据获取模块，调用所述第一智能合约，获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数。训练模块，基于所述第一智能合约，通过所述训练样本和每个所述模型子参数对应的损失函数，对所述目标模型进行模型训练，确定每个所述模型子参数对应的初始梯度信息。截断模块，基于所述第一智能合约，通过每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息。更新模块，基于所述第一智能合约，向每个所述模型子参数对应的梯度信息中加入相应的噪声信息，得到每个所述模型子参数对应的目标梯度信息，并基于每个所述模型子参数对应的目标梯度信息对所述模型参数进行更新，得到训练后的目标模型。
[0010]本说明书实施例提供的一种模型的训练设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数。基于所述训练样本和每个所述模型子参数对应的损失函数，对所述目标模型进行模型训练，确定每个所述模型子参数对应的初始梯度信息。基于每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息。向每个所述模型子参数对应的梯度信息中加入相应的噪声信息，得到每个所述模型子参数对应的目标梯度信息，并基于每个所述模型子参数对应的目标梯度信息对所述模型参数进行更新，得到训练后的目标模型。
[0011]本说明书实施例提供的一种模型的训练设备，所述设备为区块链系统中的设备，所述模型的训练设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取目标模型的训练规则信息，采用所述目标模型的训练规则信息生成相应的第一智能合约，并将所述第一智能合约部署到所述区块链系统中。调用所述第一智能合约，获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数。基于所述第一智能合约，通过所述训练样本和每个所述模型子参数对应的损失函数，对所述目标模型进行模型训练，确定每个所述模型子参数对应的初始梯度信息。基于所述第一智能合约，通过每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每
个所述模型子参数对应的梯度信息。基于所述第一智能合约，向每个所述模型子参数对应的梯度信息中加入相应的噪声信息，得到每个所述模型子参数对应的目标梯度信息，并基于每个所述模型子参数对应的目标梯度信息对所述模型参数进行更新，得到训练后的目标模型。
[0012]本说明书实施例还提供了一种存储介质，其中，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数。基于所述训练样本和每个所述模型子参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的训练方法，所述方法包括：获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数；基于所述训练样本和每个所述模型子参数对应的损失函数，对所述目标模型进行模型训练，确定每个所述模型子参数对应的初始梯度信息；基于每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息；向每个所述模型子参数对应的梯度信息中加入相应的噪声信息，得到每个所述模型子参数对应的目标梯度信息，并基于每个所述模型子参数对应的目标梯度信息对所述模型参数进行更新，得到训练后的目标模型。2.根据权利要求1所述的方法，所述将所述模型参数划分为多个不同的模型子参数，包括：基于所述目标模型对应的网络层的数量，确定所述模型子参数的数量；基于所述模型子参数的数量，将所述模型参数划分为多个不同的模型子参数。3.根据权利要求1所述的方法，所述将所述模型参数划分为多个不同的模型子参数，包括：获取每个所述模型子参数对应的表征向量；基于所述表征向量中的行向量，将所述模型参数划分为多个不同的模型子参数。4.根据权利要求1所述的方法，所述方法还包括：获取每个所述模型子参数的范数，以及每个所述模型子参数对应的初始梯度信息的范数；基于每个所述模型子参数的范数、每个所述模型子参数对应的初始梯度信息的范数和预设的截断阈值，确定每个所述模型子参数对应的截断信息。5.根据权利要求4所述的方法，所述基于每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息，包括：针对多个不同的模型子参数中的任一模型子参数，执行以下处理：获取所述模型子参数的范数与预设初值之间的最大值；如果所述模型子参数对应的初始梯度信息的范数与获取的最大值的比值大于预设的截断阈值，则确定所述模型子参数对应的梯度信息为所述截断阈值与获取的最大值的乘积，并与所述模型子参数对应的初始梯度信息的范数之间的比值的倍数的所述初始梯度信息。6.根据权利要求4或5所述的方法，所述基于每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息，包括：针对多个不同的模型子参数中的任一模型子参数，执行以下处理：获取所述模型子参数的范数与预设初值之间的最大值；如果所述模型子参数对应的初始梯度信息的范数与获取的最大值的比值不大于预设的截断阈值，则确定所述模型子参数对应的梯度信息为所述模型子参数对应的初始梯度信
息。7.根据权利要求6所述的方法，所述噪声信息为高斯噪声的信息，所述目标模型为神经网络算法构建的模型。8.根据权利要求7所述的方法，所述噪声信息通过预设的噪声尺度信息、预设的截断阈值和所述模型子参数的范数确定。9.一种模型的训练方法，应用于区块链系统，所述方法包括：获取目标模型的训练规则信息，采用所述目标模型的训练规则信息生成相应的第一智能合约，并将所述第一智能合约部署到所述区块链系统中；调用所述第一智能合约，获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数；基于所述第一智能合约，通过所述训练样本和每个所述模型子参数对应的损失函数，对所述目标模型进行模型训练，确定每个所述模型子参数对应的初始梯度信息；基于所述第一智能合约，通过每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息；基于所述第一智能合约，向每个所述模型子参数对应的梯度信息中加入相应的噪声信息，得到每个所述模型子参数对应的目标梯度信息，并基于每个所述模型子参数对应的目标梯度信息对所述模型参数进行更新，得到训练后的目标模型。10.根据权利要求9所述的方法，所述方法还包括：基于预先部署于所述区块链系统中的第二智能合约，获取每个所述模型子参数的范数，以及每个所述模型子参数对应的初始梯度信息的范数；基于所述第二智能合约、每个所述模型子参数的范数、每个所述模型子参数对应的初始梯度信息的范数和预设的截断阈值，确定每个所述模型子参数对应的截断信息。11.一种模型的训练装置，所述装置包括：数据获取模块，获取待训练的目标模型对应的模型参数和所述目标模型的训练样本，并将所述模型参数划分为多个不同的模型子参数；训练模块，基于所述训练样本和每个所述模型子参数对应的损失函数，对所述目标模型进行模型训练，确定每个所述模型子参数对应的初始梯度信息；截断模块，基于每个所述模型子参数对应的截断信息对相应的所述模型子参数对应的初始梯度信息进行梯度截断，得到每个所述模型子参数对应的梯度信息；更新模块，向每个所述模型子参数对应的梯度信息中加入相应的噪声信息，得到每个所述模型子参数对应的目标梯度信息，并基于每个所述模型子参数对...

【专利技术属性】
技术研发人员：吕乐，傅幸，周璟，杨阳，王宁涛，胡佳豪，蒋晨之，刘芳卿，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：