一种模型的处理方法、装置及设备制造方法及图纸

本说明书实施例公开了一种模型的处理方法、装置及设备，该方法包括：接收服务器下发的目标模型；获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息；对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息；将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。器中存储的目标模型进行更新。器中存储的目标模型进行更新。

【技术实现步骤摘要】
一种模型的处理方法、装置及设备


[0001]本文件涉及计算机
，尤其涉及一种模型的处理方法、装置及设备。

技术介绍

[0002]在云服务器上使用用户数据训练一个模型，并将该模型用于服务用户的方式，已经在当前的互联网服务中十分常见，然而，上述方式必然依赖于云服务器对用户隐私数据的采集和分析。目前，关于用户数据隐私安全相关的法律法规与行业规范越来越成熟，用户自身对于隐私数据的安全也越来越重视，以服务端为数据分析处理的范式已经不再适用于当前的数据处理要求。
[0003]针对上述情况，提出了一种分布式机器学习技术—联邦学习，通过联邦学习，可以将计算过程和数据大部分保留在用户本地，使用向云服务器发送模型更新所需要的梯度信息代替发送原始的用户数据，实现了用户数据的可用不可见。然而，在向服务器上传梯度信息时，会包含中间梯度信息，攻击者可以通过该中间梯度信息进行分析，可以还原出一部分原始数据，从而造成隐私数据泄露，此外，当终端设备较多时，服务器与终端设备之间存在大量的通信，这样会造成很大的通信开销。为此，需要提供一种隐私保护能力更优、通信开销更优的技术方案。

技术实现思路

[0004]本说明书实施例的目的是提供一种隐私保护能力更优、通信开销更优的技术方案。
[0005]为了实现上述技术方案，本说明书实施例是这样实现的：
[0006]本说明书实施例提供的一种模型的处理方法，所述方法包括：接收服务器下发的目标模型。获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息。对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息。将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。
[0007]本说明书实施例提供的一种模型的处理方法，所述方法包括：接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息。对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。对所述聚合后的差分
隐私梯度信息进行解码处理，得到相应的目标符号梯度信息。基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。
[0008]本说明书实施例提供的一种模型的处理装置，所述装置包括：模型接收模块，接收服务器下发的目标模型。梯度获取模块，获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息。差分隐私模块，对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息。梯度发送模块，将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。
[0009]本说明书实施例提供的一种模型的处理装置，所述装置包括：差分梯度接收模块，接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息。聚合模块，对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。解码模块，对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息。模型更新模块，基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。
[0010]本说明书实施例提供的一种模型的处理设备，所述模型的处理设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：接收服务器下发的目标模型。获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息。对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息。将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。
[0011]本说明书实施例提供的一种模型的处理设备，所述模型的处理设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：接收终端设备上传的目标模型的差分隐私梯度信息，所述差分隐私梯度信息是所述终端设备基于获取的用于训练所述目标模型的样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，并对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理后得到的信息。对接收到的差分隐私梯度信息进行聚合处理，得到聚合后的差分隐私梯度信息。对所述聚合后的差分隐私梯度信息进行解码处理，得到相应的目标符号梯度信息。基于所述目标符号梯度信息对所述目标模型进行更新，得到更新后的目标模型。
[0012]本说明书实施例还提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：接收服务器下发的目标模型。获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息。对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息。将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。
[0013]本说明书实施例还提供了一种存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的处理方法，所述方法包括：接收服务器下发的目标模型；获取用于训练所述目标模型的样本数据，并基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息；对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息；将所述差分隐私梯度信息发送给所述服务器，所述差分隐私梯度信息用于触发所述服务器基于所述差分隐私梯度信息对所述服务器中存储的目标模型进行更新。2.根据权利要求1所述的方法，所述基于所述样本数据对所述目标模型进行模型训练，确定模型训练后所述目标模型对应的梯度信息，包括：基于所述样本数据对所述目标模型进行模型训练，得到所述目标模型对应的初始梯度信息；获取所述目标模型的历史梯度信息，基于所述历史梯度信息和所述初始梯度信息，通过自适应优化算法，确定目标模型对应的梯度信息，所述自适应优化算法包括Adam算法或Adagrad算法。3.根据权利要求2所述的方法，所述基于所述历史梯度信息和所述初始梯度信息，通过自适应优化算法，确定目标模型对应的梯度信息，包括：基于所述历史梯度信息确定所述历史梯度信息对应的一阶动量和二阶动量；基于所述历史梯度信息对应的一阶动量和二阶动量，以及所述目标模型对应的初始梯度信息，确定所述初始梯度信息对应的一阶动量和二阶动量，并基于所述初始梯度信息对应的一阶动量和二阶动量，确定目标模型对应的梯度信息。4.根据权利要求3所述的方法，所述基于所述历史梯度信息对应的一阶动量和二阶动量，以及所述目标模型对应的初始梯度信息，确定所述初始梯度信息对应的一阶动量和二阶动量，包括：基于所述历史梯度信息对应的一阶动量和所述目标模型对应的初始梯度信息，确定所述初始梯度信息对应的一阶动量；基于所述历史梯度信息对应的二阶动量和所述初始梯度信息对应的一阶动量，确定所述初始梯度信息对应的二阶动量。5.根据权利要求1
‑
4中任一项所述的方法，所述对所述目标模型对应的梯度信息进行符号化处理，得到所述目标模型对应的符号梯度信息，包括：将所述目标模型对应的梯度信息在每个轴中数值大于预设阈值的梯度信息置为第一符号，并将所述目标模型对应的梯度信息在每个轴中数值小于所述预设阈值的梯度信息置为第二符号，得到所述目标模型对应的符号梯度信息，所述第一符号与所述第二符号不同。6.根据权利要求5所述的方法，所述预设阈值为0，所述第一符号为+1，所述第二符号为
‑
1。7.根据权利要求6所述的方法，所述基于预设的概率分布规则对所述符号梯度信息进行采样处理，并基于所述概率分布规则对采样后的符号梯度信息进行编码处理，得到差分隐私梯度信息，包括：
基于预设的概率分布规则对所述符号梯度信息进行采样处理，得到多个采样点构成的采样后的符号梯度信息；针对所述采样后的符号梯度信息中的每个采样点，执行以下处理，以得到差分隐私梯度信息：如果基于所述概率分布规则确定所述采样点对应所述概率分布规则中包含的两个不同概率中的第一概率，且所述采样点为所述第二符号，则将所述采样点的第二符号删除；如果基于所述概率分布规则确定所述采样点对应所述概率分布规则中包含的两个不同概率中的第二概率，则基于所述概率分布规则对所述采样点重新进行采样处理，并将重新采样的采样点的符号梯度信息根据所述概率分布规则中包含的相应的概率重新赋值。8.根据权利要求7所述的方法，所述概率分布规则包括伯努利分布，所述第一概率为所述伯努利分布中0对应的概率，所述第二概率为所述伯努利分布中1对应的概率，所述将重新采样的采样点的符号梯度信息根据所述概率分布规则中包含的相应的概率重新赋值，包括：如果所述重新采样的采样点对应第一概率，则将所述重新采样的采样点的符号梯度信息设置为0；如果所述重新采样的采样点对应第二概率，则将所述重新采样的采样点的符号梯度信息设置为1。9.根据权利要求1所述的方法，所述样本数据为不同用户之间的历史交易数据，所述目标模型为针对预设风险的风险防控模型，所述预设风险包括欺诈风险、非法交易风险中的一种或多种。10.根据权利要求1所述的方法，所述目标模型是所述服务器通过接收到的终端设备发送的差分隐私梯度信息对所述服务器中存储的目标模型进行更新，且确定更新后的目标模型不满足预设的收敛条件的情况下下发的模...

【专利技术属性】
技术研发人员：申书恒，张长浩，傅欣艺，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：