基于噪音蒸馏的联邦学习系统及方法技术方案

本说明书提供基于噪音蒸馏的联邦学习系统及方法，其中所述基于噪音蒸馏的联邦学习系统包括：至少两个客户端确定本地业务样本以及初始业务模型；按照预设的约束策略将模型更新为中间业务模型；将本地业务样本分别输入至初始业务模型和中间业务模型，获得初始预测信息和中间预测信息；基于本地业务样本对应的本地样本标签、初始预测信息和中间预测信息对中间业务模型进行调参，直至获得满足条件的目标业务模型；将该模型对应的参数发送至服务端；服务端接收模型参数；根据模型参数构建初始全局业务模型，以及构建每个模型参数对应的噪音业务样本；利用噪音业务样本对初始全局业务模型进行训练，直至获得满足业务训练停止条件的目标全局业务模型。标全局业务模型。标全局业务模型。

【技术实现步骤摘要】
基于噪音蒸馏的联邦学习系统及方法


[0001]本说明书涉及机器学习
，特别涉及基于噪音蒸馏的联邦学习系统及方法。

技术介绍

[0002]随着互联网技术的发展，联邦学习成为了现有技术中解决数据孤岛的主要手段，同时能够保证分布式机器隐私的安全性。常见的联邦算法大多是基于企业方提出的FedAvg范式实现。然而随着数据的复杂度与模型参数量的提升，模型采用这类算法训练时的数据通信量和迭代轮数都会显著提升，联邦学习中的算法效率成为了瓶颈。因此亟需一种有效的方案以解决上述问题。

技术实现思路

[0003]有鉴于此，本说明书实施例提供了一种基于噪音蒸馏的联邦学习系统。本说明书同时涉及一种基于噪音蒸馏的联邦学习方法，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种基于噪音蒸馏的联邦学习系统，包括：至少两个客户端，被配置为确定本地业务样本以及初始业务模型；按照预设的约束策略对所述初始业务模型进行更新，获得中间业务模型；将所述本地业务样本分别输入至所述初始业务模型和所述中间业务模型进行处理，获得初始预测信息和中间预测信息；基于所述本地业务样本对应的本地样本标签、所述初始预测信息和所述中间预测信息对所述中间业务模型进行调参，直至获得满足本地训练停止条件的目标业务模型；将所述目标业务模型对应的目标模型参数发送至服务端；所述服务端，被配置为接收至少两个目标模型参数；根据所述至少两个目标模型参数构建初始全局业务模型，以及构建每个目标模型参数对应的噪音业务样本；利用所述噪音业务样本对所述初始全局业务模型进行训练，直至获得满足业务训练停止条件的目标全局业务模型。
[0005]可选地，所述客户端，进一步被配置为确定所述初始业务模型中包含的业务处理层；按照预设的所述约束策略所述业务处理层中添加调整层，根据添加结果生成所述中间业务模型。
[0006]可选地，所述客户端，进一步被配置为将所述本地业务样本输入至所述初始业务模型进行处理，获得所述初始预测信息；将所述本地业务样本连续设定次数输入至所述中间业务模型进行处理，获得多个中间预测信息。
[0007]可选地，所述客户端，进一步被配置为根据所述初始预测信息、所述多个中间预测信息以及所述本地业务样本对应的本地样本标签计算目标损失值，根据所述目标损失值对所述中间业务模型进行调参。
[0008]可选地，所述客户端，进一步被配置为根据所述本地业务样本对应的本地样本标签以及每个中间预测信息计算中间交叉熵损失值，以及根据所述多个中间预测信息计算中间相对熵损失值；根据所述初始预测信息和每个中间预测信息计算初始相对熵损失值；基于所述中间交叉熵损失值、所述中间相对熵损失值以及所述初始相对熵损失值确定所述中间业务模型对应的目标损失值；根据所述目标损失值对所述中间业务模型进行调参。
[0009]可选地，所述服务端，进一步被配置为根据所述至少两个目标模型参数构建至少两个目标业务模型，作为所述初始全局业务模型；按照对应关系策略将所述噪音业务样本输入至每个目标业务模型进行处理，获得第一目标预测信息，以及按照交叉关系策略将所述噪音业务样本输入至每个目标业务模型进行处理，获得第二目标预测信息；根据所述第一目标预测信息和所述第二目标预测信息对每个目标业务模型分别进行调参，直至获得满足业务训练停止条件的所述目标全局业务模型。
[0010]可选地，所述服务端，进一步被配置为在调参后的目标业务模型满足所述业务训练停止条件的情况下，根据调参结果生成每个目标业务模型对应的初始模型参数；计算所述初始模型参数的平均值获得全局模型参数，并基于所述全局模型参数构建所述目标全局业务模型。
[0011]可选地，所述服务端，进一步被配置为构建每个目标模型参数对应的初始噪音业务样本，将所述初始噪音业务样本输入至所述初始全局业务模型进行处理，获得初始全局预测信息；对所述初始全局预测信息进行归一化处理，并根据归一化处理结果计算所述初始噪音业务数据相对于所述初始全局业务模型的置信损失值；通过对所述置信损失值进行求导获得样本更新参数，并基于所述样本更新参数对所述初始噪音业务样本进行更新，获得所述噪音业务样本。
[0012]可选地，所述服务端，进一步被配置为计算所述至少两个目标模型参数的平均值获得初始全局模型参数；根据所述初始全局模型参数构建所述初始全局业务模型；将每个目标模型参数对应的噪音业务样本进行整合，获得全局噪音业务样本；利用所述全局噪音业务样本对所述初始全局业务模型进行训练，直至获得满足所述业务训练停止条件的所述目标全局业务模型。
[0013]根据本说明书实施例的第二方面，提供了一种基于噪音蒸馏的联邦学习方法，包括：至少两个客户端确定本地业务样本以及初始业务模型；按照预设的约束策略对所述初始业务模型进行更新，获得中间业务模型；将所述本地业务样本分别输入至所述初始业务模型和所述中间业务模型进行处理，获得初始预测信息和中间预测信息；基于所述本地业务样本对应的本地样本标签、所述初始预测信息和所述中间预测信息对所述中间业务模型进行调参，直至获得满足本地训练停止条件的目标业务模型；将所述目标业务模型对应的目标模型参数发送至服务端；所述服务端接收至少两个目标模型参数；根据所述至少两个目标模型参数构建初始全局业务模型，以及构建每个目标模型参数对应的噪音业务样本；利用所述噪音业务样本对所述初始全局业务模型进行训练，直至获得满足业务训练停止条件的目标全局业务模型。
[0014]根据本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令时实现所述基于噪音蒸馏的联邦学习方法的步骤。
[0015]根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述基于噪音蒸馏的联邦学习方法的步骤。
[0016]本实施例通过的基于噪音蒸馏的联邦学习系统，实现在各个客户端确定本地业务样本以及初始业务模型后，可以按照预设的约束策略对初始业务模型进行更新，获得中间业务模型；之后将本地业务样本分别输入至初始业务模型和中间业务模型进行处理，获得初始预测信息和中间预测信息；此时即可基于本地业务样本对应的本地样本标签、初始预测信息和中间预测信息对所述中间业务模型进行调参，直至获得满足本地训练停止条件的目标业务模型，之后各个客户端分别将训练好的目标业务模型对应的目标模型参数发送至服务端即可。服务端在接收到至少两个目标模型参数后，可以根据至少两个目标模型参数构建初始全局业务模型，以及每个目标模型参数对应的噪音业务样本；再利用噪音业务样本对初始全局业务模型进行训练，直至获得满足业务训练停止条件的目标全局业务模型即可。实现了客户端在本地进行充分训练而提升了模型的鲁棒性；同时针对每个目标模型参数单独创建噪音业务样本，可以更进一步的提高模型收敛速度，从而快速且高效的创建出满足业务场景的目标全局业务模型。...

【技术保护点】

【技术特征摘要】
1.一种基于噪音蒸馏的联邦学习系统，其特征在于，包括：至少两个客户端，被配置为确定本地业务样本以及初始业务模型；按照预设的约束策略对所述初始业务模型进行更新，获得中间业务模型；将所述本地业务样本分别输入至所述初始业务模型和所述中间业务模型进行处理，获得初始预测信息和中间预测信息；基于所述本地业务样本对应的本地样本标签、所述初始预测信息和所述中间预测信息对所述中间业务模型进行调参，直至获得满足本地训练停止条件的目标业务模型；将所述目标业务模型对应的目标模型参数发送至服务端；所述服务端，被配置为接收至少两个目标模型参数；根据所述至少两个目标模型参数构建初始全局业务模型，以及构建每个目标模型参数对应的噪音业务样本；利用所述噪音业务样本对所述初始全局业务模型进行训练，直至获得满足业务训练停止条件的目标全局业务模型。2.根据权利要求1所述的系统，其特征在于，所述客户端，进一步被配置为确定所述初始业务模型中包含的业务处理层；按照预设的所述约束策略所述业务处理层中添加调整层，根据添加结果生成所述中间业务模型。3.根据权利要求1所述的系统，其特征在于，所述客户端，进一步被配置为将所述本地业务样本输入至所述初始业务模型进行处理，获得所述初始预测信息；将所述本地业务样本连续设定次数输入至所述中间业务模型进行处理，获得多个中间预测信息。4.根据权利要求3所述的系统，其特征在于，所述客户端，进一步被配置为根据所述初始预测信息、所述多个中间预测信息以及所述本地业务样本对应的本地样本标签计算目标损失值，根据所述目标损失值对所述中间业务模型进行调参。5.根据权利要求4所述的系统，其特征在于，所述客户端，进一步被配置为根据所述本地业务样本对应的本地样本标签以及每个中间预测信息计算中间交叉熵损失值，以及根据所述多个中间预测信息计算中间相对熵损失值；根据所述初始预测信息和每个中间预测信息计算初始相对熵损失值；基于所述中间交叉熵损失值、所述中间相对熵损失值以及所述初始相对熵损失值确定所述中间业务模型对应的目标损失值；根据所述目标损失值对所述中间业务模型进行调参。6.根据权利要求1所述的系统，其特征在于，所述服务端，进一步被配置为根据所述至少两个目标模型参数构建至少两个目标业务模型，作为所述初始全局业务模型；按照对应关系策略将所述噪音业务样本输入至每个目标业务模型进行处理，获得第一目标预测信息，以及按照交叉关系策略将所述噪音业务样本输入至每个目标业务模型进行处理，获得第二目标预测信息；根据所述第一目标预测信息和所述第二目标预测信息对每个目标...

【专利技术属性】
技术研发人员：陈超超，应森辞，郑小林，郑非，李岩，谢鲁，张建勇，
申请(专利权)人：杭州金智塔科技有限公司，
类型：发明
国别省市：