联邦学习的方法、装置、系统、电子设备及存储介质制造方法及图纸

本公开提供了一种联邦学习方法、装置、系统、电子设备及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域。具体实现方案为：对全局模型执行多轮训练，直到满足训练结束条件，得到经训练的全局模型；以及向多个设备发布经训练的全局模型。所述多轮训练中的每轮训练包括：向所述多个设备中的至少一部分设备发送当前全局模型；接收来自所述至少一部分设备的针对所述当前全局模型的经训练参数；对接收到的参数执行聚合，以获得当前聚合模型；以及基于全局共享数据集对所述当前聚合模型进行调整，并将调整后的聚合模型更新作为新的当前全局模型，以用于下轮训练。以用于下轮训练。以用于下轮训练。

【技术实现步骤摘要】
联邦学习的方法、装置、系统、电子设备及存储介质


[0001]本公开涉及人工智能
，尤其涉及分布式数据处理和深度学习
，具体涉及一种联邦学习方法、装置、系统、电子设备、存储介质及计算机程序产品。

技术介绍

[0002]联邦学习(Federated learning)是一种分布式机器学习技术。联邦学习无需收集用户的数据，而是让这些数据留存在本地，由用户设备自己原地训练机器学习模型，并将训练好的模型上传给服务器。通过这种方式，数据不离开本地，保障了用户的数据隐私安全。此外，由于只需要传输模型的参数，可以减少通信的压力。

技术实现思路

[0003]本公开提供了一种联邦学习方法、装置、系统、电子设备、存储介质及计算机程序产品。
[0004]根据本公开的一方面，提供了一种用于训练全局模型的联邦学习方法，包括：执行多轮训练，直到满足训练结束条件，得到经训练的全局模型；以及向多个设备发布经训练的全局模型，
[0005]其中，多轮训练中的每轮训练包括：向多个设备中的至少一部分设备发送当前全局模型；接收来自至少一部分设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练全局模型的联邦学习方法，包括：执行多轮训练，直到满足训练结束条件，得到经训练的全局模型；以及向多个设备发布经训练的全局模型，其中，所述多轮训练中的每轮训练包括：向所述多个设备中的至少一部分设备发送当前全局模型；接收来自所述至少一部分设备的针对所述当前全局模型的经训练参数；对接收到的参数执行聚合，以获得当前聚合模型；以及基于全局共享数据集对所述当前聚合模型进行调整，并将调整后的聚合模型更新作为新的当前全局模型，以用于下轮训练。2.根据权利要求1所述的联邦学习方法，其中，基于全局共享数据集对所述当前聚合模型进行调整包括：通过使用所述全局共享数据集对所述当前聚合模型进行训练，来调整所述当前聚合模型。3.根据权利要求2所述的联邦学习方法，其中，所述通过使用所述全局共享数据集对所述当前聚合模型进行训练，来调整所述当前聚合模型包括：通过使用所述全局共享数据集对所述当前聚合模型进行训练，以使调整后的聚合模型在所述全局共享数据集上的损失函数最小，并且使所述调整后的聚合模型接近所述当前聚合模型。4.根据权利要求3所述的联邦学习方法，其中，通过用如下损失函数来对所述当前聚合模型进行训练，使所述调整后的聚合模型在所述全局共享数据集上的损失函数最小，并且使所述调整后的聚合模型接近所述当前聚合模型：其中，F0(w)是所述调整后的聚合模型w在所述全局共享数据集D0上的损失函数，f(w，x
0，j
，y
0，j
)是所述调整后的聚合模型w针对数据{x
0，j
，y
0，j
}的损失函数，w
t
‑
表示当前轮的聚合模型，且μ是正则权重参数。5.根据权利要求2所述的联邦学习方法，还包括：动态控制使用所述全局共享数据集对所述当前聚合模型进行训练的服务器侧迭代次数，使得所述服务器侧迭代次数随着训练轮次的增加而减小。6.根据权利要求2所述的联邦学习方法，还包括：动态控制所述至少一部分设备中的每个设备在每轮训练中执行迭代的设备侧迭代次数，使得所述设备侧迭代次数随着训练轮次的增加而增加。7.一种用于训练全局模型的联邦学习装置，包括：训练模块，被配置为：执行多轮训练，直到满足训练结束条件，得到经训练的全局模型；以及全局模型发布模块，被配置为向多个设备发布经训练的全局模型，其中，所述训练模块进一步包括：发送子模块，被配置为向所述多个设备中的至少一部分设备发送当前全局模型；
接收子模块，被配置为接收来自所述至少一部分设备的针对所述当前全局模型的经训练参数；聚合子模块，被配置为对接收到的参数执行聚合，以获得当前聚合模型；以及调整子模块，被配置为：基于全局共享数据集对所述当前聚合模型进行调整，并将调整后的聚合模型更新作为新的当前全局模型，以用于下轮训练。8.根据权利要求7所...

【专利技术属性】
技术研发人员：刘吉，章红，贾俊铖，周吉文，彭胜波，周瑞璞，窦德景，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：