【技术实现步骤摘要】
本公开总体说来涉及机器学习领域，更具体地讲，涉及联邦学习方法及装置、存储介质、计算机程序产品。
技术介绍
1、随着数字化转型的加速，数据已成为驱动各行各业发展的核心要素，但其背后的安全风险也日益凸显，尤其是在医疗、金融及智能制造等关键领域。这些领域的数据不仅敏感度高，且一旦泄露，将引发连锁反应，不仅损害个人隐私，还可能扰乱市场秩序，威胁社会稳定乃至国家安全。在此背景下，联邦学习技术作为数据安全与隐私保护的利器，其重要性不言而喻。该技术通过允许数据在本地进行加密处理并仅共享模型的更新参数或梯度信息，而非直接传输原始数据，从根本上切断了数据泄露的风险源，为跨机构合作提供了安全可靠的桥梁。这种分布式的学习方式，不仅保障了数据的隐私性，还促进了知识的共享与融合，使得各方能在不暴露敏感信息的前提下，共同提升模型的准确性和泛化能力。然而，面对日益复杂的异构数据环境，联邦学习技术也面临着前所未有的挑战。异构数据不仅增加了数据处理的难度，还可能引入局部最优解与全局最优解之间的偏差，影响模型的训练效率和性能。因此，如何在保障数据安全与隐私的前提下，有效处理异构数据，成为联邦学习技术进一步发展的关键。
技术实现思路
1、本公开的实施例提供一种联邦学习方法及装置、存储介质、计算机程序产品，能够有效解决现有技术中联邦学习技术无法有效处理异构数据的问题。
2、在一个总的方面，提供一种联邦学习方法，应用于目标客户端，并且方法包括：循环执行如下更新操作：基于引入近端项的本地损失函数以及梯度下降法，更
3、可选地，通过如下方式确定目标模型满足第一预设终止条件：目标模型的本地迭代次数达到本地迭代次数阈值，其中，本地迭代次数阈值通过最小化全局损失函数得到，全局损失函数基于全局模型参数与预定模型参数的第二差异信息、预定变量确定，预定模型参数为基于集中式学习方法更新目标模型后的模型参数，预定变量指示目标模型的本地迭代次数阈值。
4、可选地，通过如下方式确定全局损失函数：确述第一差异信息的上限和目标模型消耗的资源信息；至少基于如下信息，确定全局损失函数：第二差异信息、第一差异信息的上限、近端项的系数、目标模型对应的更新后的预定常数和资源信息。
5、在另一总的方面，提供了一种联邦学习方法，应用于服务器，并且包括：从至少一个客户端接收目标模型更新后的本地模型参数，其中，每个客户端对应的更新后的本地模型参数为基于引入近端项的本地损失函数以及梯度下降法更新目标模型后的模型参数，近端项包含相应客户端的本地模型参数与目标模型的全局模型参数的第一差异信息，近端项在每个客户端的本地损失函数中的系数采用拉格朗日乘子更新方法进行更新；对每个客户端对应的更新后的本地模型参数进行全局聚合，得到目标模型的全局模型参数；响应于目标模型满足第二预设终止条件，将全局模型参数发送给每个客户端，并通知每个客户端停止更新操作；响应于目标模型没有满足第二预设终止条件，将全局模型参数发送给每个客户端，并通知每个客户端以全局模型参数为基础继续更新操作。
6、可选地，在对每个客户端对应的更新后的本地模型参数进行聚合，得到目标模型的全局模型参数之后，还包括：确定全局模型参数与预定模型参数的第二差异信息，其中，预定模型参数为基于集中式学习方法更新目标模型后的模型参数；基于第二差异信息和预定变量，确定全局损失函数，其中，预定变量指示目标模型的本地迭代次数阈值；对全局损失函数进行最小化处理，得到每个客户端下一次更新操作的本地迭代次数阈值；响应于目标模型没有满足第二预设终止条件，将下一次更新操作的本地迭代次数阈值分别发送给每个客户端。
7、可选地，基于第二差异信息，确定全局损失函数，包括：确述第一差异信息的上限和目标模型消耗的资源信息；至少基于如下信息，确定全局损失函数：第二差异信息、第一差异信息的上限、近端项的系数、目标模型对应的更新后的预定常数和资源信息。
8、可选地，预定常数通过如下方式更新：获取目标模型在每个客户端的预定常数；取每个客户端的预定常数的平均值，作为更新后的预定常数。
9、可选地，在将全局模型参数发送给每个客户端之前，还包括：响应于当前全局聚合对应的全局损失小于上一次全局聚合对应的全局损失，将当前聚合后的全局模型参数发送给每个客户端；响应于当前全局聚合对应的全局损失不小于上一次全局聚合对应的全局损失，将上一次全局聚合后的全局模型参数发送给每个客户端；其中，全局损失基于每个客户端的本地损失函数确定。
10、在另一总的方面，提供了一种联邦学习装置，应用于目标客户端，包括：循环单元，被配置为循环执行如下更新操作：基于引入近端项的本地损失函数以及梯度下降法，更新目标模型在目标客户端的本地模型参数，其中，本地模型参数与目标模型的全局模型参数的第一差异信息；响应于所有客户端的本地损失函数之和与全局损失函数之差小于预设阈值，采用拉格朗日乘子更新方法，更新近端项在目标客户端的本地损失函数中的系数；第一发送单元，被配置为响应于目标模型满足第一预设终止条件，将更新后的本地模型参数发送给服务器。
11、可选地，通过如下方式确定目标模型满足第一预设终止条件：目标模型的本地迭代次数达到本地迭代次数阈值，其中，本地迭代次数阈值通过最小化全局损失函数得到，全局损失函数基于全局模型参数与预定模型参数的第二差异信息、预定变量确定，预定模型参数为基于集中式学习方法更新目标模型后的模型参数，预定变量指示目标模型的本地迭代次数阈值。
12、可选地，通过如下方式确定全局损失函数：确述第一差异信息的上限和目标模型消耗的资源信息；至少基于如下信息，确定全局损失函数：第二差异信息、第一差异信息的上限、近端项的系数、目标模型对应的更新后的预定常数和资源信息。
13、在另一总的方面，提供了一种联邦学习装置，应用于服务器，包括：接收单元，被配置为从至少一个客户端接收目标模型更新后的本地模型参数，其中，每个客户端对应的更新后的本地模型参数为基于引入近端项的本地损失函数以及梯度下降法更新目标函数后的模型参数，近端项包含相应客户端的本地模型参数与目标函数的全局模型参数的第一差异信息，近端项在每个客户端的本地损失函数中的系数采用拉格朗日乘子更新方法进行更新；聚合单元，被配置为对每个客户端对应的更新后的本地模型参数进行全局聚合，得到目标模型的全局模型参数；第二发送单元，被配置为响应于目标模型满足第二预设终止条件，将全局模型参数发送给每个客户端，并通知每个客户端停止更新操作；响应于目标模型没有满足第二预设终止条件，将全局模型参数发送给每个客户端，并通知每个客户端以全局模型参数为基础继续更新操作。...
【技术保护点】
1.一种联邦学习方法，其特征在于，所述联邦学习方法应用于目标客户端，并且所述方法包括：
2.如权利要求1所述的联邦学习方法，其特征在于，通过如下方式确定所述目标模型满足第一预设终止条件：
3.如权利要求2所述的联邦学习方法，其特征在于，通过如下方式确定所述全局损失函数：
4.一种联邦学习方法，其特征在于，所述联邦学习方法应用于服务器，并且包括：
5.如权利要求4所述的联邦学习方法，其特征在于，在对每个所述客户端对应的更新后的本地模型参数进行聚合，得到所述目标模型的全局模型参数之后，还包括：
6.如权利要求5所述的联邦学习方法，其特征在于，所述基于所述第二差异信息，确定全局损失函数，包括：
7.如权利要求6所述的联邦学习方法，其特征在于，所述预定常数通过如下方式更新：
8.如权利要求4所述的联邦学习方法，其特征在于，在将所述全局模型参数发送给每个所述客户端之前，还包括：
9.一种联邦学习装置，其特征在于，应用于目标客户端，包括：
10.一种联邦学习装置，其特征在于，应用于服务
11.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至8中的任一权利要求所述的联邦学习方法。
12.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其特征在于，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至8中的任一权利要求所述的联邦学习方法。
13.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1至8中任一项所述的联邦学习方法。
...【技术特征摘要】
1.一种联邦学习方法，其特征在于，所述联邦学习方法应用于目标客户端，并且所述方法包括：
2.如权利要求1所述的联邦学习方法，其特征在于，通过如下方式确定所述目标模型满足第一预设终止条件：
3.如权利要求2所述的联邦学习方法，其特征在于，通过如下方式确定所述全局损失函数：
4.一种联邦学习方法，其特征在于，所述联邦学习方法应用于服务器，并且包括：
5.如权利要求4所述的联邦学习方法，其特征在于，在对每个所述客户端对应的更新后的本地模型参数进行聚合，得到所述目标模型的全局模型参数之后，还包括：
6.如权利要求5所述的联邦学习方法，其特征在于，所述基于所述第二差异信息，确定全局损失函数，包括：
7.如权利要求6所述的联邦学习方法，其特征在于，所述预定常数通过如下方式更新：
8.如权利要...
【专利技术属性】
技术研发人员：杨宁，吕品，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。