基于不变风险最小化博弈机制的联邦学习方法及系统技术方案

本发明专利技术提供一种基于不变风险最小化博弈机制的联邦学习方法及系统，应用于联邦学习技术领域。联邦学习系统包括服务器和多个客户端，服务器分别与多个客户端通信连接。基于不变风险最小化博弈机制的联邦学习方法预先将Non

【技术实现步骤摘要】
基于不变风险最小化博弈机制的联邦学习方法及系统


[0001]本专利技术涉及联邦学习
，尤其涉及一种基于不变风险最小化博弈机制的联邦学习方法及系统。

技术介绍

[0002]联邦学习(Federated Learning)是一种新兴的人工智能基础技术，原用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习。
[0003]联邦学习本质上是一种分布式机器学习框架，其目标是保证数据隐私安全及合法合规的基础上，与各个数据拥有方共同建模，提升AI模型的效果。然而在实际情况中，联邦学习普遍会面临一个不可忽视的数据非独立同分布(Non
‑
IID)问题，即参与共同建模的客户(clients)所拥有的数据来自不同的分布。由此会导致以下两个主要问题：
[0004](1)由于数据存在差异，训练时部分设备的局部模型会呈现“远离”全局模型的情况，即模型权重偏差(weight divergence)变大，使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于不变风险最小化博弈机制的联邦学习方法，应用于联邦学习系统，所述联邦学习系统包括服务器和多个客户端，所述服务器分别与多个所述客户端通信连接，其特征在于，所述基于不变风险最小化博弈机制的联邦学习方法预先将非独立同分布Non
‑
IID问题转换为分布外泛化OOD问题，并针对所述OOD问题，引入不变风险最小化IRM作为目标最小化框架；所述基于不变风险最小化博弈机制的联邦学习方法包括：所述服务器从所述多个客户端中选取K个客户端参与训练；所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化。2.根据权利要求1所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，所述目标最小化框架为双层目标最小化框架，通过以下公式表示：其中，ω为预测器，H
ω
为预测器的假设集，Φ为特征表达、H
Φ
为特征表达的假设集，e为任一个客户端，R
e
为损失函数，ε
train
为所述K个客户端。3.根据权利要求2所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，所述双层目标最小化框架包括约束s.t外层和约束s.t内层；所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化，包括：所述K个客户端分别采用如下公式优化其局部目标函数O
e
，所述局部目标函数O
e
为所述约束s.t内层的一种表达式：其中ω
e
为客户端e的预测器，ω
e
’
为除客户端e外的其他客户端e
’
的预测器；所述服务器采用如下公式优化全局目标函数O
global
，所述全局目标函数O
global
为所述约束s.t外层的一种表达式：4.根据权利要求3所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化，包括：所述服务器预先设定有最大通信轮次N，并初始化当前轮次t＝0，N为正整数；所述服务器判断当前轮次t是否大于N；如果当前轮次t不大于N，则所述服务器判断当前轮次是特征提取器更新轮还是预测器更新轮；如果当前轮次是特征提取器更新轮，则所述服务器和所述K个客户端根据预设的第一更新方法对特征提取器模型权重进行更新；如果当前轮次是预测器更新轮，则所述服务器和所述K个客户端根据预设的第二更新方法对局部预测器模型权重集合和全局预测器模型权重进行更新。5.根据权利要求4所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，
所述服务器和所述K个客户端根据预设的第一更新方法对特征提取器模型权重进行更新，包括：所述K个客户端中的每个客户端通过计算损失函数R
e
，并基于所述损失函数R
e
计算得到第一梯度，将所述第一梯度发送至所述服务器；所述服务器接收到所述K个客户端分别发送的第一梯度后，将所述K个客户端的K个第...

【专利技术属性】
技术研发人员：张睿，
申请(专利权)人：特斯联科技集团有限公司，
类型：发明
国别省市：