基于斯塔克尔伯格博弈的无偏联邦学习激励方法及设备技术

本申请实施例公开了基于斯塔克尔伯格博弈的无偏联邦学习激励方法及设备，用于在每轮训练的目标参与方随机且数量不定的情况下保证模型的无偏性，且实现更快更优的模型收敛。本申请实施例方法包括：基于每个备选参与方的预期参与水平确定用户效用函数以及服务效用函数；基于斯塔克尔伯格博弈模型确定与服务效用函数以及用户效用函数对应的目标优化问题；求解目标优化问题，获得每个备选参与方的目标参与水平以及对应的目标激励函数；基于每轮训练的目标参与方进行联邦学习，直至模型收敛获得目标模型；每轮训练的目标参与方，根据目标参与水平对多个备选参与方进行随机采样确定，目标模型为基于所述每轮训练的目标参与方的实际参与水平聚合得到。实际参与水平聚合得到。实际参与水平聚合得到。

【技术实现步骤摘要】
基于斯塔克尔伯格博弈的无偏联邦学习激励方法及设备


[0001]本申请实施例涉及联邦学习领域，尤其涉及基于斯塔克尔伯格博弈的无偏联邦学习激励方法以及相关设备。

技术介绍

[0002]联邦学习作为一种新兴的分布式机器学习范式出现，它使许多用户端在中央服务端的协调下能够协同训练机器学习模型，同时保持训练数据的私密性。在公司或机构需要用户的海量数据进行价值模型的机器学习以盈利，国家越发重视数据隐私保护的大数据时代，联邦学习的地位正在大幅提升。为了鼓励备选参与方积极参与联邦学习，需要向每个参与方提供足够的补偿，也就是激励。
[0003]然而，现有联邦学习的激励机制都是以每轮训练的目标参与方数量固定的情况下设计的。在实际应用中，备选参与方并非有条件参与每轮训练，而每轮训练的目标参与方的训练数据难以代表所有备选参与方的数据特征，导致模型存在严重偏差，也就是说导致模型仅在特定数据集下具有良好的表现。因此，亟需一种在保证模型全局表现的前提下考虑到每轮目标参与方随机性的联邦学习激励方法。

技术实现思路

[0004]本申请实施例提供了基于斯塔克尔伯格博弈的无偏联邦学习激励方法及设备，用于在每轮训练的目标参与方随机的情况下实现更快更优的模型收敛。
[0005]本申请实施例第一方面提供一种基于斯塔克尔伯格博弈的无偏联邦学习激励方法，应用于聚合服务器，包括：
[0006]基于每个备选参与方的预期参与水平确定每个备选参与方的用户效用函数以及所述聚合服务器的服务效用函数；
[0007]基于斯塔克尔伯格博弈模型确定与所述服务效用函数以及所述用户效用函数对应的目标优化问题；
[0008]求解所述目标优化问题，获得每个备选参与方的目标参与水平以及所述目标参与水平对应的目标激励函数，在所述目标参与水平下，所述用户效用函数以及所述服务效用函数达到斯塔克尔伯格平衡；
[0009]基于每轮训练的目标参与方进行联邦学习，直至模型收敛获得目标模型；所述每轮训练的目标参与方，根据所述目标参与水平对多个备选参与方进行随机采样确定，所述目标模型为基于所述每轮训练的目标参与方的实际参与水平聚合得到；
[0010]根据对应的目标激励函数，计算每个所述目标参与方的学习激励。
[0011]在一种具体实现方式中，所述基于每个备选参与方的预期参与水平确定每个备选参与方的用户效用函数以及所述聚合服务器的服务效用函数，包括：
[0012]基于每个备选参与方的预期参与水平以及预设损失函数，计算所述聚合服务器的服务效用函数；
[0013]向所述每个备选参与方发送预设激励函数；
[0014]接收所述每个备选参与方发送的用户效用函数，所述用户效用函数为备选参与方基于预期参与水平、预设激励函数以及预设成本函数构建得到。
[0015]在一种具体实现方式中，所述用户效用函数为备选参与方基于预期参与水平、预设激励函数以及预设成本函数构建得到，包括：
[0016]所述每个备选参与方的用户效用函数根据以下公式构建；
[0017]U
c
(q
n
,P
n
)＝P
n
q
n
‑
C
n
[0018]其中，C
n
为第n个备选参与方的预设成本函数，q
n
为第n个备选参与方的预期参与水平，P
n
为所述第n个备选参与方的预设激励函数，U
c
(q
n
,P
n
)为第n个备选参与方在q
n
以及P
n
下的用户效用函数。
[0019]在一种具体实现方式中，所述基于每个备选参与方的预期参与水平以及预设损失函数，计算所述聚合服务器的服务效用函数，包括：
[0020]根据以下公式构建所述聚合服务器的服务效用函数；
[0021][0022]其中，P为所述每个目标参与方的预设激励函数构成的集合，q为所述每个目标参与方的预期参与水平构成的集合，F为预设损失函数，w
r
为第r轮的聚合模型参数，表示期望值，U
s
为所述聚合服务器在P以及q下的服务效用函数。
[0023]在一种具体实现方式中，所述基于斯塔克尔伯格博弈模型确定与所述服务效用函数以及所述用户效用函数对应的目标优化问题，包括：
[0024]基于斯塔克尔伯格博弈模型、所述服务效用函数以及所述每个备份服务器的用户效用函数进行数学推导，可获得以下目标优化问题；
[0025][0026]其中，a
n
表示第n个备选参与方的训练数据占每个备选参与方的训练数据之和的比例，q
n
表示第n个备选参与方的预期参与水平，G
n
表示第n个备选参与方的本地梯度，α以及β为系统参数，F
*
为全局目标损失函数最小值。
[0027]在一种具体实现方式中，所述求解所述目标优化问题，获得每个备选参与方的目标参与水平以及所述目标参与水平对应的目标激励函数，包括：
[0028]在预期成本以及所述每个备选参与方预设的最高参与水平的约束下，求解所述目标优化问题，算得每个备选参与方的目标参与水平以及所述目标参与水平对应的目标激励函数。
[0029]在一种具体实现方式中，基于每轮训练的目标参与方进行联邦学习，直至模型收敛获得目标模型，包括：
[0030]向参与所述第r+1轮训练的每个目标参与方发送第r轮的聚合模型参数；
[0031]根据以下公式计算第r+1轮训练的聚合模型参数；
[0032][0033]其中，w
r+1
表示第r+1轮的聚合模型参数，w
r
表示第r轮的聚合模型参数，S(q)
r
表示第r轮的目标参与方集合，a
n
表示第n个备选参与方的训练数据量占占训练数据总量的比例，q
n
′
表示第n个备选参与方的实际参与水平，表示第n个备选参与方基于w
r
在本地训练得到的第r+1轮的待聚合模型参数；
[0034]若所述w
r+1
满足预设收敛条件，则基于所述w
r+1
确定所述目标模型。
[0035]本申请实施例第二方面提供一种计算机设备，包括：
[0036]确定单元，用于基于每个备选参与方的预期参与水平确定每个备选参与方的用户效用函数以及聚合服务器的服务效用函数；
[0037]所述确定单元，还用于基于斯塔克尔伯格博弈模型确定与所述服务效用函数以及所述用户效用函数对应的目标优化问题；
[0038]求解单元，用于求解所述目标优化问题，获得每个备选参与方的目标参与水平以及所述目标参与水平对应的目标激励函数，在所述目标参与水平下，所述用户效用函数以及所述服务效用函数达到斯塔克尔伯格平衡；
[0039]训练单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于斯塔克尔伯格博弈的无偏联邦学习激励方法，其特征在于，应用于聚合服务器，所述方法包括：基于每个备选参与方的预期参与水平确定每个备选参与方的用户效用函数以及所述聚合服务器的服务效用函数；基于斯塔克尔伯格博弈模型确定与所述服务效用函数以及所述用户效用函数对应的目标优化问题；求解所述目标优化问题，获得每个备选参与方的目标参与水平以及所述目标参与水平对应的目标激励函数，在所述目标参与水平下，所述用户效用函数以及所述服务效用函数达到斯塔克尔伯格平衡；基于每轮训练的目标参与方进行联邦学习，直至模型收敛获得目标模型；所述每轮训练的目标参与方，根据所述目标参与水平对多个备选参与方进行随机采样确定，所述目标模型为基于所述每轮训练的目标参与方的实际参与水平聚合得到；根据对应的目标激励函数，计算每个所述目标参与方的学习激励。2.根据权利要求1所述的方法，其特征在于，所述基于每个备选参与方的预期参与水平确定每个备选参与方的用户效用函数以及所述聚合服务器的服务效用函数，包括：基于每个备选参与方的预期参与水平以及预设损失函数，计算所述聚合服务器的服务效用函数；向所述每个备选参与方发送预设激励函数；接收所述每个备选参与方发送的用户效用函数，所述用户效用函数为备选参与方基于预期参与水平、预设激励函数以及预设成本函数构建得到。3.根据权利要求2所述的方法，其特征在于，所述用户效用函数为备选参与方基于预期参与水平、预设激励函数以及预设成本函数构建得到，包括：所述每个备选参与方的用户效用函数根据以下公式构建；U
c
(q
n
,P
n
)＝P
n
q
n
‑
C
n
其中，C
n
为第n个备选参与方的预设成本函数，q
n
为第n个备选参与方的预期参与水平，P
n
为所述第n个备选参与方的预设激励函数，U
c
(q
n
,P
n
)为第n个备选参与方在q
n
以及P
n
下的用户效用函数。4.根据权利要求3所述的方法，其特征在于，所述基于每个备选参与方的预期参与水平以及预设损失函数，计算所述聚合服务器的服务效用函数，包括：根据以下公式构建所述聚合服务器的服务效用函数；其中，P为所述每个目标参与方的预设激励函数构成的集合，q为所述每个目标参与方的预期参与水平构成的集合，F为预设损失函数，w
r
为第r轮的聚合模型参数，表示期望值，U
s
为所述聚合服务器在P以及q下的服务效用函数。5.根据权利要求4所述的方法，其特征在于，所述基于斯塔克尔伯格博弈模型确定与所述服务效用函数以及所述用户效用函数对应的目标优化问题，包括：基于斯塔克尔伯格博弈模型、所述服务效用函数以及所述每个备份服务器的用户效用函数进行数学推导，可获得...

【专利技术属性】
技术研发人员：罗冰，冯雨童，黄建伟，
申请(专利权)人：深圳市人工智能与机器人研究院，
类型：发明
国别省市：