一种基于空中计算和能量收集的联邦学习模型聚合方法技术

本发明专利技术提供了一种基于空中计算和能量收集的联邦学习模型聚合方法，提出了一种利用空中计算技术和能量收集技术的模型聚合设计优化算法，考虑不同训练轮次内设备能量的相关性，通过交替优化参与设备

【技术实现步骤摘要】
一种基于空中计算和能量收集的联邦学习模型聚合方法


[0001]本专利技术涉及一种无线联邦学习中的模型聚合方法，属于信息

。

技术介绍

[0002]随着各类新兴智能应用的普及，边缘服务器与设备间频繁的数据交换会造成巨大的通信开销和严重的隐私泄露问题
。
联邦学习是一种仅交换训练模型或梯度信息的分布式机器学习方案，能有效减少通信开销和避免隐私泄露
。
联邦学习包括如下应用场景：
[0003]1)
移动设备上的个性化推荐：联邦学习可以在多个移动设备上训练个性化推荐模型，这些设备中的数据不需要上传到云端，从而保护用户的隐私
。
[0004]2)
医疗健康领域：联邦学习可以在多个医院
、
研究机构之间训练医学图像分类和识别模型，提高模型的准确性，同时保护患者的隐私信息
。
[0005]3)
物联网：联邦学习可以在多个智能设备
、
传感器
、
监控器之间进行模型的协作和优化，从而提高系统的可靠性和效率
。
[0006]4)
金融行业：联邦学习可以在多个银行之间共同学习交易行为模式，从而减少诈骗和风险
。
[0007]5)
边缘计算：联邦学习可以在边缘设备上进行，从而节省网络带宽和减少延迟，提高计算效率和隐私保护
。
[0008]在无线通信组网场景下，当边缘设备数量较大时，高维模型和梯度信息的信息量较大，从设备到边缘服务器之间的信息传输速率受限于传统的无线正交多址接入方式，容易造成较大的通信时延，从而影响联邦学习的效率
。
为了降低模型聚合过程的通信时延，可引入空中计算技术，利用无线电波的叠加性，实现快速的模型聚合
。
此外，由于设备本身能量受限，周期性的本地训练和模型上传会产生大量的设备能量开销，可能导致聚合信号失真，甚至训练停止，进而影响联邦学习训练效果
。

技术实现思路

[0009]本专利技术的目的是为了解决无线联邦学习系统的能量受限困境
。
[0010]为了达到上述目的，本专利技术的技术方案是提供了一种基于空中计算和能量收集的联邦学习模型聚合方法，其特征在于，包括以下步骤：
[0011]步骤
1、
基于设备能量更新模型，对参与设备发射功率接收端波束赋形向量
m
t
进行联合设计，构造如下式所示的具体优化问题：
[0012][0013][0014][0015][0016]式中，为设备
k
在第
t
轮的电池容量，和分别为设备
k
在第
t
轮用于通信和本地训练的能量开销，为设备
k
在第
t
轮收集到的能量，为对发射信号和接收噪声的期望，
F(
ω
T
)
为
T
轮训练过后的全局损失函数，
ω
T
为
T
轮训练过后的全局模型，为设备
k
的最大发射功率约束；
[0017]步骤
2、
虚拟队列来记录设备
k
的能量水平，对步骤1所构造的优化问题进行在线优化，优化时，固定参与设备则每一轮的优化目标函数为：
[0018][0019]其中：为设备
k
关于梯度的标准差；
d
为模型的维数；为设备
k
与服务器间的信道状态信息；为高斯白噪声的方差；
U
t
＝
(1
‑
γμ
)
T
‑1‑
t
，
γ
为联邦学习的学习率，
μ
>0
为条件的常数；
(
·
)
H
为向量的共轭转置；
τ
为每一轮训练的时长；
[0020]固定设备发射功率，求解得到服务器端最优的接收端波束赋形向量
(m
t
)
*
：
[0021][0022]式中，
I
M
为维度为
M
的单位矩阵
。
[0023]固定接收端波束赋形向量，求解得到最优的发射功率
[0024][0025]式中，
[0026]采用下式更新虚拟队列：
[0027][0028]步骤
3、
通过吉布斯采样法确定每轮参与设备
[0029]步骤
4、
重复步骤2和步骤3，直到联邦学习全局损失函数值收敛
。
[0030]优选地，步骤1中，所建立的设备能量更新模型表示为：中，所建立的设备能量更新模型表示为：
[0031]优选地，步骤2中，求解得到最优的发射功率不满足时，将功率修正为
[0032]优选地，步骤2中，传输标量表示为式中，以及
m
t
为最优的发射功率以及服务器端最优的接收端波束赋形向量
。
[0033]优选地，所述步骤3包括以下步骤：
[0034]向量为集合的指示变量，为设备
K
二元指示变量，对集合的指示变量
s
t
进行
J
max
次采样并获得一系列样本
{s
t,j
}
直至收敛，其中，
j∈{1,
…
,J
max
}
；在每次采样中，样本
s
t,j
从集合中以分布进行采样，其中，表示与
s
t,j
‑1中第
i
个元素不同的指示变量，
J(s
t,j
)
为步骤2中构造的优化问题在
s
t,j
下的目标函数，参数
β
>0
用于加速收敛
。
[0035]本专利技术提出了一种利用空中计算技术和能量收集技术的模型聚合设计优化算法，考虑不同训练轮次内设备能量的相关性，通过交替优化参与设备
、
传输设备发射功率以及接收端的波束赋形向量，实现对设备中有限能量的合理调度，提高了模型聚合精度，进而提升模型测试精度
。
[0036]本专利技术所提方案为在线优化方法，与现有的采用离线方式的优化方法不同，本专利技术在每个通信轮次内的设计仅依赖于当前的信道状态信息和到达能量，更符合实际应用场景
。
附图说明
[0037]图1为本专利技术的流程图；
[0038]图2示意了本专利技术与现有方案的性能对比
。
具体实施方式
[0039]下面结合具体实施例，进一步阐述本专利技术<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于空中计算和能量收集的联邦学习模型聚合方法，其特征在于，包括以下步骤：步骤
1、
基于设备能量更新模型，对参与设备发射功率接收端波束赋形向量
m
t
进行联合设计，构造如下式所示的具体优化问题：进行联合设计，构造如下式所示的具体优化问题：进行联合设计，构造如下式所示的具体优化问题：进行联合设计，构造如下式所示的具体优化问题：式中，为设备
k
在第
t
轮的电池容量，和分别为设备
k
在第
t
轮用于通信和本地训练的能量开销，为设备
k
在第
t
轮收集到的能量，为对发射信号和接收噪声的期望，
F(
ω
T
)
为
T
轮训练过后的全局损失函数，
ω
T
为
T
轮训练过后的全局模型，为设备
k
的最大发射功率约束；步骤
2、
虚拟队列来记录设备
k
的能量水平，对步骤1所构造的优化问题进行在线优化，优化时，固定参与设备则每一轮的优化目标函数为：其中：为设备
k
关于梯度的标准差；
d
为模型的维数；为设备
k
与服务器间的信道状态信息；为高斯白噪声的方差；
U
t
＝
(1
‑
μ
)
T
‑1‑
t
，
γ
为联邦学习的学习率，
μ
&gt;0
为条件的常数；
(
·
)
H
为向量的共轭转置；
τ
为每一轮训练的时长；固定设备发射功率，求解得到服务器端最优的接收端波束赋形向量
(m
t
)
*
：式中，
I
...

【专利技术属性】
技术研发人员：周勇，安翘楚，李凯，石远明，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：