【技术实现步骤摘要】
本专利技术属于无线通信，具体而言，涉及一种联合设备选择和样本抽样的无线联邦模型裁剪方法。
技术介绍
1、由于移动设备(如智能手机和传感器)的极度普及，移动互联网的流量正以惊人的速度增长。新兴的分布式学习框架，如边缘网络上的联邦学习，在保证用户隐私数据不被服务器收集方面有显著优点。此外，它充分利用了边缘设备的处理能力，使边缘设备中的数据只保留在本地，以分散的方式进行模型训练，促进了边缘网络中基于人工智能的服务和应用的发展。然而为了充分挖掘网络边缘的分布式计算能力和客户端数据，实现大量客户端设备的快速模型聚合是边缘联邦学习面临的一个重大挑战。具体来说，在一个典型的联邦学习框架中：第一步涉及到客户端设备使用本地数据训练模型。这个过程受到边缘设备计算能力的限制，这就造成了庞大的本地数据集与客户端设备有限的计算能力之间的矛盾。第二步，客户端将更新后的局部模型或梯度向量上传到边缘服务器，这里存在高维模型参数传输与有限通信资源之间的冲突。
2、最近，有很多关于优化客户端计算能力成本的研究。luo等研究了联邦学习算法局部更新频率随客户端数量和局部迭代次数的自适应调整。xu等开发了一种可以自适应调整客户端的本地更新频率和模型压缩比的控制算法。ji等人介绍了一种边缘辅助的联邦学习方案，该方案利用服务器的空闲计算能力来帮助客户端模型进行训练。上述方法侧重于模型级别，旨在通过调整本地更新来解决客户端设备的计算能力限制。然而，他们没有考虑到用于训练模型的数据量会极大地影响计算资源的消耗。随着模型复杂度的增加，通信资源约束成为联邦学习中快速模型
技术实现思路
1、在边缘网络上的实现联邦学习的过程中，由于在联邦学习过程中需要用户和服务器之间的不断交互，因此通信和计算资源的优化是紧密耦合的，这对提供计算效率高的算法具有挑战性。针对上述问题，本专利技术提出一种联合设备选择和样本抽样的无线联邦模型裁剪方法，改进了现有的联邦模型级聚合算法，有效的降低了联邦学习的计算和通信成本，同时不降低模型准确率。
2、本专利技术采用的技术手段如下：
3、一种联合设备选择和样本抽样的无线联邦模型裁剪方法，包括以下步骤：
4、步骤一：模型建立；
5、步骤二：无线联邦学习系统的训练；
6、步骤三：空中计算和参数修剪；
7、步骤四：计算成本和通信成本联合优化。
8、进一步地，所述步骤二中，考虑了由边缘计算服务器e和k个客户端u1,……,uk的边缘联邦学习系统；客户端通过无线链路连接到边缘服务器；客户端uk有一个本地数据集dk＝xi∈rd,yi∈r，数据集大小为|dk|＝nk；假设每个客户端的数据集在统计上是独立的，总数据集用表示，最小化一个全局损失函数：
9、
10、其中，为客户端模型在上的局部损失函数；表示为
11、
12、其中，f(w,xj,yj)为样本损失函数，用于量化学习模型w对样本对xj和yj的预测误差；在每一轮通信中，客户端使用服务器广播的全局模型，并从中选择部分样本数据，通过随机梯度下降方法更新局部模型，迭代次数为第τ次迭代表示为：
13、
14、其中，为的选择子集，大小为η为学习率，为梯度算子；经过次sgd迭代后，局部模型梯度为：
15、
16、随后，设为某轮调度客户端的集合，仅对所选客户端的模型进行聚合。客户端将其局部模型的梯度上传到边缘服务器，以更新全局模型为：
17、
18、其中，如果客户端是被调度的，则二元变量zn,k＝1，否则为zn,k＝0，且
19、进一步地，所述步骤三中，为了减少模型参数传输的负担，定义了一个剪枝算子γ来提取非零元素，剪枝后传输到服务器的参数向量为：
20、
21、其中，⊙表示元素相乘运算符，mn表示模型修剪的二进制掩码向量，取决于参数的重要性；客户端将ωk的各个参数依次调制为正交模拟波形，j＝q·(1-ε)＝|ωk|，ε为模型剪枝比；客户端以空中计算的方式同时传输，在第j个子载波和第n轮通信中边缘服务器聚合的第i个模型参数yn,i表示为：
22、
23、其中，表示瑞利衰落系数，在n和k上独立同分布(i.i.d)，为相应的功率控制策略；是加性高斯白噪声，方差为σ2；
24、由于信号是在空中自动聚合的，因此边缘服务器接收到的聚合信号为：
25、
26、其中，ξk～cn(0,σ2m)，m表示j×j单位向量。服务器根据掩码信息重构梯度向量，得到带噪梯度：
27、
28、其中，γ-1为γ的逆操作，即以γ的逆方式插入零元素；
29、为了确定参数的重要性，其中是否对模型w中的参数i进行修剪取决于：
30、
31、其中，为噪声梯度的第i个元素，为模型wn的第i个元素；服务器计算全局模型中所有元素的重要性度量，并按降序对它们进行排序；设ψj为剪枝阈值，ψj＝ψq·(1-ε)，得到模型剪枝的掩码向量
32、
33、最终模型更新为：
34、
35、服务器向所有客户端广播更新的全局模型wn+1和掩码向量mn+1。
36、进一步地，所述步骤四包括以下步骤：
37、步骤4.1：分析了计算和通信成本为：式中ρ1和ρ2分别为模型训练和无线传输的成本系数；模型精度损失的上限为：ln＝e{|f(wn+1)-g(w*)|2}，其中f(wn+1)是wn+1的全局损失函数，g(w*)是联邦学习理论上可实现的最小期望风险，w*是模型最小期望风险对应的最优解；联合优化问题为：
38、
39、其中，μ1和μ2分别是cn和ln的权值；
40、步骤4.2：为了最小化目标函数q，考虑到优化问题的非线性和非凸性，将主问题解耦为三个子问题；
41、对于第一个子问题，固定客户调度zn,k和剪枝比ε，只考虑优化客户样本量，将目标函数q修改为：
42、
43、为了便于优化，将n′k松弛为连续变量；常用的顺序最小二乘规划方法可以在有限范围内获得最优值nk；
44、对于第二个子问题，固定客户训练样本和剪枝比ε，将客户调度子问题优化为：
45、
46、其中可知，调度vn,k为正值的客户端可使减少本文档来自技高网...
【技术保护点】
1.一种联合设备选择和样本抽样的无线联邦模型裁剪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种联合设备选择和样本抽样的无线联邦模型裁剪方法，其特征在于，所述步骤二中，考虑了由边缘计算服务器E和K个客户端u1，......，uk的边缘联邦学习系统；客户端通过无线链路连接到边缘服务器；客户端uk有一个本地数据集Dk＝xi∈Rd，yi∈R，数据集大小为|Dk|＝Nk；假设每个客户端的数据集在统计上是独立的，总数据集用表示，最小化一个全局损失函数：
3.根据权利要求1所述的一种联合设备选择和样本抽样的无线联邦模型裁剪方法，其特征在于，所述步骤三中，为了减少模型参数传输的负担，定义了一个剪枝算子Γ来提取非零元素，剪枝后传输到服务器的参数向量为：
4.根据权利要求1所述的一种联合设备选择和样本抽样的无线联邦模型裁剪方法，其特征在于，所述步骤四包括以下步骤：
【技术特征摘要】
1.一种联合设备选择和样本抽样的无线联邦模型裁剪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种联合设备选择和样本抽样的无线联邦模型裁剪方法，其特征在于，所述步骤二中，考虑了由边缘计算服务器e和k个客户端u1，......，uk的边缘联邦学习系统；客户端通过无线链路连接到边缘服务器；客户端uk有一个本地数据集dk＝xi∈rd，yi∈r，数据集大小为|dk|＝nk；假设每个客户...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。