本发明专利技术涉及一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统，包括：(1)建立对抗参数有偏聚合的联邦学习系统模型；(2)基于联邦学习系统模型训练的目的，构建相应的目标函数；(3)根据建立的联邦学习系统模型，引入对抗用户有偏梯度聚合的功率控制因子，确定相应的空中计算通信模型；(4)收发机之间不考虑协同操作，接收器端使用非相干能量检测法进行信号处理；(5)确立基于对抗参数有偏聚合的联邦学习安全机制方法，完成联邦学习系统模型的更新训练过程。针对联邦学习训练中参与用户的梯度有偏聚合情况，本发明专利技术综合考虑用户隐私要求和缓解大规模参数传递的通信负担需求，实现了一种安全
【技术实现步骤摘要】
一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统
[0001]本专利技术涉及一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统，属于分布式机器学习领域。
技术介绍
[0002]随着现代智能终端计算能力和存储容量的大幅提升，联邦学习这种新型的分布式机器学习算法应运而生，为实现隐私计算提供了一种有效途径。传统的机器学习方法要求将训练所用的数据集中在服务器并建立模型，而联邦学习能够在数据不共享的情况下构建全局模型，不涉及数据的传输，极大地保证了每个参与者的数据隐私安全。[Brendan McMahan H,Moore E,Ramage D,et al.Communication
‑
efficient learning of deep networks from decentralized data[J].arXiv e
‑
prints,2016:arXiv:1602.05629.]。
[0003]在联邦学习中，边缘设备以及服务器定期上下行传递模型参数时，参与学习过程的边缘设备共享相同的无线介质以向边缘服务器传送本地更新，有限的无线频谱、功率资源可能带来严重拥塞，从而导致联邦学习的通信瓶颈。大规模的客户端很容易对通信网络造成巨大的带宽负担，为了解决这个问题，一种有前景的解决方案是执行联邦边缘学习所需的计算，利用无线多址信道的信号叠加特性的空中计算(AirComp)方法，有效降低通信开销，达到全局模型快速收敛的效果。[Zhu G,Wang Y,Huang K.Broadband analog aggregation for low
‑
latency federated edge learning[J].IEEE Transactions on Wireless Communications,2019,19(1):491
‑
506.]。然而，由于实际情况中的多径信道、功率失准和时间同步误差，研究空中计算的相关解决方案不是一项简单的任务，而且信道状态信息(CSI)需要在服务器或边缘设备处可用。针对此问题，在接收端使用非相干检测法进行处理，从而达到更好的效果。
[0004]在使用空中计算方法的背景下，通信开销问题得到了有效解决，但多用户的参数聚合是否对全局模型的训练产生明显偏差，成为工作研究的重点。已有研究表明某些参与方可能提供有偏梯度参数指标或者在传输过程中发生错误，由于多参与方的存在使聚合结果产生较大差别，会严重影响模型参数的聚合和训练的质量。并且这些用户在参数聚合的过程中甚至会主导联邦学习训练过程，导致本地模型与全局最优模型收敛方向不一致，影响全局模型性能。[Bagdasaryan E,Veit A,Hua Y,etal.How to backdoor federated learning[C]International Conference on Artificial Intelligence and Statistics.PMLR,2020:2938
‑
2948.]。现有的工作大部分是集中于直接与全局模型做趋同，并未考虑全局模型合理性。
[0005]目前比较前沿的方向是寻求最佳地管理无线网络方式，以响应联邦学习的特定需求。通常每个参与方持以同等的功率配置，这种功率设置方式下对虚报测试梯度指标的参与者并没有进行训练选择，也不能有侧重地控制参与者的较大偏差梯度指标对联邦学习模型性能的影响，这是一个亟待解决的问题。因此考虑用户自发控制功率的情况，动态的对聚
合中用户参数对模型收敛影响大的部分调整更高的发射功率，以抵消在参数聚合时与模型收敛方向相反的用户参数对整个模型的影响，从而达到更快的收敛速度，实现更好的模型精度。
技术实现思路
[0006]针对现有技术的不足，本专利技术提供了一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法。
[0007]具体来说，本专利技术首先考虑了联邦学习中的大规模参数传递中的通信开销，采用具有多数投票形式的符号随机梯度下降的算法，这种方式优势的特性是会大幅度压缩在两个方向上的边缘设备和服务器之间的通信。考虑重复多次发送数据，并以少数服从多数的方法确定正确的传输参数。一般情况下错误总是发生在局部，因此融合多个参数是降低误差的好方法，这便是多数投票法的思路。在梯度符号聚合的时候，由于受到通信过程中的高斯噪声以及用户上传的偏差较大的梯度指标，有悖于全局收敛，导致聚合后的多数表决形式会有较大变动，因此考虑根据依据用户所训练的梯度符号与全局梯度的符号进行对比，依据两参数的权衡概率，动态调整提供偏差较大梯度指标用户的发射功率，保证在未来聚合中占比较小，以抵消多用户聚合干扰，从而该方面的影响降低，并且实现在满足通信效率高的情况下，进一步提高算法的收敛速度以及训练精度。
[0008]本专利技术还提供了一种对抗联邦学习中多用户参数有偏聚合的动态功率控制系统。
[0009]本专利技术的技术方案为：
[0010]一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法，具体实现步骤包括：
[0011](1)建立对抗参数有偏聚合的联邦学习系统模型；
[0012](2)基于联邦学习系统模型训练的目的，构建相应的目标函数；
[0013](3)根据步骤(1)中建立的联邦学习系统模型，引入对抗用户有偏梯度聚合的功率控制因子，确定相应的空中计算通信模型；
[0014](4)收发机之间不考虑协同操作，接收器端使用非相干能量检测法进行信号处理；
[0015](5)根据步骤(4)的方法，确立基于对抗参数有偏聚合的联邦学习安全机制方法，完成联邦学习系统模型的更新训练过程。
[0016]根据本专利技术优选的，上述动态功率控制方法应用于联邦学习安全机制系统，联邦学习安全机制系统包括K个用户、1个边缘服务器、S个OFDM符号、R个活动子载波；
[0017]每个用户均与中心服务器相连接；
[0018]设定所有用户的训练数据均为多标签数据，且来自于同一个特征空间，标签的总数为L；
[0019]对任意的用户，其每一个本地数据点都拥有相同种类的标签；在第k个用户上的经标记数据样本的局部数据用D
k
表示，并且有(x
l
,y
l
)∈D
k
，x
l
、y
l
分别是指数据样本和对应的标签，且所有用户的局部数据之和为D，即满足：
[0020]根据本专利技术优选的，步骤(1)中，对抗参数有偏聚合的联邦学习系统模型包括发射端网络、无线信道和接收端网络，所述发射端网络包括1比特量化器、本地用户参数更新部分以及用户动态功率控制块；所述接收端网络包括非相干能量检测器；
[0021]1比特量化器简化取局部梯度参数的符号；本地用户参数更新部分用于实现本地的联邦学习系统模型更新的训练过程；用户动态功率控制块根据每个用户对于联邦学习系统模型收敛的贡献程度动态地控本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法，其特征在于，具体实现步骤包括：(1)建立对抗参数有偏聚合的联邦学习系统模型；(2)基于联邦学习系统模型训练的目的，构建相应的目标函数；(3)根据步骤(1)中建立的联邦学习系统模型，引入对抗用户有偏梯度聚合的功率控制因子，确定相应的空中计算通信模型；(4)收发机之间不考虑协同操作，接收器端使用非相干能量检测法进行信号处理；(5)根据步骤(4)的方法，确立基于对抗参数有偏聚合的联邦学习安全机制方法，完成联邦学习系统模型的更新训练过程。2.根据权利要求1所述的一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法，其特征在于，该动态功率控制方法应用于联邦学习安全机制系统，联邦学习安全机制系统包括K个用户、1个边缘服务器、S个OFDM符号、R个活动子载波；每个用户均与中心服务器相连接；设定所有用户的训练数据均为多标签数据，且来自于同一个特征空间，标签的总数为L；对任意的用户，其每一个本地数据点都拥有相同种类的标签；在第k个用户上的经标记数据样本的局部数据用D
k
表示，并且有(x
l
,y
l
)∈D
k
，x
l
、y
l
分别是指数据样本和对应的标签，且所有用户的局部数据之和为D，即满足：3.根据权利要求1所述的一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法，其特征在于，步骤(1)中，对抗参数有偏聚合的联邦学习系统模型包括发射端网络、无线信道和接收端网络，所述发射端网络包括1比特量化器、本地用户参数更新部分以及用户动态功率控制块；所述接收端网络包括非相干能量检测器；1比特量化器简化取局部梯度参数的符号；本地用户参数更新部分用于实现本地的联邦学习系统模型更新的训练过程；用户动态功率控制块根据每个用户对于联邦学习系统模型收敛的贡献程度动态地控制发射功率，抵消在无线信道中参数聚合的偏差；非相干能量检测器利用干扰进行聚合，并比较两个不同子载波上的能量以检测所有用户的聚合值，更加高效的实现接收端网络的数据恢复。4.根据权利要求1所述的一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法，其特征在于，步骤(2)中，定义的学习目标是最小化一个经验损失函数，目标函数如式(I)所示：式(I)中，F(w)表示全局的平均训练损失，学习过程的目标是最小化全局损失函数；w是联邦学习系统模型参数向量，q是向量参数的数量，w
q
是联邦学习系统模型参数向量的的单个元素；f(w,x,y)是样本损失函数；联邦学习的框架用于以分布式方式最小化F(w)，利用全批次梯度下降，获得局部最优点：w
(n+1)
＝w
(n)
‑
δg
(n)
ꢀꢀꢀꢀ
(II)式(II)中，δ是学习率，w
(n)
是第n轮通信的联邦学习系统模型参数向量，第k个用户收到
由中央服务器广播的模型参数w
(n)
之后，每个用户节点根据其拥有的本地数据以及对应的标签，计算出相应的本地的训练损失及对应的梯度，得到计算的梯度g
(n)
如式(III)：式(III)中，向量g
(n)
的第i个元素是F(w
(n)
)相对于的梯度；对于n轮通信循环，第k个用户首先计算局部随机梯度如式(IV)：式(IV)中，是从本地用户的数据集中选择的数据批次，作为批次大小，用于计算局部梯度估计值；F
k
(w
(n)
)表示第k个用户的本地平均训练损失；f(w
【专利技术属性】
技术研发人员：郭帅帅，张安邦，王衍虎，刘帅，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。