一种半联邦学习方法、发送接收机结构、系统及优化方法技术方案

本发明专利技术公开了一种半联邦学习方法、发送接收机结构、系统及优化方法，该半联邦学习方法包括：当进入每一个训练轮次内，各个用户设备利用其一个批次的本地数据样本计算本地梯度，并选择另一批次的本地数据样本与本地梯度一起上传至基站；基站使用各个用户设备上传的数据样本获得集中式学习梯度，并聚合各个用户设备的本地梯度，进而合并联邦学习聚合梯度与集中式学习梯度以获得全局梯度，最后使用全局梯度更新全局模型。应用本发明专利技术提供的方法，可以提高基站计算资源分配的合理性，充分利用基站的闲置计算资源，使得基站能够和各个设备协同进行半联邦学习的模型训练，相比于传统联邦学习，改善了训练效果。改善了训练效果。改善了训练效果。

【技术实现步骤摘要】
一种半联邦学习方法、发送接收机结构、系统及优化方法


[0001]本专利技术涉及无线通信
，尤其涉及一种半联邦学习方法、发送 接收机结构、系统及优化方法、控制装置及电子设备。

技术介绍

[0002]在未来的6G网络中，边缘人工智能提供了实现智慧互联的无限可能。 联邦学习(Federated Learning)是一种代表性的边缘人工智能的分布式学 习范式，能够让分散的边缘设备合作完成共享模型的训练。
[0003]现有的联邦学习系统中，每个用户设备在利用本地的数据进行模型训 练后，将训练得到的本地梯度上传至基站；基站通过汇总各个用户设备的 本地梯度得到全局梯度，并使用该梯度更新全局模型；基站完成更新后将 全局模型下发至各个用户设备。如此，可以在保证各个用户设备数据隐私 的情况下，使用各个用户设备的本地数据进行模型训练。
[0004]然而，在现有的联邦学习系统中，基站仅负责聚合各个用户设备上传 的本地梯度，并没有考虑对基站闲置的计算资源的充分利用，导致了对基 站中丰富计算资源的浪费，进而限制了联邦学习系统性能的进一步提高。
...

【技术保护点】

【技术特征摘要】
1.一种半联邦学习系统，其特征在于，该方法结合传统联邦学习和集中式学习，包括以下步骤：当进入每一个训练轮次内，各个用户设备利用其一个批次的本地数据样本计算本地梯度，随后，用户设备选择另一批次的本地数据样本，并将该批次数据样本与本地梯度上传至基站；其中，所述一个训练轮次包括一个本地训练周期和一个通信轮次，各个用户设备数据样本和本地梯度的上传过程在相同的时频资源上进行；基站在接收各个用户设备上传的包括数据样本和本地梯度的叠加信号后，首先解码出各个用户设备上传的本地数据，并从接收的叠加信号中减去各个用户设备的本地数据；随后，基站聚合叠加信号中剩余的各个用户设备本地梯度，获得联邦学习聚合梯度；接着，基站使用解码出的各个用户设备上传的本地数据进行集中式学习，获得集中式学习梯度；最后，基站合并联邦学习聚合梯度与集中式学习梯度以获得全局梯度，并使用全局梯度更新全局模型。2.根据权利要求1所述的半联邦学习方法，其特征在于，用户设备通过如下计算公式计算本地梯度：其中，为当前第t个训练轮次时，第k个用户设备进行联邦学习所得到的本地梯度，共有K个用户设备参与半联邦学习，各个用户设备的标号构成集合K＝{1,2,...,K}，D
f,k
是第k个用户设备进行联邦学习训练时所使用的数据样本所构成集合，N
f,k
为用于联邦学习的数据样本数量，g
t,k,n
是在当前训练轮次时用户设备在中的第n个数据样本上训练得到的梯度。3.根据权利要求1所述的半联邦学习方法，其特征在于，用户设备将该批次数据样本与本地梯度上传至基站的过程为：每个用户设备在上传本地梯度前，先对该梯度进行归一化处理的步骤，归一化处理通过如下计算公式进行：过如下计算公式进行：户设备上传至基站的梯度的平均值，为其方差，为所得归一化处理后的梯度向量的第q维分量；随后，第k个用户设备根据如下计算公式将经过归一化的本地梯度构造为本地梯度信号向量s
t,k
：
其中，N
f
为所有用户设备进行联邦学习训练的样本总数；同时，第k个用户设备除了上传本地梯度之外，还上传N
c,k
个本地数据样本，该部分数据样本构成集合D
c,k
，D
c,k
中每个样本的大小为m比特；第k个用户设备经过调制和归一化处理，得到数据样本信号向量d
t,k
，该信号向量的任意维分量都具有零均值和单位方差；基站将通信轮次等分为Q个时隙。在第q个时隙内，用户设备将所述本地梯度信号向量的第q维分量s
t,k,q
和所述数据样本信号向量的第q维分量d
t,k,q
在相同的时频资源内上传至基站。4.根据权利要求1所述的半联邦学习方法，其特征在于，基站解码各个用户设备上传的本地数据过程为：基站接收到各个用户设备上传的叠加信号如下：其中，y
t,q
为所述基站在第t个通信轮次的第q个的时隙中接收到的信号；p
t,f,k
和p
t,c,k
分别为传输所述本地梯度信号向量的第q维分量s
t,k,q
和所述本数据样本信号向量的第q维分量d
t,k,q
时的功率分配因子；n
t,q
为加性高斯白噪声向量，噪声功率为σ2；h
t,k
为从第k个用户设备与基站之间的信道增益向量；基站并行地从叠加信号中解码每一个用户设备上传的数据样本信号向量的第q维分量d
t,k,q
，经过总共Q个时隙的解码，基站重构得到所述第k个用户设备上传的本地数据样本集合D
c,k
，并基于其中的数据样本进行集中式学习。5.根据权利要求1所述的半联邦学习方法，其特征在于，基站聚合各个用户设备本地梯度获得集中式学习梯度以及更新全局模型的过程为：基站采用空中计算的方法进行本地梯度聚合，之后，基站对聚合后的梯度向量进行反归一化；对于聚合梯度向量的第q维分量基站根据如下计算公式进行反归一化得到聚合梯度向量的第q维分量的估计值合梯度向量的第q维分量的估计值基站在得到完成对聚合梯度向量的所有Q个维度分量的反归一化后，得到聚合梯度向量基于所有用户设备上传的本地数据样本，基站根据如下计算公式得到如下集中式学习梯度：其中，为所述集中式学习梯度，g
t,k,n
为基于样本D
c,k
中的第n个数据训练得到的梯
度，N
c
为所有用户设上传的用于进行集中式学习的样本总数；基站根据如下计算公式计算全局梯度g
t
：基站根据如下计算公式更新全局模型：w
t+1
＝w
t
‑
ηg
t
,其中，w
t
为所述全局模型的参数所构成的向量，η为学习率。6.一种半联邦学习系统的发送接收机结构，其特征在于，各个用户设备均配备两个并行的功率分配因子，基站为各个用户设备配备一个解码波束赋形向量和一个聚合波束赋形向量，以实现权利要求1
‑
5任一项所述的半联邦学习方法；两个并行的功率分配因子分别控制本地梯度的发送功率和数据样本的发送功率；对于第k个用户设备，控制所述本地梯度发送功率的功率分配因子为p
t,f,k
，控制所述数据样本的发送功率的功率分配因子为p
t,c,k
；各个设备经过发送功率控制后的本地梯度与经过发送功率控制后的数据样本在相同的时频资源上发送至基站；基站基于接收到的叠加信号，解码波束赋形向量并行解码出用于集中式学习的数据样本，随后再使用聚合波束赋形向量完成基于空中计算的本地梯度聚合...

【专利技术属性】
技术研发人员：田辉，郑景桁，王煜鑫，倪万里，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：