基于无线空中计算和多比特量化压缩感知的联邦学习方法技术

本发明专利技术采用多比特量化压缩感知，结合空中计算技术，提出了一种基于无线空中计算和多比特量化压缩感知的联邦学习方法。本发明专利技术通过在各个设备上对模型差进行稀疏、压缩感知、量化的操作，将原来维度较大的模型差压缩成维度较小的向量进行传输，进而大大减少整个训练过程中的通信开销，并有着较快收敛速度，提升了无线联邦学习的通信效率。同时，在迭代训练信息聚合的这一过程中，通过空中计算技术在中心服务器端进行信息聚合，利用多址接入信道的波形叠加特性使多个设备同时同频进行传输，很大程度上减少了联邦学习中设备的每轮通信的开销。度上减少了联邦学习中设备的每轮通信的开销。度上减少了联邦学习中设备的每轮通信的开销。

【技术实现步骤摘要】
基于无线空中计算和多比特量化压缩感知的联邦学习方法


[0001]本专利技术涉及一种基于无线空中计算和多比特量化压缩感知的联邦学习方法，属于无线通信领域。

技术介绍

[0002]联邦学习是一种分布式机器学习模型，其运用分布在各个不同设备上的数据进行训练推理。联邦学习近年来也被广泛运用于保护数据安全、保护用户数据隐私的场景之下。联邦学习的训练的步骤大致如下：各个设备基于本地数据进行训练；而后将本地模型的更新参数上传到中心节点处；在中心节点处，将各个设备发来的参数进行聚合更新；而后将聚合得到的结果用于更新中心节点处的全局模型；最后中心节点会把已经更新后的模型参数重新传回各个设备；如此往复直到模型最终收敛。通过这样的更新方式，最终训练的模型可以达到数据集中式训练的性能。但联邦学习的好处在于避免了本地数据传输，保护了用户隐私和安全。同时，随着当前机器学习旨在应对现实中更复杂的场景和应用，其模型也日益复杂，例如神经网络模型，其模型参数量可达十几万甚至更多。当训练复杂深度学习模型的时候，通常面临的问题是庞大的参数量需要传输，但在资源有限的无线通信场景中，进行庞大参数量的通信开销也是巨大的，且难以在现实系统中实现，也难以满足现实对通信时延的要求。目前针对模型参数量巨大的问题，在机器学习领域稀疏化、压缩感知和量化是用于压缩模型参数的典型方案。其中稀疏化指的是将参数中某些的维度置为零，一般来说倾向于保留那些对于模型更新较为重要的维度，帮助模型训练并达到最终收敛。而量化指的是将原本连续取值的值近似为有限多个离散的值的过程。利于以上这三个方法，可以有效减轻通信传输量，缓解通信瓶颈的问题。
[0003]为了设计高通信效率的联邦学习并将其应用于实际中，目前有大量文献和研究工作。然而，现有的工作主要是基于数字通信考虑量化压缩感知或者是在模拟通信场景下的单比特量化压缩感知无线通信，而没有考虑到使用多比特量化压缩感知。在数字通信的场景下，联邦学习的通信瓶颈和传输时延的开销正比于参与学习的用户数量，因此当用户数量很大的情况下，系统很可能产生难以接受的通信时延，并产生通信瓶颈的问题。而在模拟通信下的单比特量化压缩感知，受限于单比特量化技术，其产生的量化误差是远远大于多比特量化的。而因为误差的增大，会进一步需要较多的训练轮数以达到所需的模型精度，造成总体通信开销的增大。因此，为了设计高通信效率的联邦学习，专利技术人决定采用基于无线空中计算的多比特量化压缩感知技术来实现训练过程中的模型更新，通过无线空中计算技术来达到多个用户同时传输模型更新参数的效果，并利用多比特量化压缩感知技术进一步减少通信传输量，有效减少量化误差，达到更快的收敛速度和训练出表现更好的模型。其中，无线空中计算技术是通过多址接入信道的波形叠加的特性让多个用户设备能够做到同时同频传输，从而使得通信开销大大减少、减少通信时延。因此，设计高通信效率的联邦学习是无线场景下的重要目标。

技术实现思路

[0004]本专利技术要解决的技术问题是：针对无线通信场景下的联邦学习，缺乏通信高效的解决方案。
[0005]为了解决上述技术问题，本专利技术的技术方案是公开了一种基于无线空中计算和多比特量化压缩感知的联邦学习方法，其特征在于，包括以下步骤：
[0006]步骤一、初始化：
[0007]每个设备i对本地模型参数进行随机初始化，并将模型差估计值初始化为当前梯度其中，表示根据本地损失函数求梯度的操作；
[0008]中心服务器将模型参数估计值随机初始化为w
(0)
，并将模型差估计值初始化为其中，表示根据全局损失函数求梯度的操作；
[0009]步骤二、稀疏化：
[0010]每个设备i对本地梯度估计值进行稀疏化操作，通过稀疏化后得到的向量可以表示为t表示第t轮迭代，S表示稀疏率；
[0011]步骤三、压缩感知：
[0012]将每个设备i稀疏化后的本地模型差估计值进行压缩操作，其中，每个设备i都用测量矩阵A进行压缩操作，压缩后的模型差向量为压缩后的模型差向量为
[0013]步骤四、量化：
[0014]每个设备i对已经压缩后的模型差向量进行量化操作，得到量化后的模型差向量为Q为量化比特数；
[0015]步骤五、信息混合：
[0016]通过空中计算技术，每个设备i同时将量化后的模型差向量传输给中心服务器，中心服务器基于当前信道信息进行信息聚合，包括以下步骤：
[0017]步骤501、根据设备i与中心服务器的信道状态信息以及待传输的模型差参数信息完成传输过程中功率以及功率控制因子的优化，获得功率控制因子的最优解，使噪声影响最小；
[0018]步骤502、各个设备i通过时钟技术同步地分别将量化后的模型差向量上传至中心服务器，中心服务器利用多址信道的波形叠加性质，使用空中计算技术对来自各个设备的模型差估计值分别进行聚合后进行解码；
[0019]步骤六、恢复信号：
[0020]在中心服务器得到解码后的信号后，使用压缩感知恢复算法将信号恢复出来；
[0021]步骤七、估计值更新：
[0022]中心服务器在得到恢复后得到的模型差估计值后，将全局模型参数估计值更新为：
[0023][0024]其中，η
(t)
为学习率，w
(t)
为第t轮迭代的全局模型参数估计值；
[0025]步骤八、本地更新：
[0026]在中心服务器得到更新后的全局模型参数估计值后，中心服务器将更新的全局模型参数估计值发送给各个设备i，本地设备根据本地数据集、收到的全局模型参数估计值更新本地模型参数值，且在本地做E轮迭代梯度下降，表示为：
[0027][0028]其中η
(t)
为学习率,
[0029]各个设备i根据本地迭代前后的模型得到传输模型差
[0030][0031]且该模型差也是下一轮迭代需要进行稀疏化、压缩感知、量化操作后进行传输的向量。
[0032]优选地，步骤四中，进行量化操作时使用非均匀量化器。
[0033]优选地，步骤501中，功率以及功率控制因子的优化问题表示为下式：
[0034][0035]式中：式中：为设备i本地数据集合，为本地数据集的数量，为一个比例因子，为一个比例因子，为一个与量化相关的常数；N为原模型差向量维度；为有效模型差方差，为设备i数据集所占整体系统数据集的比例，为有效高斯白噪声的方差，为信道高斯白噪声的方差；为整体等效噪声的方差，为量化产生的常数，du也是一个与量化相关的常数，为有效模型差均值；P0为最大传输能量；R＝N/M为压缩率，0<R<1；为系统用户数量；
[0036]用相关凸优化算法对上式进行求解得到最优解b
(t)
，使噪声影响最小。
[0037]优选地，步骤502中，聚合得到的信号表示为：
[0038][0039]式中，n
(t)
为方差为的高斯白噪声；
[0040]根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无线空中计算和多比特量化压缩感知的联邦学习方法，其特征在于，包括以下步骤：步骤一、初始化：每个设备i对本地模型参数进行随机初始化，并将模型差估计值初始化为当前梯度其中，表示根据本地损失函数求梯度的操作；中心服务器将模型参数估计值随机初始化为w
(0)
，并将模型差估计值初始化为其中，表示根据全局损失函数求梯度的操作；步骤二、稀疏化：每个设备i对本地梯度估计值进行稀疏化操作，通过稀疏化后得到的向量可以表示为t表示第t轮迭代，S表示稀疏率；步骤三、压缩感知：将每个设备i稀疏化后的本地模型差估计值进行压缩操作，其中，每个设备i都用测量矩阵A进行压缩操作，压缩后的模型差向量为压缩后的模型差向量为步骤四、量化：每个设备i对已经压缩后的模型差向量进行量化操作，得到量化后的模型差向量为Q为量化比特数；步骤五、信息混合：通过空中计算技术，每个设备i同时将量化后的模型差向量传输给中心服务器，中心服务器基于当前信道信息进行信息聚合，包括以下步骤：步骤501、根据设备i与中心服务器的信道状态信息以及待传输的模型差参数信息完成传输过程中功率以及功率控制因子的优化，获得功率控制因子的最优解，使噪声影响最小；步骤502、各个设备i通过时钟技术同步地分别将量化后的模型差向量上传至中心服务器，中心服务器利用多址信道的波形叠加性质，使用空中计算技术对来自各个设备的模型差估计值分别进行聚合后进行解码；步骤六、恢复信号：在中心服务器得到解码后的信号后，使用压缩感知恢复算法将信号恢复出来；步骤七、估计值更新：中心服务器在得到恢复后得到的模型差估计值后，将全局模型参数估计值更新为：其中，η
(t)
为学习率，w
(t)
为第t轮迭代的全局模型参数估计值；步骤八、本地更新：在中心服务器得到...

【专利技术属性】
技术研发人员：石远明，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：