一种基于Cell-FreemMIMO网络的联邦学习设备端能耗优化方法技术

本发明专利技术涉及无线通信技术领域，尤其涉及一种基于Cell

【技术实现步骤摘要】
一种基于Cell
‑
Free mMIMO网络的联邦学习设备端能耗优化方法


[0001]本专利技术涉及无线通信
，尤其涉及一种基于Cell
‑
Free mMIMO网络的联邦学习设备端能耗优化方法。

技术介绍

[0002]随着终端设备智能化的发展，越来越多的隐私数据被要求发送到云端服务器作为机器学习的源数据集。用户文本数据、图像数据、视频数据等隐私数据上传到云服务器的过程中存在泄露风险，会给用户带来不必要的困扰和损失。为了保护用户的数据隐私，联邦学习支持用户在本地训练模型，用户仅需上传本地模型的参数即可参与全局训练。
[0003]然而，为了使全局模型收敛，参与联邦学习的海量用户设备需要在训练过程中通过无线通信链路频繁更新模型参数。用户设备通常采用锂电池供电，设备端进行本地训练模型以及上传模型参数所消耗的能量不容忽视。在本地模型训练阶段，用户设备的CPU工作频率和本地模型的训练精度是影响用户设备端功耗的关键优化变量。在本地模型参数上传阶段，海量用户设备进行联邦学习的数据上传导致了无线信道的复杂性，总有一部分用户受到严重的通信干扰并使得其通信质量降低。另一方面，参与训练的所有用户上传本地模型之后才可以完成一轮全局训练，因此一轮全局训练的时延由通信质量最低的用户设备决定，这就是落后者效应。通信质量较差的设备需要更长的上传时间，这增加了该设备的上行通信功耗，并导致其他设备在等待过程中消耗更多能量维持待机状态，因此抑制落后者效应是优化设备端上行功耗的关键。
[0004]为了减少设备端功耗，现有的方法可以分为两类。一类方法为优化云端模型的聚合方式，降低联邦学习设备端功耗。具体方法为，以用户本地模型对全局模型的贡献作为进行用户设备调度的依据，提高模型收敛速度。另一类方法旨在降低每轮联邦学习全局聚合过程的通信消耗，降低联邦学习设备端功耗。具体方法为通过资源分配方案和模型参数的压缩方法，降低模型训练时间和每轮通信的数据量。然而，方法一调度的用户可能是掉线的用户设备，因此仅采取用户调度方案并不总是有效的设备端功耗；方法二在大规模网络中的效率不高，特别是当用户设备数量较大时，会导致联邦学习的设备端功耗显著增加。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于Cell
‑
Free mMIMO网络的联邦学习设备端能耗优化方法，可以显著降低联邦学习过程中设备端的能耗，不依赖于特定的联邦聚合方法和联邦学习类型，在大部分联邦学习场景中均可以提供良好的能耗优化性能。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]一种基于Cell
‑
Free mMIMO网络的联邦学习设备端能耗优化方法，具体步骤如下：
[0008]S0：初始化系统参数，初始化全局模型；
[0009]S1：服务器分发全局模型给用户设备；
[0010]S2：用户设备采集数据生成本地数据集；
[0011]S3：构建用户设备进行本地训练的功耗模型，迭代优化用户设备的CPU工作频率和本地模型精度；
[0012]S4：用户设备依据S3步骤得到的最优参数使用本地数据集训练本地模型；
[0013]S5：构建用户设备进行模型参数上传的上行功耗模型；
[0014]S6：根据上行功耗模型优化用户设备延迟，得到最优功率分配方案；
[0015]S7：用户设备依据S6步骤得到的最优功率分配方案传输本地模型的模型参数到服务器，服务器聚合模型得到全局模型；
[0016]S8：重复上述S1
‑
S7直至全局模型收敛为止。
[0017]优选地，所述步骤S0中：
[0018]初始化的系统参数包括K个用户设备的CPU所支持的工作频率范围，即用户设备k的CPU所支持的最小工作频率和最大工作频率
[0019]初始化的系统参数包括K个用户设备的本地模型支持的训练精度范围，即用户设备k的所支持的最小训练精度和最大训练精度
[0020]初始化的全局模型为w
(0)
，在第i轮全局训练中，服务器下发的全局模型为w
(i)
。
[0021]优选地，所述步骤S1中：服务器向所有用户设备分发全局模型，或是向部分用户设备分发全局模型。
[0022]优选地，所述步骤S2中：用户设备k采集数据得到本地数据集{x
k
∈S
u
,y
k
}，其中S
u
为本地数据集的大小，x
k
和y
k
分别表示本地数据集的输入参数与输出参数。
[0023]优选地，所述步骤S3中：
[0024]在联邦学习的第i轮全局训练过程中，用户设备k使用本地数据集训练全局模型w
(i)
得到本地模型
[0025]对于一个给定的本地模型精度θ，模型在本地训练得到最优模型需要的迭代次数为其中取决于数据集的大小和本地模型的规模；
[0026]用户设备k在本地训练的时间延迟可以表示为：
[0027][0028]其中c
k
表示用户设备k的CPU处理一个数据样本所需的周期数，c
k
是通过离线测量预先知晓的常数，D
k
和f
k
分别为本地数据集的大小和用户设备k的CPU工作频率；
[0029]用户设备k在本地训练模型所消耗的能量可以表示为：
[0030][0031]其中α表示用户设备k的CPU的电容系数，α是通过离线测量预先知晓的常数；
[0032]根据用户设备本地训练的功耗模型建立以下本地模型训练阶段的功耗优化问题：
[0033][0034]其中，
[0035][0036]表示用户k的本地训练功耗，表示用户设备进行模型上传的次数，即全局训练次数，其中和为全局模型参数，为已知常数；
[0037]解决用户设备k本地模型训练阶段的功耗优化问题的迭代优化算法如下：
[0038]算法1：本地模型训练阶段的功耗优化问题的迭代优化算法
[0039]输入：最小工作频率最大工作频率最小训练精度最大训练精度本地训练延迟算法精度算法迭代次数索引ω，算法最大迭代次数ω
max
；
[0040]初始化：算法精度ω＝1
[0041][0042][0043]输出：
[0044]优选地，所述步骤S4中：在联邦学习的第i轮全局训练过程中，用户设备k依据最优参数使用本地数据集{x
k
∈S
u
,y
k
}训练本地模型在本地模型收敛后，用户设备k本地模型在全局第i次迭代的更新表示为用户设备k本地模型在全局第i次迭代的更新表示为需要的存储空间为S
u
。
[0045]优选地，所述步骤S5中：
[0046]用户设备进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Cell
‑
Free mMIMO网络的联邦学习设备端能耗优化方法，其特征在于，具体步骤如下：S0：初始化系统参数，初始化全局模型；S1：服务器分发全局模型给用户设备；S2：用户设备采集数据生成本地数据集；S3：构建用户设备进行本地训练的功耗模型，迭代优化用户设备的CPU工作频率和本地模型精度；S4：用户设备依据S3步骤得到的最优参数使用本地数据集训练本地模型；S5：构建用户设备进行模型参数上传的上行功耗模型；S6：根据上行功耗模型优化用户设备延迟，得到最优功率分配方案；S7：用户设备依据S6步骤得到的最优功率分配方案传输本地模型的模型参数到服务器，服务器聚合模型得到全局模型；S8：重复上述S1
‑
S7直至全局模型收敛为止。2.根据权利要求1所述的一种基于Cell
‑
Free mMIMO网络的联邦学习设备端能耗优化方法，其特征在于，所述步骤S0中：初始化的系统参数包括K个用户设备的CPU所支持的工作频率范围，即用户设备k的CPU所支持的最小工作频率和最大工作频率初始化的系统参数包括K个用户设备的本地模型支持的训练精度范围，即用户设备k的所支持的最小训练精度和最大训练精度初始化的全局模型为w
(0)
，在第i轮全局训练中，服务器下发的全局模型为w
(i)
。3.根据权利要求1所述的一种基于Cell
‑
Free mMIMO网络的联邦学习设备端能耗优化方法，其特征在于，所述步骤S1中：服务器向所有用户设备分发全局模型，或是向部分用户设备分发全局模型。4.根据权利要求1所述的一种基于Cell
‑
Free mMIMO网络的联邦学习设备端能耗优化方法，其特征在于，所述步骤S2中：用户设备k采集数据得到本地数据集{x
k
∈S
u
,y
k
}，其中S
u
为本地数据集的大小，x
k
和y
k
分别表示本地数据集的输入参数与输出参数。5.根据权利要求2所述的一种基于Cell
‑
Free mMIMO网络的联邦学习设备端能耗优化方法，其特征在于，所述步骤S3中：在联邦学习的第i轮全局训练过程中，用户设备k使用本地数据集训练全局模型w
(i)
得到本地模型对于一个给定的本地模型精度θ，模型在本地训练得到最优模型需要的迭代次数为其中取决于数据集的大小和本地模型的规模；用户设备k在本地训练的时间延迟可以表示为：
其中c
k
表示用户设备k的CPU处理一个数据样本所需的周期数，c
k
是通过离线测量预先知晓的常数，D
k
和f
k
分别为本地数据集的大小和用户设备k的CPU工作频率；用户设备k在本地训练模型所消耗的能量可以表示为：其中α表示用户设备k的CPU的电容系数，α是通过离线测量预先知晓的常数；根据用户设备本地训练的功耗模型建立以下本地模型训练阶段的功耗优化问题：其中，表示用户k的本地训练功耗，表示用户设备进行模型上传的次数，即全局训练次数，其中和
ò
为全局模型参数，为已知常数；解决用户设备k本地模型训练阶段的功耗优化问题的迭代优化算法如下：算法1：本地模型训练阶段的功耗优化问题的迭代优化算法输入：最小工作频率最大工作频率最小训练精度最大训练精度本地训练延迟t
c,k
，算法精度
ò
，算法迭代次数索引ω，算法最大迭代次数ω
max
；初始化：算法精度

【专利技术属性】
技术研发人员：陈晓敏，赵涛涛，孙强，
申请(专利权)人：南通大学，
类型：发明
国别省市：