一种基于参数选择和预同步的加速联邦学习方法技术

本发明专利技术涉及物联网技术领域，具体涉及一种基于参数选择和预同步的加速联邦学习方法，该加速联邦学习方法基于参数选择和预同步的联邦学习框架加速联邦学习的训练，该方法通过中心服务器向所有基站分发最新的全局模型，每个基站将接收到的全局模型分发给相连接的用户；用户通过本地训练回合集合训练全局模型，并计算接收的全局模型的梯度和模型参数；用户将选择部分模型参数传输到相连接的基站，基站通过有线链路广播基站之间的模型参数；将模型参数预同步，直到达到预定数量的预同步轮次时，在从所有基站接收到聚合结果后，中心服务器更新全局模型。本发明专利技术选择的参数传输和参数预同步，以减少系统开销，同时保持联邦学习模型训练性能。练性能。练性能。

【技术实现步骤摘要】
一种基于参数选择和预同步的加速联邦学习方法


[0001]本专利技术涉及物联网
，具体而言，涉及一种基于参数选择和预同步的加速联邦学习方法。

技术介绍

[0002]随着物联网((Internet of Things，简称IoT))和社交网络应用的快速发展，智能手机、物联网设备和传感器等终端设备产生的数据呈指数级增长。物联网的成功取决于动态感知和智能决策。然而，由于终端设备的计算和通信资源的限制，物联网设备无法同时提供实时和高精度的结果。为了解决上述挑战，目前提出了移动边缘计算(Mobile Edge Computing,MEC)，移动边缘计算将计算、缓存和联网功能推向网络边缘，以执行任务处理和提供服务，避免不必要的传输延迟。然而，移动边缘计算需要来自物联网设备的原始数据，这引发了严重的隐私问题和通信成本。
[0003]为了应对隐私保护和大数据的挑战，联邦学习(Federated Learning，以下简称FL)已成为一种有吸引力的分布式学习范式。联邦学习是一种模型训练技术，数据所有者可以在本地执行模型训练，而无需共享数据，这有助于确保隐私并降低通信成本。联邦学习中的模型训练是通过协作过程完成的。在此过程中，用户发送其当前模型，然后通过随机梯度下降法(stochastic gradient descent，SGD)使用本地收集的数据集进行更新。经过一定数量的局部训练后，用户将其更新的模型权重发送给聚合器，聚合器更新全局模型。联邦学习已在各种统计异质环境中证明了其有效性，例如，不平衡、非独立和相同分布(非IID数据)的数据。然而，在移动边缘网络中高效部署联邦学习还需要考虑系统异构性。这是因为在移动边缘环境中，系统带宽受到限制，并且由所有连接的移动设备共享，具有潜在的相互干扰。此外，由于移动性和信道衰落，所选设备可能具有不同的计算能力和动态无线信道条件。为了解决上述问题，应该设计一个有效的联邦学习框架来动态调整聚合频率和策略，以适应系统的异构性。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于参数选择和预同步(FL framework with parameter selection and pre
‑
synchronization,PSPFL)的加速联邦学习方法和新型细粒度联邦学习框架，以加速联邦学习训练。具体来说，本专利技术设计了所选参数传输，以在用户上对联邦学习模型进行细粒度划分。基站(base station，BS)在彼此之间同步用户上载的参数。然后，提出了采用交替最小化方法(Deep Q
‑
network with Alternating Minimization，DQNAM)的深度Q
‑
网络来选择中央服务器上的最佳聚合频率，以最小化训练损失和联邦学习完成时间。
[0005]为实现上述目的，本专利技术提供了以下技术方案：
[0006]根据本专利技术的第一方面，提供了一种基于参数选择和预同步的加速联邦学习方法，该加速联邦学习方法基于参数选择和预同步的联邦学习框架加速联邦学习的训练，该
加速联邦学习方法包括以下步骤：
[0007]中心服务器向所有基站分发最新的全局模型，每个基站将接收到的所述全局模型分发给相连接的用户；
[0008]用户通过本地训练回合集合训练所述全局模型，并计算接收的全局模型的梯度和模型参数；
[0009]用户将选择部分模型参数传输到相连接的基站，基站通过有线链路广播基站之间的所述模型参数；
[0010]将所述模型参数预同步，直到达到预定数量的预同步轮次时，在从所有基站接收到聚合结果后，中心服务器更新全局模型。
[0011]作为本专利技术的进一步方案，用户通过本地训练回合集合训练并计算接收的全局模型的梯度和模型参数时，本地训练回合集合其中，J
l
是第l个联邦学习回合中的本地训练回合数。
[0012]作为本专利技术的进一步方案，基站通过有线链路广播基站之间的所述模型参数后，基站还用于将模型参数分发给相连接的用户，其中，所述模型参数预同步后，将每个联邦学习轮l中的预同步轮数定义为其中，I
l
表示第l个联邦学习轮中预同步轮的数量。
[0013]作为本专利技术的进一步方案，训练所述全局模型时在用户和中央服务器之间进行多次联邦学习轮循环，在每个联邦学习轮中，其中l是FL轮的总数；在第l个FL循环中用户m的计算时间为：
[0014][0015]式中，β表示每个数据样本所需的CPU周期数，J
l
表示本地训练循环数，表示用户m的计算资源，单位为[cycles/s]；
[0016]其中，每个用户定义了一个三元素元组{c
m
,D
m
,f
m
}，其中c
m
表示模型参数的大小，D
m
表示每个用户m的数据集的大小，而f
m
表示每个用户m的计算资源；一组用户
[0017]作为本专利技术的进一步方案，训练所述全局模型时，在第l个FL轮的第i个预同步轮中用户m的本地模型训练中，本地模型参数的变化范围为：
[0018][0019]式中，表示本地模型参数。
[0020]作为本专利技术的进一步方案，所述基于参数选择和预同步的加速联邦学习方法采用自适应显著性阈值σ'表示联邦学习过程中衰减显著性阈值，所述自适应显著性阈值σ'定义为：
[0021][0022]其中，I
l
是第l个FL循环中的参数预同步循环数。
[0023]作为本专利技术的进一步方案，在模型参数预同步中，每个用户仅将重要参数上传到相应的基站，第i个参数预同步轮中用户m的传输时间计算为：
[0024][0025]其中，是第i个参数预同步中用户m的传输参数的大小；R
m
是用户m的传输速率；E
m,b
表示用户m和BS b之间的信道带宽；Q
m,b
表示用户m的传输功率；G
m,b
是用户m和BSb之间的通道增益；ε2表示高斯通道噪声的标准偏差。
[0026]作为本专利技术的进一步方案，当达到预定数量的预同步轮次时，每个用户m将所有本地模型参数上载到相应的基站，第i个参数预同步轮中用户m的参数传输时间计算为：
[0027][0028]获得联邦学习轮r的完成时间；其中，用户m的第lFL轮的完成时间计算为：
[0029][0030]在同步联邦学习设置下，导出联邦学习轮l的完成时间：
[0031]T
l
＝max{T
l,1
,T
l,2
,
…
,T
l,M
}。
[0032]作为本专利技术的进一步方案，将所述模型参数预同步，直到达到预定数量的预同步轮次时，还包括共同最小化FL训练损失和训练时间确定最佳的局部训练轮次和参数预同步轮次；
[0033]对联邦学习轮本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于参数选择和预同步的加速联邦学习方法，其特征在于，该加速联邦学习方法基于参数选择和预同步的联邦学习框架加速联邦学习的训练，该加速联邦学习方法包括以下步骤：中心服务器向所有基站分发最新的全局模型，每个基站将接收到的所述全局模型分发给相连接的用户；用户通过本地训练回合集合训练所述全局模型，并计算接收的全局模型的梯度和模型参数；用户将选择部分模型参数传输到相连接的基站，基站通过有线链路广播基站之间的所述模型参数；将所述模型参数预同步，直到达到预定数量的预同步轮次时，在从所有基站接收到聚合结果后，中心服务器更新全局模型。2.根据权利要求1所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，用户通过本地训练回合集合训练并计算接收的全局模型的梯度和模型参数时，本地训练回合集合其中，J
l
是第l个联邦学习回合中的本地训练回合数。3.根据权利要求2所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，基站通过有线链路广播基站之间的所述模型参数后，基站还用于将模型参数分发给相连接的用户，其中，所述模型参数预同步后，将每个联邦学习轮l中的预同步轮数定义为其中，I
l
表示第l个联邦学习轮中预同步轮的数量。4.根据权利要求3所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，训练所述全局模型时在用户和中央服务器之间进行多次联邦学习轮循环，在每个联邦学习轮中，其中L是联邦学习轮的总数；在第l个联邦学习循环中用户m的计算时间为：式中，β表示每个数据样本所需的CPU周期数，J
l
表示本地训练循环数，[cycles/s]表示用户m的计算资源；其中，每个用户定义了一个三元素元组{c
m
,D
m
,f
m
}，其中c
m
表示模型参数的大小，D
m
表示每个用户m的数据集的大小，而f
m
表示每个用户m的计算资源；一组用户5.根据权利要求4所述的基于参数选择和预同步的加速联邦学习方法，其特征在于，训练所述全局模型时，在第l个联邦学习轮的第i个预同步轮中用户m的本地模型训练中，本地模型参数的变化范围为：
式中，表示本地模型参数。6.根据权利要求5所述的基于参数选择和预同步的加速联邦学习方法，其特...

【专利技术属性】
技术研发人员：周欢，李明泽，
申请(专利权)人：三峡大学，
类型：发明
国别省市：