System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于全双工空中计算的低时延无线联邦学习模型传输方法技术_技高网

基于全双工空中计算的低时延无线联邦学习模型传输方法技术

技术编号:40423381 阅读:6 留言:0更新日期:2024-02-20 22:43
本发明专利技术涉及全双工终端直通无线通信网络,特别涉及了基于全双工空中计算的低时延无线联邦学习模型传输方法。包括步骤有对基于D2D通信的去中心化FL系统建模;构建FD通信过程与模型训练时延的联合优化问题;最优化每一轮训练的模型传输的收发波束赋形与本地计算频率。本发明专利技术针对基于D2D通信的去中心化FL系统的模型训练效率问题提出了全新的系统框架,通过结合AirComp与FD通信技术实现模型传输与模型聚合的并行操作,并进一步通过对设备的收发波束赋形与本地计算频率的联合优化解决模型聚合准确性与训练时延之间的权衡关系,实现在提高收敛模型预测准确性的同时降低模型训练的时延。

【技术实现步骤摘要】

本专利技术涉及全双工终端直通无线通信网络,特别涉及了基于全双工空中计算的低时延无线联邦学习模型传输方法,属于信息。


技术介绍

1、在当前海量信息的驱动下,机器学习(machine learning,ml)技术能够通过提取数据的特征来智能地执行多样化的网络服务,如自动驾驶、增强现实等。与此同时,出于对数据隐私保护以及通信效率的考虑,联邦学习(federated learning,fl)通过采用聚合本地模型更新而非收集本地数据的方式实现了通信高效且具有隐私性的多设备协同的ml模型训练过程,这使得fl成为当前极具发展前景的分布式ml框架。然而,由于需要中心服务器与设备相互之间进行频繁的模型传输,无线fl系统的训练过程仍然会产生较大的通信开销,从而限制了其在资源有限的无线网络中模型的训练效率。为此,空中计算(over-the-air computation,aircomp)技术被应用于无线fl的模型聚合过程,其主要通过利用模拟信号的波形叠加特性来实现并发信号的加法运算,以此将模型传输与模型聚合过程相融合,从而有效降低了fl模型聚合的时延。

2、尽管如此,由于覆盖范围有限或硬件故障等因素,中心服务器可能无法与设备间实现可靠、高效的模型传输。因此,基于终端直通(device-to-device,d2d)的去中心化fl成为解决上述问题的有效方案之一。去中心化fl每轮训练主要包括两个过程,即本地更新与同步更新。其中,在本地更新过程中每个设备首先基于本地数据更新本地模型参数,然后在同步更新过程中通过d2d通信完成各设备间模型的聚合与同步。当前研究通常采用半双工(half-duplex,hd)的d2d通信完成模型的同步更新,即不同的设备分时间轮流作为接收端聚合其他设备的本地模型,这样可以有效简化设备间的收发设计。然而,hd通信使得同步更新过程的模型传输时间会随着网络中设备的参与数目呈线性增加,这将严重影响大规模连接网络中fl模型训练的效率。

3、需要说明的是,在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解,因此可以包括不构成本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本专利技术的目的是为了解决
技术介绍
存在的技术问题,为此,提供了基于全双工空中计算的低时延无线联邦学习模型传输方法,基于全双工(full-duplex,fd)通信方式的去中心化fl,其中aircomp与fd通信技术相结合,以实现多设备间时间并行的模型传输与聚合,并同时利用多天线阵列来抑制由于fd通信产生的自干扰(self-interference,si)。考虑到模型聚合准确性与训练时延之间的权衡关系,通过联合优化各设备的收发波束赋形和本地计算频率来实现高效且可靠的去中心化fl的模型训练,从而在大幅降低模型训练时延的同时提高模型训练的预测准确性。

2、为了实现上述目的,本专利技术所采用的技术方案如下:

3、基于全双工空中计算的低时延无线联邦学习模型传输方法,包括以下步骤:

4、步骤一:对基于d2d通信的去中心化fl系统建模;

5、系统中有k个设备,其中每个设备有nt根发射天线以及nr根接收天线用于模型的传输与聚合;在第r轮训练过程中,每个设备在第t个传输时隙中接收到的信号表示为:

6、

7、其中,表示从设备j到设备k的信道响应矩阵,表示设备k的si信道响应矩阵,表示设备k的传输波束赋形,表示设备k经过标准化的传输模型参数,则表示加性高斯白噪声;

8、通过应用接收波束赋形设备k恢复的聚合模型参数为:

9、

10、其中,表示设备j的本地模型关于每个元素的均值,表示虚数单位,1=[1,1,…,1]t则表示全1列向量;

11、根据上述信号建模,利用均方误差衡量设备k处的模型聚合误差,可表示为:

12、

13、其中,i表示单位矩阵,表示设备j的本地模型关于每个元素的标准差,表示加性高斯白噪声的方差;

14、步骤二:构建fd通信过程与模型训练时延的联合优化问题;

15、为了权衡模型聚合误差与训练时延,构建模型训练时延与通信过程的联合优化问题为:

16、

17、

18、

19、

20、其中,β表示用于权衡最小化聚合误差和训练时延的权重系数,表示设备k的训练时延,ek表示设备k的能量预算,pk表示设备k的传输功率限制,fmin和fmax分别表示本地计算的最小和最大频率;

21、步骤三:最优化每一轮训练的模型传输的收发波束赋形与本地计算频率。

22、以下为本专利技术进一步限定的技术方案,在步骤一中,设备k本地进行模型训练的计算时延和能量消耗分别表示为:

23、

24、其中,γk表示设备k处理每个数据样本中央处理单元需要运行的轮数,bk表示用于单次梯度计算的数据量,i表示本地更新梯度下降的迭代次数,表示本地计算的频率,κ则表示与设备本地计算芯片硬件相关的电容系数。

25、以下为本专利技术进一步限定的技术方案,假设每个设备共享的信道带宽为b,则每轮训练的通信时延和能量消耗分别表示为:

26、

27、其中,ttot表示传输完整模型参数需要的时隙个数,表示设备k的传输功率。

28、以下为本专利技术进一步限定的技术方案,在步骤三中,采用交替迭代算法分别优化传输波束赋形、接收波束赋形以及本地计算频率;

29、当给定接收波束赋形和本地计算频率时,传输波束赋形的优化问题为:

30、

31、

32、根据karush-kuhn-tucker条件,得到最优的传输波束赋形设计为:

33、

34、其中,λ表示拉格朗日对偶乘子;

35、根据上述给出的闭式解,迭代更新传输波束赋形,直到目标函数值收敛。

36、以下为本专利技术进一步限定的技术方案,当给定传输波束赋形和本地计算频率时,接收波束赋形的优化问题为:

37、

38、根据一阶最优条件,得到最优的接收波束赋形设计为:

39、

40、根据上述给出的闭式解,迭代更新接收波束赋形,直到目标函数值收敛。

41、以下为本专利技术进一步限定的技术方案,当给定传输和接收波束赋形时,本地计算频率的优化问题为:

42、

43、

44、

45、该问题的最优解可表示为:

46、

47、根据上述给出的闭式解,迭代更新本地计算频率,直到目标函数值收敛。

48、相对于现有技术,本专利技术具有如下技术效果:

49、本专利技术针对基于d2d通信的去中心化fl系统的模型训练效率问题提出了全新的系统框架,通过结合aircomp与fd通信技术实现模型传输与模型聚合的并行操作,并进一步通过对设备的收发波束赋形与本地计算频率的联本文档来自技高网...

【技术保护点】

1.基于全双工空中计算的低时延无线联邦学习模型传输方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于全双工空中计算的低时延无线联邦学习模型传输方法,其特征在于,在步骤一中,设备k本地进行模型训练的计算时延和能量消耗分别表示为:

3.根据权利要求2所述的基于全双工空中计算的低时延无线联邦学习模型传输方法,其特征在于,假设每个设备共享的信道带宽为B,则每轮训练的通信时延和能量消耗分别表示为:

4.根据权利要求1所述的基于全双工空中计算的低时延无线联邦学习模型传输方法,其特征在于,在步骤三中,采用交替迭代算法分别优化传输波束赋形、接收波束赋形以及本地计算频率;

5.根据权利要求4所述的基于全双工空中计算的低时延无线联邦学习模型传输方法,其特征在于,当给定传输波束赋形和本地计算频率时,接收波束赋形的优化问题为:

6.根据权利要求5所述的基于全双工空中计算的低时延无线联邦学习模型传输方法,其特征在于,当给定传输和接收波束赋形时,本地计算频率的优化问题为:

【技术特征摘要】

1.基于全双工空中计算的低时延无线联邦学习模型传输方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于全双工空中计算的低时延无线联邦学习模型传输方法,其特征在于,在步骤一中,设备k本地进行模型训练的计算时延和能量消耗分别表示为:

3.根据权利要求2所述的基于全双工空中计算的低时延无线联邦学习模型传输方法,其特征在于,假设每个设备共享的信道带宽为b,则每轮训练的通信时延和能量消耗分别表示为:

4.根据权利要求1所述的...

【专利技术属性】
技术研发人员:周勇王志斌石远明
申请(专利权)人:上海科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1