System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于边缘学习中的联合计算和通信的在线优化制造技术_技高网

用于边缘学习中的联合计算和通信的在线优化制造技术

技术编号:40705752 阅读:3 留言:0更新日期:2024-03-22 11:05
公开了一种方法、系统和装置。描述了边缘节点,该边缘节点被配置为与多个无线设备(WD)通信。边缘节点包括通信接口,该通信接口被配置为从多个WD接收多个信号向量,其中多个信号向量是基于与多个WD相关联的多个被更新的本地模型的。边缘节点还包括与通信接口通信的处理电路装置,其中处理电路装置被配置为至少基于多个信号向量来更新全局模型;并且引起被更新的全局模型向多个WD的至少一个传输。

【技术实现步骤摘要】
【国外来华专利技术】

本公开涉及无线通信,并且尤其涉及模型优化,诸如对于例如无线边缘网络中的联邦学习(fl)。


技术介绍

1、第三代合作伙伴计划(3gpp)已经开发并且正在开发针对第四代(4g)(也称为长期演进(lte))和第五代(5g)(也称为新无线电(nr))无线通信系统的标准。这种系统除其他特征外,提供诸如基站的网络节点和移动无线设备(wd)之间的宽带通信,以及网络节点之间和wd之间的通信。

2、联邦学习(fl)的背景

3、机器学习方案通常需要基于数据中心或云服务器上可用的海量数据集的集中式模型训练。在无线边缘网络中,无线设备收集可用于训练机器学习模型的数据。这激发了边缘服务器和设备处的新机器学习技术,统称为边缘学习。对于中央云(例如,云网络、云网络中的节点等)处的学习到边缘的迁移受益于无线设备和边缘服务器/节点之间的信息交换。然而,通信资源的稀缺可能导致在边缘(即,在边缘服务器/节点)训练准确的机器学习模型的通信瓶颈。此外,由于对隐私的考虑,希望在无线设备上本地保持数据。集成了来自两个不同领域,即机器学习和通信的技术的通信-高效分布式学习算法可以应用于这些边缘学习场景。

4、作为一种分布式学习方案,联邦学习(fl)允许本地设备协作学习全局模型,而无需向服务器发送本地数据。在fl中,一个操作是将从本地设备发送的本地模型聚合为服务器处的全局模型。为了减少通信开销,机器学习文献主要关注量化、稀疏化和本地更新。这些方法假设无误差传输,并且忽略物理有线或无线通信层。

5、无线边缘网络中fl的背景

<p>6、无线信道的衰落性质和无线电资源的稀缺可能导致在无线边缘训练准确的机器学习模型的通信瓶颈。假设无误差传输,一个现有的工作提出了针对fl的资源约束下的自适应全局模型聚合。使用具有正交多址(oma)的传统数字编码传输,计算和通信之间的时延和能量权衡已经被研究。

7、观察到计算本地模型的加权和以在服务器上更新全局模型是充足的,一个或多个现有的工作提出在多址接入信道(mac)上采用模拟聚合。这种空中(ota)计算利用了经由本地模型的同时传输的无线信道的叠加特性,与传统的正交多址(oma)相比,减少了时延和带宽要求。为了进一步减少通信时延并提高带宽效率,利用mac的叠加特性在fl中执行模拟聚合。在一个现有的工作中,基于信道条件调度截断的本地模型参数用于聚合。研究了接收器波束成形设计,以最大化每个迭代时用于模型聚合的无线设备的数量。在另一项现有工作中,针对强凸损失函数研究了模拟模型聚合算法的收敛性。

8、其他工作集中在fl中的模拟梯度聚合。梯度量化和稀疏化分别用于静态和衰落mac上的压缩模拟聚合。分别利用稀疏梯度和全梯度研究了模拟梯度聚合算法的收敛性。研究了功率分配以实现差分隐私。已提出了梯度统计感知功率控制以用于聚合误差最小化。在另一个现有工作中,通过每个迭代的功率分配最小化了由噪声信道和梯度压缩引起的聚合误差。

9、这些在无线边缘网络上fl的各种现有工作在模型训练的每个迭代中交替进行模型更新和无线传输。这种计算和通信的单独离线优化没有完全考虑对于随时间计算和通信之间的相互影响。此外,大多数现有工作都集中在具有短期发射功率约束的每个迭代的优化问题上。在无线边缘网络中,长期发射功率是无线设备处能量使用的重要指示符。

10、此外,一般的lyapunov优化技术和在线凸优化技术已被应用于解决无线系统中的各种在线问题。例如,在现有工作中研究了具有能量收获和存储的无线传输的在线功率控制。分别在几个现有工作中探讨了非虚拟化和虚拟化多天线系统的在线预编码设计。在现有工作中研究了利用延迟信息的在线网络资源分配。在lyapunov优化框架下,每个迭代时损失和约束函数的加权和被最小化。然而,对于机器学习任务,直接最小化损失函数意味着找到最优模型,这在一般情况下是困难的。此外,标准的lyapunov优化需要集中化实施方式,这不应用于基于本地数据的fl。

11、此外,在无线边缘(例如,在边缘服务器/节点)处解决计算和通信的联合在线优化问题是具有挑战性的。首先,噪声无线信道可能会在本地模型的模拟聚合中创造通信误差,并且这些误差会随时间在模型训练过程中累积。其次,单个的长期发射功率约束会影响模型准确性和模型训练的收敛性。第三,由于无线信道的衰落特性,模型训练和功率分配都应该是信道感知和在线的。最后,现有算法未能在计算和通信性能度量上提供性能保证。


技术实现思路

1、一些实施例有利地提供用于模型优化的方法、系统和装置,诸如对于例如无线边缘网络中的联邦学习(fl)。

2、现有的无线边缘处联邦学习上的工作依赖于单独优化全局模型的训练和本地模型的无线传输。

3、在一个或多个实施例中,在噪声无线衰落信道上利用模拟聚合的fl被表述为在线优化问题,朝着最小化累积的训练损失的目标,同时满足单个长期发射功率约束。因此,有利地考虑了计算和通信性能度量两者。本公开的无线边缘节点处的计算和通信的联合在线优化并未在现有工作中描述。

4、一个或多个实施例提供了被称为针对模拟聚合的在线模型更新(omuaa)的算法,其集成了fl、ota计算和无线资源分配。omuaa(例如,被配置为执行一个或多个omuaa步骤的通信系统的组件)基于当前本地信道状态信息(csi)来更新本地模型。此外,本地模型是功率感知的,并且因此它们可以在空中直接被聚合,而无需额外的发射功率。

5、一个或多个实施例分析了模型训练和模拟聚合随时间在omuaa性能上的相互影响。本文描述的分析说明了omuaa对于任何近似水平∈实现了具有收敛时间的最优间隔和具有收敛时间的长期功率约束违反,其中ρ是信道噪声的测量,并且πt表示在无噪声信道上最优全局模型的累积变化。

6、性能评估上的一些附加信息如下。本文研究了在典型的城市微小区长期演进(lte)网络设置下,系统参数对基于真实世界图像分类数据集的omuaa性能上的影响。此外,表明了在不同场景下,omuaa比已知的替代方案有显著的性能优势。

7、在一个或多个实施例中,无线边缘网络处的联邦学习,其中多个功率受限的无线设备协作训练全局模型。无线设备每个都有自己的本地数据,并且它们由边缘服务器辅助。全局模型通过一系列迭代随时间推移被训练。在每个迭代中,每个无线设备使用当前全局模型和自己的数据来更新自己的本地模型。然后边缘服务器经由本地模型的模拟聚合来更新全局模型,这些模型由无线设备在噪声无线衰落多址信道上同时向边缘服务器传输。这个过程可以继续直到收敛。

8、在一些实施例中,边缘学习中的计算(用于全局模型的训练)和通信(用于本地模型的传输)被联合优化,例如,随时间的推移。边缘服务器处的累积训练损失可以被最小化,例如,受制于无线设备处的单个长期发射功率约束。此外,描述了一种基于当前本地信道状态信息(即,在不了解信道统计的情况下)的高效算法,被称为模拟聚合的在线模型更新(omuaa)。在omuaa中,每个无线设备更新其本文档来自技高网...

【技术保护点】

1.一种边缘节点(19),被配置为与多个无线设备WD(22)通信,所述边缘节点(19)包括:

2.根据权利要求1所述的边缘节点(19),其中:

3.根据权利要求1和权利要求2中任一项所述的边缘节点(19),其中所述全局模型是基于本地梯度和全局梯度下降中的至少一项、使用模型平均来更新的。

4.根据权利要求1至3中任一项所述的边缘节点(19),其中所述多个被更新的本地模型中的每个被更新的本地模型至少部分地基于相应的本地信道状态信息CSI和本地数据。

5.根据权利要求1至4中任一项所述的边缘节点(19),其中被接收的所述多个信号向量基于至少一个被更新的本地虚拟队列。

6.根据权利要求1至5中任一项所述的边缘节点(19),其中所述处理电路装置(64)进一步被配置为:

7.根据权利要求6所述的边缘节点(19),其中经恢复的所述全局模型的所述版本是至少部分基于通信误差的所述全局模型的噪声版本。

8.根据权利要求7所述的边缘节点(19),其中所述通信误差至少部分地基于由预定阈值限界的噪声值。

9.根据权利要求1至8中任一项所述的边缘节点(19),其中所述全局模型的更新包括计算所述多个被更新的本地模型的加权和。

10.根据权利要求1至9中任一项所述的边缘节点(19),其中所述全局模型的所述更新是基于联邦学习的。

11.一种边缘节点(19)中的方法,所述边缘节点(19)被配置为与多个无线设备WD(22)通信,所述方法包括:

12.根据权利要求11所述的方法,进一步包括:

13.根据权利要求11和权利要求12中任一项所述的方法,其中所述全局模型是基于本地梯度和全局梯度下降中的至少一项、使用模型平均来更新的。

14.根据权利要求11至13中任一项所述的方法,其中所述多个被更新的本地模型中的每个被更新的本地模型至少部分地基于相应的本地信道状态信息CSI和本地数据。

15.根据权利要求11至14中任一项所述的方法,其中被接收的所述多个信号向量基于至少一个更新的本地虚拟队列。

16.根据权利要求11至15中任一项所述的方法,进一步包括:

17.根据权利要求16所述的方法,其中经恢复的所述全局模型的所述版本是至少部分基于通信误差的所述全局模型的噪声版本。

18.根据权利要求17所述的方法,其中所述通信误差至少部分地基于由预定阈值限界的噪声值。

19.根据权利要求11至18中任一项所述的方法,其中所述全局模型的更新包括计算所述多个被更新的本地模型的加权和。

20.根据权利要求11至19中任一项所述的方法,其中所述全局模型的所述更新基于联邦学习。

21.一种无线设备WD(22),被配置为与边缘节点(19)通信,所述WD(22)包括:

22.根据权利要求21所述的WD(22),其中所述无线电接口(46)进一步被配置为:

23.根据权利要求22所述的WD(22),其中所述处理电路装置(50)进一步被配置为:

24.根据权利要求21至23中任一项所述的WD(22),其中所述处理电路装置(50)进一步被配置为:

25.根据权利要求24所述的WD(22),其中所述长期发射功率约束基于本地信道状态和所述本地模型。

26.根据权利要求21至25中任一项所述的WD(22),其中所述处理电路装置(50)进一步被配置为:

27.根据权利要求21至26中任一项所述的WD(22),其中所述处理电路装置(50)进一步被配置为:

28.根据权利要求21至27中任一项所述的WD(22),其中更新所述本地模型进一步是基于一个全局模型的经恢复的版本的。

29.根据权利要求21至28中任一项所述的WD(22),其中所述被更新的全局模型基于所计算的与多个无线设备相关联的多个信号向量的加权和,所述至少一个信号向量是所述多个信号向量的部分,所述WD(22)是所述多个WD(22)的部分。

30.根据权利要求21至29中任一项所述的WD(22),其中所述被更新的全局模型基于联邦学习。

31.一种无线设备WD中的方法,所述无线设备WD被配置为与边缘节点(19)通信,所述方法包括:

32.根据权利要求31所述的方法,进一步包括:

33.根据权利要求32所述的方法,进一步包括:

34.根据权利要求31-33中任一项所述的方法,进一步包括:

35.根据权利要求34所述的方法,其中所述长期发射功率约束基于本地...

【技术特征摘要】
【国外来华专利技术】

1.一种边缘节点(19),被配置为与多个无线设备wd(22)通信,所述边缘节点(19)包括:

2.根据权利要求1所述的边缘节点(19),其中:

3.根据权利要求1和权利要求2中任一项所述的边缘节点(19),其中所述全局模型是基于本地梯度和全局梯度下降中的至少一项、使用模型平均来更新的。

4.根据权利要求1至3中任一项所述的边缘节点(19),其中所述多个被更新的本地模型中的每个被更新的本地模型至少部分地基于相应的本地信道状态信息csi和本地数据。

5.根据权利要求1至4中任一项所述的边缘节点(19),其中被接收的所述多个信号向量基于至少一个被更新的本地虚拟队列。

6.根据权利要求1至5中任一项所述的边缘节点(19),其中所述处理电路装置(64)进一步被配置为:

7.根据权利要求6所述的边缘节点(19),其中经恢复的所述全局模型的所述版本是至少部分基于通信误差的所述全局模型的噪声版本。

8.根据权利要求7所述的边缘节点(19),其中所述通信误差至少部分地基于由预定阈值限界的噪声值。

9.根据权利要求1至8中任一项所述的边缘节点(19),其中所述全局模型的更新包括计算所述多个被更新的本地模型的加权和。

10.根据权利要求1至9中任一项所述的边缘节点(19),其中所述全局模型的所述更新是基于联邦学习的。

11.一种边缘节点(19)中的方法,所述边缘节点(19)被配置为与多个无线设备wd(22)通信,所述方法包括:

12.根据权利要求11所述的方法,进一步包括:

13.根据权利要求11和权利要求12中任一项所述的方法,其中所述全局模型是基于本地梯度和全局梯度下降中的至少一项、使用模型平均来更新的。

14.根据权利要求11至13中任一项所述的方法,其中所述多个被更新的本地模型中的每个被更新的本地模型至少部分地基于相应的本地信道状态信息csi和本地数据。

15.根据权利要求11至14中任一项所述的方法,其中被接收的所述多个信号向量基于至少一个更新的本地虚拟队列。

16.根据权利要求11至15中任一项所述的方法,进一步包括:

17.根据权利要求16所述的方法,其中经恢复的所述全局模型的所述版本是至少部分基于通信误差的所述全局模型的噪声版本。

18.根据权利要求17所述的方法,其中所述通信误差至少部分地基于由预定阈值限界的噪声值。

19.根据权利要求11至18中任一项所述的方法,其中所述全局模型的更新包括计算所述多个被更新的本地模型的加权和。

20.根据权利要求11...

【专利技术属性】
技术研发人员:H·阿布泽德梁本董敏王俊程G·布德罗
申请(专利权)人:瑞典爱立信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1