一种基于部分客户参与和功率约束的联邦学习方法技术

本发明专利技术属于通信技术领域，公开了一种基于部分客户参与和功率约束的联邦学习方法，包括：采用有偏见的客户选择，设置客户端可寻址并不断向中央服务器报告，令中央服务器在迭代过程中了解每个客户端的状态；通过添加总和功率约束进行跨通信时隙的功率分配，令设备地将所述设备的本地更新传输到服务器。本发明专利技术通过减小通信成本解决现有技术的问题，同时保持模型收敛性能。本发明专利技术提出的设计可以解决由不完美的信道状态引起的负面影响。学习过程的收敛在功率控制下减慢，而有偏见的客户选择加速了收敛，权衡了模型聚合。本发明专利技术可以保证在低信噪比的恶劣无线条件下快速收敛，在无线FL系统的时间和能源节约方面具有成本效益。的时间和能源节约方面具有成本效益。的时间和能源节约方面具有成本效益。

【技术实现步骤摘要】
一种基于部分客户参与和功率约束的联邦学习方法


[0001]本专利技术属于通信
，尤其涉及一种基于部分客户参与和功率约束的联邦学习方法。

技术介绍

[0002]目前，随着现代通信网络和传输技术的发展，高机动性无人机在分散任务中的应用正在迅速增长。无人机既可以作为飞行基站，又可以作为快速灵活的数据采集、计算和无线通信的工作设备，使得其成为非常有前途的终端，可以实现许多分布式应用。然而，无人机也受到资源的高度限制，尤其是在功率和带宽方面。传统的基于深度学习的部署是云中心的，需要将原始数据上传到集中式服务器，这给无线系统带来了沉重的网络通信开销。如果通信模块与无人机共享相同的电池，飞行时间将减少16％，如果算上GPS和其他传感器，飞行时间很容易减少超过20％。此外，动态通信链路的可靠和高效数据共享成为另一个瓶颈。此外，集中式方案可能会为实时应用程序(例如实例决策制定任务)引入不可接受的延迟。此外，使用无人机从天空收集信息会引发信息隐私和信任的关键问题。此类航拍镜头可能包含存在隐私问题的敏感帧。
[0003]联邦学习(FL)算法在无线通信领域中引起了越来越多的兴趣。研究已经证明，FL方案使无线设备能够协作学习共享模型，而无需共享数据。由于可用功率和带宽有限，以及通信和计算服务无处不在，FL概念为多无人机无线网络提供了一种变通解决方案。无线FL网络中的通信仍然是分布式网络中的一个关键瓶颈，因为由于带宽和功率等资源的有限可用性，它可能会很慢且不稳定。当设备遭受更高的延迟、更低的吞吐量和间歇性的不良连接时，情况会变得更加严重。FL系统中的通信挑战和实际问题促使开发新的方法来降低整体功耗、平均客户端
‑
服务器通信和模型参数，以确定足够的精度进行通信。
[0004]为了理解FL的模型收敛性，FL的架构一直是理论研究的主要焦点。然而，这些工作中的大多数都集中在单个方面的FL优化，例如设备选择方案、模型压缩、或模型收敛分析。在无线FL系统中，优化问题主要涉及收敛速度和资源效率，以及潜在的不可靠或不可预测的客户端服务器通信和有限的资源可用性。为了解决FL算法的无线通信开销，研究确定了三个值得注意的趋势，以在优化无线网络上的分布式学习方面进行研究。
[0005]1、有限的带宽：有限的无线信道容量会导致空中接口严重拥塞，出现不希望的延迟，甚至无法收敛。此外，较差的信道条件限制了设备的可用性。传输前的数据压缩是减小功耗和延迟的有前途的解决方案之一。此外，调度设备进行聚合可以帮助解决通信过度拥挤的问题。
[0006]2、传输精度：无线链路上的通信可能会受到不良信道条件的影响，FL收敛不可避免地会受到传输错误的影响。为了保持模型的准确性，除了信道带宽瓶颈之外，还应考虑对信道效应的鲁棒性，以建立通信模型，并设计一个通信高效的FL框架。
[0007]3、功率限制：通信和计算的能量消耗很大，会限制飞行时间。解决功耗的一种方法是降低通信频率，但是，模型收敛通常会受到通信减少的影响。不太频繁的通信也会导致较
慢的收敛和次优性能，因此最终会增加整体功耗，因为需要更多的本地训练时间。应限制无人机发射功率，以延长电池寿命并满足对附近带内通信造成干扰的要求。
[0008]通过上述分析，现有技术存在的问题及缺陷为：现有通信成本大，收敛速度慢。

技术实现思路

[0009]针对现有技术存在的问题，本专利技术提供了一种基于部分客户参与和功率约束的联邦学习方法，该方法可以突破无人机在功率和带宽等方面的资源限制，更好的实现高移动性无线通信网络的联邦学习系统。
[0010]本专利技术是这样实现的，一种基于部分客户参与和功率约束的联邦学习方法，所述基于部分客户参与和功率约束的联邦学习方法包括：
[0011]步骤一，采用有偏见的客户选择，设置客户端可寻址并不断向中央服务器报告，令中央服务器在迭代过程中了解每个客户端的状态；
[0012]步骤二，通过添加总和功率约束进行跨通信时隙的功率分配，令设备地将所述设备的本地更新传输到服务器。
[0013]进一步，所述步骤一包括：
[0014](1)客户端连接到服务器并寻求共同找到模型参数最小化经验损失函数；选择损失最大的前M个客户端执行本地更新；
[0015](2)采用具有线性增量子集的客户选择策略：设置选择当前全局模型进行全局更新的top
‑
M最高局部损失的客户端；定义客户选择策略函数π
tm
，将全局模型w(t)映射到选定的客户集S(π
tm
,w)。
[0016]进一步，所述经验损失函数如下：
[0017][0018]其中，F(w)表示经验损失函数；K表示客户端数量；w
*
表示模型参数；f(w,ξ)表示从本地数据集B
k
和模型参数w中随机选择的样本批次ξ的损失函数；p
k
表示第k个客户端的数据比例；F
k
(w)表示客户k的本地损失函数；F
*
＝min
w
F(w),
[0019]进一步，所述基于部分客户参与和功率约束的联邦学习方法还包括：
[0020]客户端选择FedAvg的迭代t的更新规则如下：
[0021][0022]其中，w
m
(t,E)表示客户端m在t时的局部模型参数，表示批次ξ(t,E)上的随机梯度，表示全局模型参数。
[0023]进一步，所述选择损失最大的前M个客户端执行本地更新包括：
[0024]设备不断地将所述设备本地丢失发送到中央服务器，服务器始终跟踪每个响应设备的可用性和训练状态；客户端选择由服务器根据设备的最新状态和信道状态信息进行，并在聚合前广播给设备；将未被选中的客户端的最新损失值记录设置为1；同时被选中的设
备相应的上传对应的模型参数：
[0025][0026]其中和表示全局模型参数，M表示活动客户端集的大小，b表示小批量的大小。
[0027]进一步，所述步骤二中，通过添加总和功率约束进行跨通信时隙的功率分配，令设备地将所述设备的本地更新传输到服务器包括：
[0028]1)通过无线衰落MAC连接设备和参数服务器的系统进行建模，并采用OFDM进行传输；
[0029]2)在分布式SGD或DSGD中，服务器接收来自邻居的叠加信号：在DSGD算法的第t轮通信中，本地更新通过无线衰落MAC发送到服务器，具有N个时隙的s个子信道；将子通道到分配给设备m∈[M]；对于发射功率设备m
*
(t)和服务器之间的并行无线高斯信道容量利用下式确定：
[0030][0031]其中，表示在通信回合t分配给设备m的功率；
[0032]3)子信道上的功率分配p
m
[s]适应相应的信道系数h
m
[s]以通过AirComp进行梯度聚合：服务器根据一定的聚合规则聚合消息获得新的全局模型更新。
[0033]本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于部分客户参与和功率约束的联邦学习方法，其特征在于，所述基于部分客户参与和功率约束的联邦学习方法包括：步骤一，采用有偏见的客户选择，设置客户端可寻址并不断向中央服务器报告，令中央服务器在迭代过程中了解每个客户端的状态；步骤二，通过添加总和功率约束进行跨通信时隙的功率分配，令设备地将所述设备的本地更新传输到服务器。2.如权利要求1所述基于部分客户参与和功率约束的联邦学习方法，其特征在于，所述步骤一包括：(1)客户端连接到服务器并寻求共同找到模型参数最小化经验损失函数；选择损失最大的前M个客户端执行本地更新；(2)采用具有线性增量子集的客户选择策略：设置选择当前全局模型进行全局更新的top
‑
M最高局部损失的客户端；定义客户选择策略函数π
tm
，将全局模型w(t)映射到选定的客户集S(π
tm
,w)。3.如权利要求2所述基于部分客户参与和功率约束的联邦学习方法，其特征在于，所述经验损失函数如下：其中，F(w)表示经验损失函数；K表示客户端数量；w
*
表示模型参数；f(w,ξ)表示从本地数据集B
k
和模型参数w中随机选择的样本批次ξ的损失函数；p
k
表示第k个客户端的数据比例；F
k
(w)表示客户k的本地损失函数；F
*
＝min
w
F(w),4.如权利要求1所述基于部分客户参与和功率约束的联邦学习方法，其特征在于，所述基于部分客户参与和功率约束的联邦学习方法还包括：客户端选择FedAvg的迭代t的更新规则如下：其中，w
m
(t,E)表示客户端m在t时的局部模型参数，表示批次ξ(t,E)上的随机梯度，表示全局模型参数。5.如权利要求1所述基于部分客户参与和功率约束的联邦学习方法，其特征在于，所述选择损失最大的前M个客户端执行本地更新包括：设备不断地将所述设备本地丢失发送到中央服务器，服务器始终跟...

【专利技术属性】
技术研发人员：骆春波，许燕，沙小豹，高海瑞，刘翔，罗杨，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：