【技术实现步骤摘要】
本专利技术属于异构联邦学习优化领域，具体涉及一种基于资源约束的异构联邦学习优化方法及系统。
技术介绍
1、自谷歌提出联邦学习(fl)以来，这个分布式学习框架成为了一个热门研究方向。联邦学习的提出使得不同设备在保护自身隐私数据的前提下进行知识协作。在如今注重隐私保护的互联网环境下，联邦学习一定程度上缓解了数据孤岛现象，并增强了模型的泛化性能。
2、fl不是在集中式服务器上收集数据，而是支持分布式模型训练。经典的fl框架会进行多轮的通信和训练，在每一轮通信中，客户端从服务器获取全局模型，使用本地的数据集进行本地训练。在完成本地训练后，客户端将模型参数梯度返回给中心服务器，中心服务器结合这些梯度来完善全局模型。这个过程会重复进行直到达到目标准确率为止。原始数据在训练过程中不离开客户端，fl能够有效保护数据隐私，并减轻无线通信的负担。
3、在整个fl系统中，随着移动设备的增多和发展，移动设备的性能差异也变得越来越大，希望联邦学习的全局模型在准确率、训练时间上有足够提升。到目前为止，许多研究和努力被用来提升fl的性能，包括提升模型准确率、降低通信成本或最小化训练延迟。大多数fl方案是在同步条件下运行的，同步聚合方式是指中心服务器需要等待所有或指定数量的客户端完成本地训练并上传参数后再进行全局模型的聚合。这种方法每一轮训练的时间依赖于最慢的客户端，会大大延长每轮通信的持续时间。考虑到客户端的硬件和网络条件，训练时间的差异会变得更大。一些训练能力有限或网络条件差的客户端会减慢fl训练，造成掉队问题。
4、为
5、解决掉队问题的另一类策略时根据客户端的训练效率来为客户端分配客制化和多样化的训练强度。具体来说，对于训练效率有限的客户端，服务器会分配更少的局部训练强度(即本地训练迭代次数)，对于效率更高的客户端，可以分配更多的局部训练强度。这种方法的目的是使所有客户端的训练时间更接近，减少服务器的等待时延。但是，训练强度的差异会造成客户端的不公平，客户端也缺乏参与的动机。为了激励客户端参与，fl任务的发起者会向参与者提供金钱奖励来鼓励客户端参与。大多数工作都假设每轮训练的预算是有限制的。但在大部分情况下，预算通常是在整个训练过程受到约束，而不是一轮中受约束。需要将关注点放到训练的全局预算分配上。
6、现有一项研究amble提出了一种自适应方法(amble：adjusting mini-batch andlocal epoch for federated learning with heterogeneous devices juwon park，daegun yoon，sangho yeo，sangyoon 0h)，动态调整训练的小批量大小和本地迭代次数，采用线性学习率缩放策略来确保梯度更新的平衡性，提升模型收敛速度和准确率。但该项技术的局限性在于它仅考虑了设备的性能，没有考虑预算限制和客户端的能耗，这对参与者来说缺乏激励。
技术实现思路
1、本专利技术的主要目的在于克服现有技术中的上述缺陷，提出一种基于资源约束的异构联邦学习优化方法，用于在计算资源预算约束范围内，在客户端异构性的基础上考虑全局预算和单轮预算的分配，优化异构设备的联邦学习模型。该方法考虑了客户端在计算和通信能力上的硬件、网络差异，能够最小化fl任务中的全局模型损失和训练时延，并将全局预算分配到合适的训练轮中。
2、本专利技术至少通过如下技术方案之一实现。
3、一种基于资源约束的异构联邦学习优化方法，包括如下步骤：
4、s1、确定参数服务器任务，初始化联邦学习的全局模型参数和深度强化学习模型；
5、s2、采用深度强化学习模型学习优化任务信息，采用近端策略优化算法对深度强化学习模型进行训练；
6、s3、参数服务器通过深度强化学习模型输出参与训练客户端的总训练强度，根据确定性算法分配各参与训练客户端的训练强度；
7、s4、客户端通过本地数据进行训练，将训练好的本地模型参数更新传到参数服务器，并将深度强化学习模型的信息状态传到参数服务器；
8、s5、参数服务器根据历史信息对深度强化学习模型进行更新，并聚合各客户端上传的参数，进行全局模型更新。
9、进一步地，在步骤s1中，联邦学习的客户端硬件设置，具体包括：
10、定义一组客户端c＝{c1，c2，...，ci，...，cn}，假设第i个客户端ci每次本地训练迭代的计算时间ti,cmp为：
11、
12、其中表示第i个客户端ci在第k个训练轮的cpu循环频率，μi表示cpu执行1比特训练数据的cpu循环次数，bi表示一个本地训练迭代次数所需要的比特数；cn表示第n个客户端；
13、客户端的通信时间包括下载全局模型的时间和上传本地模型参数更新的时间，仅考虑上传时间作为通信时间，则第k个训练轮客户端ci的通信时间为：
14、
15、其中ξ表示客户端本地模型参数的大小，表示通讯带宽；
16、客户端ci在第k个训练轮的训练时间为：
17、
18、其中，表示客户端ci在第k个训练轮的训练迭代次数，则第k轮的训练时间tk为：
19、
20、其中ck表示第k个训练轮被服务器选中参与训练的客户端集合。
21、进一步地，在步骤s1中，联邦学习的服务器训练任务具体包括：
22、服务器接收和更新客户端的模型参数，并进行聚合，客户端ci的本地模型损失函数值fi(w)为：
23、
24、其中来表示客户端ci在本地数据集di上第j个样例的损失函数，w表示联邦学习的全局模型的参数，全局模型的损失函数定义为：
25、
26、定义训练任务目标为：
27、
28、其中k表示联邦学习训练的总轮数，wk表示第k轮全局模型的模型参数，f(wk)表示第k轮全局模型的训练损失函数值，bk表示在第k个训练轮用于激励客户端参与训练的预算，tk表示第k轮的训练时间；
29、约束限制：
30、
31、其中为客户端ci在第k个训练轮一次本地训练迭代消耗的计算资源预算补偿，表示联邦学习任务的全局预算，表示正整数，表示客户端ci在第k个训练轮的训练迭代次数，客户端ci在第k个训练轮的训练时间，ck表示第k个训练轮被服务器选中参与训练的客户端集合。
32、进一步地，步骤s2中，近端策略优化算法是收集策略πk′＝π(θk′)的部分轨迹集合，然后使用优势估计算法学习优势，其中θk′表示深度强化学习模型的策略网络在训练的第本文档来自技高网...
【技术保护点】
1.一种基于资源约束的异构联邦学习优化方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于资源约束的异构联邦学习优化方法，其特征在于，在步骤S1中，联邦学习的客户端硬件设置，具体包括：
3.根据权利要求1所述的一种基于资源约束的异构联邦学习优化方法，其特征在于，在步骤S1中，联邦学习的服务器训练任务具体包括：
4.根据权利要求1所述的一种基于资源约束的异构联邦学习优化方法，其特征在于，步骤S2中，近端策略优化算法是收集策略πk′＝π(θk′)的部分轨迹集合，然后使用优势估计算法学习优势，其中θk′表示深度强化学习模型的策略网络在训练的第k′步的网络参数，πk′和π(θk′)表示在第k′步策略网络的策略；
5.根据权利要求1所述的一种基于资源约束的异构联邦学习优化方法，其特征在于，深度强化学习模型的状态、动作、奖励信息如下：
6.根据权利要求1所述的一种基于资源约束的异构联邦学习优化方法，其特征在于，在深度强化学习模型输出一轮的总训练强度后，通过确定性算法分配到各个客户端，确定性算法的优化目标为：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。