一种物联网场景下用于高效联邦学习的成本优化方法技术

本发明专利技术涉及一种物联网场景下用于高效联邦学习的成本优化方法，属于移动通信领域，包括以下步骤：S1：建立半异步联邦学习系统时间成本和能耗成本的成本优化模型；S2：边缘计算服务器基于时域卷积网络算法，实时感知每个IoT设备的剩余资源；S3：设计了一种贪婪搜索的设备选择方法，根据资源感知的结果和模型陈旧度均值的大小，选择出最佳的IoT设备参与全局模型的训练；S4：资源分配方法，采取异步优势演员评论家算法对所选择的设备进行资源分配，同时满足系统成本消耗的最小化。本发明专利技术可以减少采用半异步联邦学习架构进行模型训练时的时间和能量的成本消耗，有效降低系统开销。有效降低系统开销。有效降低系统开销。

【技术实现步骤摘要】
一种物联网场景下用于高效联邦学习的成本优化方法


[0001]本专利技术属于移动通信领域，涉及一种物联网场景下用于高效联邦学习的成本优化方法。

技术介绍

[0002]目前，许多联邦学习(Federated Learning,FL)方案正被人们广泛地应用于移动边缘计算(Mobile Edge Computing,MEC)网络的场景中，尤其是在物联网(Internet of Things,IoT)场景中，通过利用联邦学习的架构，使得大量的客户端在边缘计算服务器的协调下协同训练机器学习或深度学习模型，同时也保证了数据的分散性和隐私性。因此，如何实现高效的FL模型训练，降低实际部署中的系统成本的消耗，是当前研究的热点之一。
[0003]然而，当边缘设备在其CPU资源、内存资源和电量资源的不充足的情形下参与本地模型的训练时，会出现卡顿或死机的现象，这不仅会增加模型的训练时间和能量消耗，进而使得系统消耗的成本较高，还间接导致了移动设备上传的本地模型具有陈旧度，即设备上传的本地模型版本和当前全局模型的版本差异较大。当模型陈旧度过大时，参数服务器会自动丢弃该设备上传的本地模型，这将导致系统资源的浪费；当模型陈旧度较小时，参数服务器虽会聚合其本地模型，但对全局模型的贡献值大大降低，也会影响全局模型的精度。此外，即使边缘设备的资源充足，但边缘设备的计算能力和通信能力的不同也会影响FL的训练性能和系统成本。综上所述，现有的异构物联网网络中，无法实现高效FL模型训练的同时还能使系统成本降低。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种物联网场景下用于高效联邦学习的成本优化方法，减少终端IoT设备在参与模型训练期间的资源消耗和通信消耗，有效降低半异步联邦学习过程中的系统总成本。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]一种物联网场景下用于高效联邦学习的成本优化方法，包括以下步骤：
[0007]S1：在物联网场景下，建立半异步联邦学习系统时间成本和能耗成本的成本优化模型；
[0008]S2：物联网中各个设备上传其资源信息至所属的MEC服务器；
[0009]S3：MEC服务器使用时域卷积网络TCN进行资源感知，基于感知结果执行设备选择算法，选择出状态最佳的设备参与本地模型的训练；
[0010]S4：MEC服务器将初始全局模型下发至所选择的IoT设备；
[0011]S5：根据选择指标，确定是否执行本地训练步骤；
[0012]S6：根据S3的设备选择结果，将成本优化问题的约束条件转化为资源分配大小的约束，并采用基于异步优势演员评论家资源分配算法A3C学习最佳的资源分配策略，最终由MEC服务器汇聚梯度，完成其更新任务；
[0013]S7：各个设备依据自身的数据集执行本地训练过程；
[0014]S8：各个设备异步上传本地更新后的模型；
[0015]S9：MEC服务器接收到指定数量的本地模型后，执行全局聚合操作，循环执行步骤S2
‑
S9，直至全局迭代轮数达到其阈值或全局损失函数收敛。
[0016]进一步，步骤S1中，在最低资源预算的需求下，使得成本函数最小的优化问题表述如下：
[0017][0018]s.t.C1:F(w
K
)
‑
F(w
*
)≤δ
[0019]C2:T
k
≤T
max
[0020][0021][0022][0023][0024]C7:a
i
{0,1}
[0025]其中，p
k
＝{a1,a2,...,a
i
,...,a
N
}，表示第k轮进行全局设备选择之后的结果集合；c1和c2分别表示能量成本和时延成本的重要性加权指标，且c1c2＝1；C1表示SAFL训练K轮之后是收敛的；C2表示第k轮中的每个参与SAFL的边缘设备的训练时间不超过时间阈值；C3表示移动设备所分配的计算容量的范围；C4～C5表示为每个移动设备分配的带宽的大小；C6表示每个设备的各个资源类型的剩余率阈值大于该设备参与联邦训练时预期的资源利用率阈值U
k
；C7表示是否选择该设备。
[0026]进一步，步骤S3中，采用时域卷积网络TCN对每个移动设备进行资源实时感知，预测每个移动设备未来一段时间的剩余资源状况，所述剩余资源状况包括设备的剩余CPU资源、剩余内存资源和剩余电量资源，取未来一段时间内所预测各设备的剩余资源平均值作为评估标准，计算方式如下：
[0027][0028]其中，表示设备v
i
曾经参加全局模型训练的次数。
[0029]进一步，步骤S3中所述设备选择算法为基于贪婪搜索的设备选择算法，具体为根据各设备模型陈旧度均值的大小、所拥有数据集的大小对成本的影响进行筛选，若满足两项的阈值，再执行资源感知操作，预测设备的剩余资源，从而选择出状态最佳的移动设备参与本地模型的训练。
[0030]进一步，步骤S6中，所述基于异步优势演员评论家资源分配算法A3C的状态空间、动作空间和奖励函数定义如下：
[0031]状态：在SAFL的第k轮，每个边缘智能体从其各自的环境中收集状态信息，状态信息表示为：
[0032]s
k
＝(k,w
k
,F
k
,F
k
,T
k
,E
k
,B
k
)
[0033]其中，k表示全局联邦学习训练轮数的索引，且0＜t≤K；w
k
表示第k轮的全局模型
参数；F
k
表示第k轮所聚合的全局损失函数；ΔF
k
表示当前损失函数与目标损失值之间的差值，即ΔF
k
＝F
k
‑
δ；T
k
表示当前第k轮进行模型训练的完成时间，且E
k
表示当前第k轮进行模型训练所消耗的总能量，且B
k
表示当前第k轮剩余的系统带宽资源；
[0034]动作：根据所观察到的各自环境的状态，边缘智能体在每个FL epoch中，对每个所选的边缘设备进行计算资源和带宽资源分配，则动作表示为：
[0035][0036]其中，表示带宽资源的分配动作，即表示带宽资源的分配动作，即表示CPU频率的分配动作，即则给定当前环境状态s
k
时，智能体会基于一个策略选择动作a
k
，其中，策略表示为π(a
k
|s
k
；θ
π
)；
[0037]奖励：一旦智能体对环境执行动作a
k
后，将从环境中获得奖励反馈，用于评估该动作对环境状态变化趋势的影响，环境立即进入下一个状态s
k+1
，将奖励函数定义为：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物联网场景下用于高效联邦学习的成本优化方法，其特征在于：包括以下步骤：S1：在物联网场景下，建立半异步联邦学习系统时间成本和能耗成本的成本优化模型；S2：物联网中各个设备上传其资源信息至所属的MEC服务器；S3：MEC服务器使用时域卷积网络TCN进行资源感知，基于感知结果执行设备选择算法，选择出状态最佳的设备参与本地模型的训练；S4：MEC服务器将初始全局模型下发至所选择的IoT设备；S5：根据选择指标，确定是否执行本地训练步骤；S6：根据S3的设备选择结果，将成本优化问题的约束条件转化为资源分配大小的约束，并采用基于异步优势演员评论家资源分配算法A3C学习最佳的资源分配策略，最终由MEC服务器汇聚梯度，完成其更新任务；S7：各个设备依据自身的数据集执行本地训练过程；S8：各个设备异步上传本地更新后的模型；S9：MEC服务器接收到指定数量的本地模型后，执行全局聚合操作，循环执行步骤S2
‑
S9，直至全局迭代轮数达到其阈值或全局损失函数收敛。2.根据权利要求1所述的物联网场景下用于高效联邦学习的成本优化方法，其特征在于：步骤S1中，在最低资源预算的需求下，使得成本函数最小的优化问题表述如下：s.t.C1:F(w
K
)
‑
F(w
*
)≤δC2:T
k
≤T
maxmaxmaxmax
C7:a
i
∈{0,1}其中，p
k
＝{a1,a2,...,a
i
,...,a
N
}，表示第k轮进行全局设备选择之后的结果集合；c1和c2分别表示能量成本和时延成本的重要性加权指标，且c1+c2＝1；C1表示SAFL训练K轮之后是收敛的；C2表示第k轮中的每个参与SAFL的边缘设备的训练时间不超过时间阈值；C3表示移动设备所分配的计算容量的范围；C4～C5表示为每个移动设备分配的带宽的大小；C6表示每个设备的各个资源类型的剩余率阈值大于该设备参与联邦训练时预期的资源利用率阈值U
k
；C7表示是否选择该设备。3.根据权利要求1所述的物联网场景下用于高效联邦学习的成本优化方法，其特征在于：步骤S3中，采用时域卷积网络TCN对每个移动设备进行资源实时感知，预测每个移动设备未来一段时间的剩余资源状况，所述剩余资源状况包括设备的剩余CPU资源、剩余内存资源和剩余电量资源，取未来一段时间内所预测各设备的剩余资源平均值作为评估标准，计算方式如下：
其中，表示设备v
i
曾经参加全局模型训练的次数。4.根据权利要求3所述的物联网场景下用于高效联邦学习的成本优化方法，其特征在于：步骤S3中所述设备选择算法为基于贪婪搜索的设备选择算法，具体为根据各设...

【专利技术属性】
技术研发人员：唐伦，单贞贞，文明艳，陈前斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：