应用于物联网的分层联邦边缘学习调度方法及系统技术方案

本发明专利技术公开了计算机通信技术领域一种应用于物联网的分层联邦边缘学习调度方法，包括以下步骤：1）在终端设备UE处根据自身与模型拥有者MR的数据的差异程度对自身聚类成多个簇，每个簇选取一个簇头与最近的基站绑定为边缘子网络EN；2）构建MR、EN和UE参与的分层联邦边缘学习网络，并建立EN和UE的效用函数；3）基于分层联邦边缘学习网络，将EN和UE分别映射成调度双方，采用多维契约约束解决在信息不对称条件下的逆向选择问题；4）基于上述步骤得到最佳契约，并基于最佳契约实施分层联邦边缘学习调度机制，达成EN的调度目标，本发明专利技术解决了EN如何调度UE参与分层联邦边缘学习的问题。何调度UE参与分层联邦边缘学习的问题。何调度UE参与分层联邦边缘学习的问题。

【技术实现步骤摘要】
应用于物联网的分层联邦边缘学习调度方法及系统


[0001]本专利技术涉及物联网
，尤其涉及一种应用于物联网的分层联邦边缘学习调度方法。

技术介绍

[0002]联邦学习是一种特殊的分布式学习方法，它使多个终端设备(UE)协作训练共享的参数模型，同时保证训练数据存在于UE上。服务器首先将全局模型参数分发给随机选取的一部分UE。然后每个UE并行地在各自的数据上进行优化更新局部参数。最后服务器对所有局部参数进行聚合，进而输出全局参数。联邦学习训练期间无需通过通信网络发射私有数据，在一定程度了保护了隐私。
[0003]然而联邦学习涉及数千个异构分布式UE设备。在这种情况下通信效率低下是关键瓶颈。即通信故障导致的节点故障和设备丢失会导致学习效率低下。此外，连接严重受限的UE设备无法参与训练，从而对模型的泛化能力产生不利影响，另外设备与云端服务器的远距离交互会带来较大的通信支出。边缘计算技术是一种允许网络边缘执行的计算架构，可以将各种计算工作下沉到网络边缘，与集中式云计算相比边缘子网络在地理位置上更靠近终端设备设备，同时分布更广数量更多，分担了集中云计算的负载降低了时延和学习资源消耗。将联邦学习与边缘计算结合的分层联邦边缘学习框架可解决上述问题，其中UE参数首先上传到边缘子网络(EN)用于中间聚合。然后与模型拥有者(MR)通信进行全局聚合，减少了全局通信的支出并降低了设备的丢失率。
[0004]然而在学习中各个设备都是自私的，需要提供自己的资源来参与学习，没有合理的补偿和有效的调度方法就无法招募到足够的参与者。

技术实现思路

[0005]本专利技术的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本说明书以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本说明书、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0006]针对现有技术中存在的不足，提出了本专利技术，因此，本专利技术提供了一种应用于物联网的分层联邦边缘学习调度方法及系统，以解决EN如何调度UE参与分层联邦边缘学习的问题。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：一种应用于物联网的分层联邦边缘学习调度方法，包括以下步骤：
[0008]步骤1)在终端设备UE处根据自身与模型拥有者MR的数据的差异程度对自身聚类成多个簇，每个簇选取一个簇头与最近的基站绑定为边缘子网络EN；
[0009]步骤2)构建MR、EN和UE参与的分层联邦边缘学习网络，并建立EN和UE的效用函数；
[0010]步骤3)基于分层联邦边缘学习网络，将EN和UE分别映射成调度双方，采用多维契
约约束解决在信息不对称条件下的逆向选择问题，假设EN只知道UE的学习资源支出类型总数和每个学习资源支出类型的概率，EN可以为不同学习资源支出类型的UE提供一系列契约；
[0011]步骤4)基于上述步骤得到最佳契约，并基于最佳契约实施分层联邦边缘学习调度机制，达成EN的调度目标。
[0012]作为本专利技术所述应用于物联网的分层联邦边缘学习调度方法的优选技术方案，步骤1)中EN共有M个，每个EN下属有k
m
个UE，所述数据的差异程度为数据的类别集合为A，对MR和UEk∈K来说，数据类别为a的概率分别为h
c,a
和h
k,a
，由于所述EN包含的簇头是由所属UE聚类而成，定义δ
m
为第m个EN下属簇内UE数据类别与MR的差异度。
[0013]作为本专利技术所述应用于物联网的分层联邦边缘学习调度方法的优选技术方案，步骤2中UE的效用函数为：
[0014][0015]其中，g
m,k
是UEk∈K从所属的第m个EN获得的效用，r
m,k
是UEk∈K从所属的第m个EN获得的报酬，T是EN每个簇中的整体学习轮次，是数据采集支出，其中，是单位采集支出，n
m,k
为UE提供的数据量，单位数据量都含有若干个比特位数据；是本地模型训练支出，其中，是单位计算能耗的支出，s是每个样本数据的比特数，κ
m,k
是有效开关电容，η
m,k
是UEk执行数据量为单位比特的任务消耗的算力，f
m,k
是UEk的计算频率，E是UE局部学习轮次；是参数发射支出，其中，t
max
是模型训练和发射需要的时间，p是发射功率，是单位发射能耗的支出；
[0016]每个UE的发射功率p和单位发射能耗的支出相同时，所述UE的第二层效用函数简化形式为：
[0017]g
m,k
＝r
m,k
‑
θ
m,k
n
m,k
‑
ρ
m,k
n
m,k
‑
(Tβ
u
t
max
p
‑
τ
m,k
n
m,k
) (2)
[0018]其中，
[0019]根据所述UE的第二层效用函数简化形式，UE的支出有采集支出、计算支出和通信支出，依次定义为Θ
m
＝{θ
m,x
:1≤x≤X}，和UE的学习资源支出类别种类为XYZ种，每个UE学习资源支出类别的联合概率分布为q
m,x,y,z
(θ
m,x
,ρ
m,y
,τ
m,z
)，即其中K
m,x,y,z
代表某种支出类型的UE，UE的支出类型排序为非降序列：0<θ
m,1
≤θ
m,2
≤
…
≤θ
m,X
，0<ρ
m,1
≤ρ
m,2
≤
…
≤ρ
m,Y
和0<τ
m,1
≤τ
m,2
≤
…
≤τ
m,Z
，采集支出类型为x，计算支出类型为y和发射支出类型为z的UE表示为支出类型为(m,x,y,z)的
UE，类型(m,x,y,z)的所述UE的效用函数最终为：
[0020]g
m,x,y,z
＝r
m,x,y,z
‑
θ
m,x
n
m,x,y,z
‑
ρ
m,y
n
m,x,y,z
+τ
m,z
n
m,x,y,z
ꢀꢀꢀ
(3)。
[0021]作为本专利技术所述应用于物联网的分层联邦边缘学习调度方法的优选技术方案，所述步骤2)中EN的效用函数为：
[0022][0023]其中，φ
m
＝1
‑
δ
m
为第m个E本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于物联网的分层联邦边缘学习调度方法，其特征在于，包括以下步骤：步骤1)在终端设备UE处根据自身与模型拥有者MR的数据的差异程度对自身聚类成多个簇，每个簇选取一个簇头与最近的基站绑定为边缘子网络EN；步骤2)构建MR、EN和UE参与的分层联邦边缘学习网络，并建立EN和UE的效用函数；步骤3)基于分层联邦边缘学习网络，将EN和UE分别映射成调度双方，采用多维契约约束解决在信息不对称条件下的逆向选择问题，假设EN只知道UE的学习资源支出类型总数和每个学习资源支出类型的概率，EN可以为不同学习资源支出类型的UE提供一系列契约；步骤4)基于上述步骤得到最佳契约，并基于最佳契约实施分层联邦边缘学习调度机制，达成EN的调度目标。2.根据权利要求1所述的应用于物联网的分层联邦边缘学习调度方法，其特征在于，步骤1)中EN共有M个，每个EN下属有k
m
个UE，所述数据的差异程度为数据的类别集合为A，对MR和UE
k∈K
来说，数据类别为a的概率分别为h
c,a
和h
k,a
，由于所述EN包含的簇头是由所属UE聚类而成，定义δ
m
为第m个EN下属簇内UE数据类别与MR的差异度。3.根据权利要求2所述的应用于物联网的分层联邦边缘学习调度方法，其特征在于，步骤2中UE的效用函数为：其中，g
m,k
是UEk∈K从所属的第m个EN获得的效用，r
m,k
是UEk∈K从所属的第m个EN获得的报酬，T是EN每个簇中的整体学习轮次，是数据采集支出，其中，是单位采集支出，n
m,k
为UE提供的数据量，单位数据量都含有若干个比特位数据；是本地模型训练支出，其中，是单位计算能耗的支出，s是每个样本数据的比特数，κ
m,k
是有效开关电容，η
m,k
是UEk执行数据量为单位比特的任务消耗的算力，f
m,k
是UEk的计算频率，E是UE局部学习轮次；是参数发射支出，其中，t
max
是模型训练和发射需要的时间，p是发射功率，是单位发射能耗的支出；每个UE的发射功率p和单位发射能耗的支出相同时，所述UE的第二层效用函数简化形式为：g
m,k
＝r
m,k
‑
θ
m,k
n
m,k
‑
ρ
m,k
n
m,k
‑
(Tβ
u
t
max
p
‑
τ
m,k
n
m,k
) (2)其中，根据所述UE的第二层效用函数简化形式，UE的支出有采集支出、计算支出和通信支出，依次定义为Θ
m
＝{θ
m,x
:1≤x≤X}，和UE的学习资源支出类别种类为XYZ种，每个UE学习资源支出类别的联合概率分布为q
m,x,y,z
(θ
m,x
,ρ
m,y
,
τ
m,z
)，即其中K
m,x,y,z
代表某种支出类型的UE，UE的支出类型排序为非降序列：0<θ
m,1
≤θ
m,2
≤
…
≤θ
m,X
，0<ρ
m,1
≤ρ
m,2
≤
…
≤ρ
m,Y
和0<τ
m,1
≤τ
m,2
≤
…
≤τ
m,Z
，采集支出类型为x，计算支出类型为y和发射支出类型为z的UE表示为支出类型为(m,x,y,z)的UE，类型(m,x,y,z)的所述UE的效用函数最终为：g
m,x,y,z
＝r
m,x,y,z
‑
θ
m,x
n
m,x,y,z
‑
ρ
m,y
n
m,x,y,z
+τ
m,z
n
m,x,y,z
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)。4.根据权利要求3所述的应用于物联网的分层联邦边缘学习调度方法，其特征在于，所述步骤2)中EN的效用函数为：其中，φ
m
＝1
‑
δ
m
为第m个EN的模型参数对MR的提供度，是第m个EN单位精度为MR带来的收入；类型(m,x,y,z)UE的总支出为：...

【专利技术属性】
技术研发人员：许建华，陈在玉，罗万庆，
申请(专利权)人：江苏奥都智能科技有限公司，
类型：发明
国别省市：