一种多用户边缘智能场景下的神经网络分割及卸载方法技术

一种多用户边缘智能场景下的神经网络分割及卸载方法，包括以下步骤：系统中有一个边缘服务BS和N个用户设备，每个设备都有一个神经网络推理计算任务；以用户设备的能量和边缘服务器的计算资源为约束条件，以神经网络分割方案和卸载方案为优化变量，以最大化计算任务的完成率为优化目标建立优化问题P；采用最大流最小割结合动态规划的算法求得问题P，得到DNN网络最佳分割及卸载方案并将其应用在用户设备上。本发明专利技术适用于多用户且设备能量和服务器资源都有限制的神经网络分割及卸载场景，制定合适的神经网络分割和卸载方法，大幅提高设备神经网络推理计算任务的完成率。备神经网络推理计算任务的完成率。备神经网络推理计算任务的完成率。

【技术实现步骤摘要】
一种多用户边缘智能场景下的神经网络分割及卸载方法


[0001]本专利技术属于5G网络边缘智能
，尤其涉及一种多用户边缘计算系统中神经网络的分割及卸载方法，该方法适用于用户设备能量和服务器资源都有限的情况下，制定出合理的神经网络分割和卸载决策，最大化用户任务完成率。

技术介绍

[0002]随着深度学习的发展，近年来有关神经网络的应用呈现爆炸式的增长。从人脸识别到无人驾驶都是有关神经网络的应用。与此同时，物联网产业的发展诞生了一系列智能终端设备，越来越多的神经网络应用被部署在智能终端上，比如智能手机和智能可穿戴设备，甚至是嵌入式设备。
[0003]物联网终端设备是计算资源和能量资源都非常有限的设备，其在保证基本功能正常运行的情况下仅有有限的能量能支持神经网络的推理计算。传统的云计算虽然可以协助进行神经网络的推理计算，但其通过将任务传输到云上进行推理计算减轻设备负载的过程中，大量的数据传输会导致核心网负载过大，从而大幅增加传输时延以及传输能耗。网络分割理论和边缘卸载技术的出现使得用户可以将神经网络的部分网络层，尤其是计算量大的网络层分割并卸载到边缘服务器上进行推理计算，这样不仅能够加速终端设备神经网络的推理计算，减轻了核心网的负载，而且大幅降低设备的计算时延和传输能耗。因此，如何对神经网络做出有效的分割决策和卸载决策就成为了一个值得研究的问题。

技术实现思路

[0004]本专利技术要克服现有技术的上述缺点，提供一种多用户边缘计算系统中神经网络的分割及卸载方法。
[0005]首先，为了最大化神经网络推理计算任务完成率，提出了一个多用户环境下的神经网络分割及卸载的模型，该模型在将神经网络结构考虑为有向无环图的基础上，进一步考虑到了多个用户设备的能量限制和服务器的资源限制问题。其次，提出了一个基于最大流最小割和动态规划的优化算法来最大化用户任务完成率，通过最大限度地利用有限的设备能量和服务器资源实现DNN最佳分割，从而实现有效卸载决策。
[0006]为了实现上述过程，本专利技术提供以下的技术方案：
[0007]一种多用户边缘智能场景下的神经网络分割及卸载方法，包括以下步骤：
[0008]步骤1：将边缘服务器放置于基站BS中，并通过有线与BS连接。边缘服务器上放置各类已训练好的DNN模型，其计算资源为TH。在基站的通信范围内放置N个用户设备，每个设备i也放置一个已训练好的DNN模型，其能量限制为S
i
。
[0009]步骤2：每个设备i产生一个计算任务r
i
＝{G
i
，C
i
，O
i
，S
i
}，这里G
i
＝＜V
i
，E
i
＞表示处理计算任务的神经网络，其中表示图中的各节点，每个节点代表一个网络层，E
i
＝{(v
i，j
，v
i，l
)|(vi
，j
，v
i，l
)∈V
i
}表示各节点之间的边。
表示计算网络层v
i，j
所需要的浮点数计算量。表示各网络层输出数据量的大小，其中o
i，j
(bit)表示的是网络层v
i，j
输出的数据大小，S
i
表示设备的能量限制。
[0010]步骤3：以每个用户设备的能量S
i
和边缘服务器的计算资源TH为约束条件，以神经网络分割方案和卸载方案为优化变量，以最大化每个用户计算任务的完成率为优化目标建立优化问题P。
[0011]步骤4：把优化问题P分解为两个子问题P1和P2。采用一种遍历搜索结合最大流最小割的方法对子问题P1进行求解；根据子问题P1的求解结果，采用动态规划算法求解问题P2；最终求得优化问题户，从而得到DNN网络最佳分割及卸载方案。
[0012]进一步地，所述步骤3中，优化问题P的表达式为：
[0013][0014]其中V
loc
和V
mec
是所有用户的DNN网络分割决策，分别表示各用户在本地计算和边缘计算的网络层集合；th＝{th1，
…
，th
N
}表示服务器分配给各设备的计算资源；I＝{I1,I2,
…
,I
N
}，I
i
∈{0,1}，表示设备i上的计算请求是否被执行，I
i
＝1表示请求被执行，否则表示不执行。
[0015]再进一步的，优化问题P的限制条件表达式为：
[0016]0≤th
i
≤TH
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0017][0018]I
i
∈{0,1}
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0019][0020]其中式(1)表示边缘服务器给设备分配的资源在1到TH之间，不能超过服务器的资源限制；式(2)表示所有设备所被分配计算资源的总和不能超过服务器的总计算资源TH；式(3)表示任务执行决策变量的限制范围为{0,1}。式(4)表示DNN推理所需能耗不能超过设备的能量限制。
[0021]更进一步的，所述步骤4中，问题P1的表达式为:
[0022][0023]其中这里k
i
表示本地计算的能量效率系数；表示计算网络层v
i,j
所需要的时延；f
i
表示本地计算速率；P
i
表示设备工作时的功率；γ
i
表示设备与服务器之间的传输速率；表示传输网络层输出参数所需要的时延；表示设备待机时的功率；f
e
表示服务器上每一个线程
的计算速率；表示计算网络层v
i,j
所需要的时延。上述问题P中式(1)、式(4)为问题P1的限制条件表达式。
[0024]问题P2的表达式为：
[0025][0026]其中pr
i
表示卸载设备i的网络层所能获得的收益，
[0027][0028]上述式(2)、式(3)为问题P2的限制条件表达式。
[0029]更进一步地，所述步骤4中，采用遍历搜索结合最大流最小割的算法对步骤4中问题P1以及采用动态规划算法对问题P2进行求解的步骤为：
[0030]步骤4.1：首先遍历每一个用户i，计算其神经网络全部网络层都在本地计算所需要的能耗如果此能耗不超过设备本身的能量限制，则让神经网络全部在本地进行计算。对于本地计算能耗超过设备能量限制的请求，将其放入另外一个队列Queue。
[0031]步骤4.2：针对队列Queue中的每一个请求，将服务器的资源从1到TH进行遍历，每次遍历都构造一个辅助图辅助图由原始的神经网络图G
i
加上一些虚拟节点和边构成，虚拟节点是为了和网络节点连接成边，本身无实际意义；而图中的每一条边都本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多用户边缘智能场景下的神经网络分割及卸载方法，其特征在于，包括如下步骤：步骤1：将边缘服务器放置于基站BS中，并通过有线与BS连接；边缘服务器上放置各类已训练好的DNN模型，其计算资源为TH；在基站的通信范围内放置N个用户设备，每个设备i也放置一个已训练好的DNN模型，其能量限制为S
i
；步骤2：每个设备i差生一个计算任务r
i
＝{G
i
,C
i
,O
i
,S
i
}，这里G
i
＝<V
i
,E
i
>表示处理计算任务的神经网络，其中表示图中的各节点，每个节点代表一个网络层，E
i
＝{(v
i,j
,v
i,l
)|(v
i,j
,v
i,l
)∈V
i
}表示各节点之间的边；表示计算网络层v
i,j
所需要的浮点数计算量；所需要的浮点数计算量；表示各网络层输出数据量的大小，其中o
i,j
(bit)表示的是网络层v
i,j
输出的数据大小，S
i
表示设备的能量限制；步骤3：以每个用户设备的能量S
i
和边缘服务器的计算资源TH为约束条件，以神经网络分割方案和卸载方案为优化变量，以最大化每个用户计算任务的完成率为优化目标建立优化问题P；步骤4：把优化问题P分解为两个子问题P1和P2；采用一种遍历搜索结合最大流最小割的方法对子问题P1进行求解；根据子问题P1的求解结果，采用动态规划算法求解问题P2；最终求得优化问题P，从而得到DNN网络最佳分割及卸载方案。2.如权利要求1所述的一种多用户边缘智能场景下的神经网络分割及卸载方法，其特征在于，步骤3所述的优化问题P的表达式为：其中V
loc
和V
mec
是所有用户的DNN网络分割决策，分别表示各用户在本地计算和边缘计算的网络层集合；th＝{th1,
…
,th
N
}表示服务器分配给各设备的计算资源；I＝{I1,I2,
…
,I
N
}，I
i
∈{0,1}，表示设备i上的计算请求是否被执行，I
i
＝1表示请求被执行，否则表示不执行。3.如权利要求1所述的一种多用户边缘智能场景下的神经网络分割及卸载方法，其特征在于，优化问题P的限制条件表达式为：0≤th
i
≤TH
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)I
i
∈{0,1}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中式(1)表示边缘服务器给设备分配的资源在1到TH之间，不能超过服务器的资源限制；式(2)表示所有设备所被分配计算资源的总和不能超...

【专利技术属性】
技术研发人员：田贤忠，许鹏程，孟慧骁，缪娉婷，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：