【技术实现步骤摘要】
本专利技术涉及边缘计算领域，具体涉及一种边缘计算网络下分布式模型推理加速方法及系统。
技术介绍
1、随着深度学习应用的广泛部署和边缘计算技术的兴起，各种人工智能应用(如人脸识别、图像分类等)数量正在呈现爆发式增长趋势。对于在资源受限的边缘设备上进行高效模型推理的需求不断增加。传统的中央集中式模型推理方式可能无法满足高实时性需求，因为它可能会导致延迟较高和网络带宽负载过重的问题。边缘计算是一种将计算和存储资源移到网络边缘(如基站)以满足低延迟和带宽要求的新型计算模型。边缘设备通常位于接近数据源和终端用户的位置，可以更快地响应请求并减少数据传输的成本。然而，由于边缘设备的计算能力和存储容量有限，执行复杂的深度神经网络(deep neural networks，dnn)推理任务仍可能会受到限制。
2、分布式模型推理是一种利用多个计算节点协同执行dnn推理任务的方法。通过将模型分割为多个子模型，并将它们分配给不同的计算节点，可以提高dnn推理任务的处理速度。然而，在边缘计算网络下，由于网络带宽和延迟的限制，传统的分布式模型推理方法可能会面临一些挑战,如边缘设备资源异构等。
技术实现思路
1、本专利技术的目的是提供一种边缘计算网络下分布式模型推理加速方法及系统。
2、为实现本专利技术目的而采用的技术方案是这样的，一种边缘计算网络下分布式模型推理加速方法，包括以下步骤：
3、1)建立边缘计算系统。
4、2)获取边缘计算系统中所有边缘服务器、移动设
5、3)构建dnn推理任务划分模型，并对dnn推理任务划分模型进行初始化处理。
6、4)建立dnn推理延迟模型和dnn推理能耗模型。
7、所述dnn推理延迟模型用于描述处理dnn推理任务的延迟情况。
8、所述dnn推理能耗模型用于描述推理dnn推理任务的能耗情况。
9、5)构建状态空间、动作空间和奖励函数。
10、所述状态空间用于存储dnn推理任务的状态信息。
11、所述动作空间用于描述在边缘计算系统中dnn推理任务划分模型在t时刻所采取的动作。
12、所述奖励函数用于指导dnn推理任务划分模型在t时刻所采取的动作。
13、6)基于多任务学习的异步优势演员-评论家算法求解dnn推理任务划分模型，得到划分后的dnn推理任务。
14、进一步，所述边缘计算系统包括m个边缘基站、n个移动设备和模型划分控制器。
15、其中，每个边缘基站中均搭载有边缘服务器。
16、所述移动设备用于产生dnn推理任务。
17、所述模型划分控制器用于将dnn推理任务划分为若干子任务，并将子任务传输至边缘服务器。
18、所述边缘服务器接收子任务，并对子任务进行分布式dnn推理服务。
19、进一步，所述边缘计算系统中所有边缘服务器、移动设备和dnn推理任务的信息数据包括：边缘服务器的计算能力、边缘服务器之间的设备传输速率、边缘服务器与移动设备之间的传输速率、移动设备的本地计算能力、移动设备分配的带宽、移动设备的功率、每个dnn子任务的大小、每个dnn子任务所需的计算能力。
20、进一步，所述dnn推理任务划分模型xn(t)如下所示：
21、
22、式中，t表示时间。n为移动设备编号，n＝1,2,...,n，n为移动设备总数。表示dnn子任务in(t)是否在边缘服务器m中处理，m＝1,2,...,m，m为边缘服务器总数。表示dnn子任务in(t)是否在本地处理。
23、进一步，所述dnn推理延迟模型包括dnn任务的本地处理延迟和边缘处理延迟。
24、所述dnn推理能耗模型包括dnn任务的本地推理能耗和中间dnn特征图上传能耗。
25、进一步，所述dnn推理延迟模型dn(t)如下所示：
26、
27、式中，t表示时间。l(·)为判断函数。表示dnn子任务in(t)是否在本地处理，表示dnn子任务in(t)是否在边缘服务器m中处理。
28、其中，本地处理延迟如下所示：
29、
30、式中，为每个dnn子任务所需的计算能力，μ为移动设备的本地计算能力。
31、边缘处理延迟如下所示：
32、
33、其中，相邻dnn子任务的中间特征图的传输延迟如下所示：
34、
35、式中，表示相邻两个dnn子任务中的一个在本地处理，另一个在边缘服务器中处理。表示相邻的两个dnn子任务在不同的边缘服务器中进行处理。0表示相邻的两个dnn子任务在相同的边缘服务器或同时在本地处理。
36、dnn子任务in(t)在边缘服务器m中计算延迟如下所示：
37、
38、式中，cm为边缘服务器m的计算能力。
39、所述dnn任务的本地推理能耗如下所示：
40、
41、式中，t表示时间。τ表示能量系数。为每个dnn子任务所需的计算能力，μ为移动设备的本地计算能力。
42、所述中间dnn特征图上传能耗如下所示：
43、
44、式中，pn表示设备的传输功率。
45、进一步，所述状态空间如下所示：
46、
47、式中，t表示时间。表示dnn子任务in(t)的状态，n＝1,2,...,n，n为移动设备总数。表示dnn子任务in(t)的大小，表示dnn子任务in(t)所需的计算能力，νn,m(t)表示边缘服务器m与移动设备n之间的传输速率。wr(t)表示t时刻移动设备的剩余可用能量。
48、在动作空间中，所述dnn推理任务划分模型在t时刻所采取的动作a(t)如下所示：
49、a(t)＝{x1(t)，x2(t)，...，xn(t)} (10)
50、式中，xn(t)表示dnn推理任务划分模型。
51、所述奖励函数r(t)如下所示：
52、
53、式中，β表示权重系数，dn(t)表示dnn推理延迟模型。
54、其中，惩罚项如下所示：
55、
56、式中，ρn(t)表示dnn子任务in(t)的最大容忍延迟。
57、进一步，所述基于多任务学习的异步优势演员-评论家算法求解dnn推理任务划分模型，得到划分后的dnn推理任务的步骤包括：
58、6.1)计算异步优势演员-评论家算法状态值函数如下所示：
59、
60、式中，表示状态空间。表示累计折扣奖励，k表示迭代索引，γ表示折扣因子。e(·)表示期望函数。
61、6.2)更新奖励函数r(t)，如下所示：
62、
63、6.3)基于多任务学习异步优势演员-评论家算法本文档来自技高网...
【技术保护点】
1.一种边缘计算网络下分布式模型推理加速方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述边缘计算系统包括M个边缘基站、N个移动设备和模型划分控制器；
3.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述边缘计算系统中所有边缘服务器、移动设备和DNN推理任务的信息数据包括：边缘服务器的计算能力、边缘服务器之间的设备传输速率、边缘服务器与移动设备之间的传输速率、移动设备的本地计算能力、移动设备分配的带宽、移动设备的功率、每个DNN子任务的大小、每个DNN子任务所需的计算能力。
4.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述DNN推理任务划分模型Xn(t)如下所示：
5.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述DNN推理延迟模型包括DNN任务的本地处理延迟和边缘处理延迟；
6.根据权利要求5所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述DN
7.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述状态空间如下所示：
8.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述基于多任务学习的异步优势演员-评论家算法求解DNN推理任务划分模型，得到划分后的DNN推理任务的步骤包括：
9.基于权利要求1-8任一项所述方法的系统，其特征在于，包括：M个边缘基站、N个移动设备和模型划分控制器；
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8任一项所述边缘计算网络下分布式模型推理加速方法的步骤。
...【技术特征摘要】
1.一种边缘计算网络下分布式模型推理加速方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述边缘计算系统包括m个边缘基站、n个移动设备和模型划分控制器；
3.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述边缘计算系统中所有边缘服务器、移动设备和dnn推理任务的信息数据包括：边缘服务器的计算能力、边缘服务器之间的设备传输速率、边缘服务器与移动设备之间的传输速率、移动设备的本地计算能力、移动设备分配的带宽、移动设备的功率、每个dnn子任务的大小、每个dnn子任务所需的计算能力。
4.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述dnn推理任务划分模型xn(t)如下所示：
5.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其...
【专利技术属性】
技术研发人员：郝金隆，李秀华，李辉，程路熙，蔡春茂，范琪琳，杨正益，文俊浩，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。