一种边缘计算网络下分布式模型推理加速方法及系统技术方案

一种边缘计算网络下分布式模型推理加速方法及系统，方法包括：1)建立边缘计算系统；2)获取边缘计算系统中所有边缘服务器、移动设备和DNN推理任务的信息数据；3)构建DNN推理任务划分模型，并对DNN推理任务划分模型进行初始化处理；4)建立DNN推理延迟模型和DNN推理能耗模型；5)构建状态空间、动作空间和奖励函数；6)基于多任务学习的异步优势演员‑评论家算法求解DNN推理任务划分模型，得到划分后的DNN推理任务。系统包括：M个边缘基站、N个移动设备和模型划分控制器。本发明专利技术确保计算节点之间的高效通信和协作，加速整个DNN模型推理过程。本发明专利技术在边缘计算网络下实现高效的分布式模型推理，提供低延迟的推理服务并节省网络带宽资源。

【技术实现步骤摘要】

本专利技术涉及边缘计算领域，具体涉及一种边缘计算网络下分布式模型推理加速方法及系统。

技术介绍

1、随着深度学习应用的广泛部署和边缘计算技术的兴起，各种人工智能应用(如人脸识别、图像分类等)数量正在呈现爆发式增长趋势。对于在资源受限的边缘设备上进行高效模型推理的需求不断增加。传统的中央集中式模型推理方式可能无法满足高实时性需求，因为它可能会导致延迟较高和网络带宽负载过重的问题。边缘计算是一种将计算和存储资源移到网络边缘(如基站)以满足低延迟和带宽要求的新型计算模型。边缘设备通常位于接近数据源和终端用户的位置，可以更快地响应请求并减少数据传输的成本。然而，由于边缘设备的计算能力和存储容量有限，执行复杂的深度神经网络(deep neural networks，dnn)推理任务仍可能会受到限制。

2、分布式模型推理是一种利用多个计算节点协同执行dnn推理任务的方法。通过将模型分割为多个子模型，并将它们分配给不同的计算节点，可以提高dnn推理任务的处理速度。然而，在边缘计算网络下，由于网络带宽和延迟的限制，传统的分布式模型推理方法可能会面临一些挑战,如本文档来自技高网...

【技术保护点】

1.一种边缘计算网络下分布式模型推理加速方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述边缘计算系统包括M个边缘基站、N个移动设备和模型划分控制器；

3.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述边缘计算系统中所有边缘服务器、移动设备和DNN推理任务的信息数据包括：边缘服务器的计算能力、边缘服务器之间的设备传输速率、边缘服务器与移动设备之间的传输速率、移动设备的本地计算能力、移动设备分配的带宽、移动设备的功率、每个DNN子任务的大小、每个DNN子任务所需的计算能...

【技术特征摘要】

1.一种边缘计算网络下分布式模型推理加速方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述边缘计算系统包括m个边缘基站、n个移动设备和模型划分控制器；

3.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述边缘计算系统中所有边缘服务器、移动设备和dnn推理任务的信息数据包括：边缘服务器的计算能力、边缘服务器之间的设备传输速率、边缘服务器与移动设备之间的传输速率、移动设备的本地计算能力、移动设备分配的带宽、移动设备的功率、每个dnn子任务的大小、每个dnn子任务所需的计算能力。

4.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其特征在于，所述dnn推理任务划分模型xn(t)如下所示：

5.根据权利要求1所述的一种边缘计算网络下分布式模型推理加速方法，其...

【专利技术属性】
技术研发人员：郝金隆，李秀华，李辉，程路熙，蔡春茂，范琪琳，杨正益，文俊浩，
申请(专利权)人：重庆大学，
类型：发明
国别省市：