【技术实现步骤摘要】
本专利技术涉及边缘计算，尤其是涉及一种基于边缘计算的协同优化方法、系统、设备及介质。
技术介绍
1、边缘人工智能是人工智能与边缘计算的结合，旨在将智能引入边缘异构设备，从而实现无处不在的智能。边缘人工智能将基于模型的服务带到用户身边，但存在的问题是，边缘服务器通常资源有限。而针对边缘人工智能中的多业务多用户协同处理时，模型划分是协同推理方法的一部分，该协同推理方法利用多个边缘服务器(每个服务器部署有完整模型的子模块)，以在边缘执行分布式模型推理。尽管增加了复杂性和通信开销，但该方法能在资源有限的边缘服务器上可扩展地部署和执行大型模型，并能最大限度地提高服务器的利用率。多业务是指，边缘框架通常部署有多个dnn模型，每个dnn模型为用户终端设备提供服务。例如，cav(智能网联车)和道路基础设施一起可以被视为边缘框架，其中，cav的摄像头作为终端设备，rsu(路侧单元)作为边缘服务器。假设服务(也称为决策程序)提出策略，该策略根据通过cav摄像头收集到的路况图像流，决定cav是否应该停止。提供了两个物体检测服务，以分别识别图像流中的交通信号灯和行人。多用户是指不同的用户终端设备会产生较少的请求，当多个请求利用同一个基于模型的服务时，来自这些请求的数据可以组合在一起作为一个数据批次，以实现一个单批次推理。选择适度的批次大小不仅可以防止模型被异常值误导，还可以在gpu(图形处理单元)和npu(神经网络处理器)的硬件支持下加速推理过程。
2、因此在多业务多用户的协同处理场景下，对于服务器资源划分、模型划分和数据批次划分的协同优化
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于边缘计算的协同优化方法、系统、设备及介质，能够协同增强服务器资源划分、模型划分和数据批次划分各自的解决方案，减小通信开销并且增大吞吐量，提高边缘计算的性能。
2、第一方面，本专利技术的实施例提供了一种基于边缘计算的协同优化方法，包括：
3、获取本地配置文件、网页ui数据、本地模型参数和客户端数据；
4、根据所述本地配置文件和所述网页ui数据构建深度神经网络有向无环图，并根据所述本地模型参数构建模块参数字典；
5、通过所述参数字典和所述深度神经网络有向无环图构建深度神经网络模型；通过所述深度神经网络模型循环执行如下步骤：通过所述深度神经网络模型根据所述客户端数据执行服务器分配算法，得到边缘服务器分配结果；响应所述边缘服务器分配结果，对所述深度神经网络模型执行模型划分算法，得到所述深度神经网络模型对应的子模块划分结果；响应所述子模块划分结果，通过所述深度神经网络模型执行数据批处理算法，得到对应所述子模块划分结果的数据批划分结果；获取所述服务器分配算法中的服务器分配管理表，若所述服务器分配管理表不存在分配任务并且持续时间达到预设时间阈值，则停止循环；
6、通过所述深度神经网络模型中的所述参数字典获取所述子模块划分结果对应的模块参数，并将所述模块参数分发至所述边缘服务器分配结果对应的工作边缘服务器；
7、通过所述模块参数、所述根据所述边缘服务器分配结果、所述子模块划分结果和所述数据批划分结果响应所述客户端的服务请求。
8、根据本专利技术实施例的方法，至少具有如下有益效果：
9、本方法首先通过参数字典和深度神经网络有向无环图构建深度神经网络模型，通过参数字典能够将子模块的模块参数直接转发至子模块，实现参数与深度神经网络有向无环图的分离，减少数据传输开销以及后续服务器分配算法、模型划分算法和数据批处理算法的开销，后续算法只需要使用到深度神经网络有向无环图，不需要子模块的模块参数；然后通过深度神经网络模型循环依次执行服务器分配算法、模型划分算法和数据批处理算法，能够协同增强各自算法结果的效果，全面支持多业务协同推理，单独来看，服务器分配算法在系统资源的限制下确保资源分配的公平性，模型划分算法最大限度地减少服务延迟，数据批处理算法充分利用并行处理潜力，控制所引入的通信开销，循环执行后通过传递最大可行批数等有效信息来最大化三个算法的服务目标，得到三个算法最优的解决方案，提高整体的可用性和吞吐量。
10、根据本专利技术的一些实施例，通过自动推断模型前向函数计算所述深度神经网络有向无环图的前向结果，并通过所述前向结果监督所述模块参数的分发。
11、根据本专利技术的一些实施例，所述通过所述深度神经网络模型根据所述客户端数据执行服务器分配算法，得到边缘服务器分配结果，包括：
12、通过服务器配置表记录已注册边缘服务器的基本信息；
13、获取所述客户端的服务器部署请求；
14、响应所述服务器部署请求，通过所述服务器分配算法计算得到所述服务器部署请求对应的待部署边缘服务器；
15、根据所述服务器配置表得到逻辑边缘集群，并选定所述逻辑边缘集群的集群领导者；
16、通过所述集群领导者引导所述客户端到达所述集群领导者对应的领导边缘服务器，并在所述领导边缘服务器进行所述待部署边缘服务器的部署事务，得到所述边缘服务器分配结果。
17、根据本专利技术的一些实施例，所述响应所述边缘服务器分配结果，根据所述深度神经网络模型执行模型划分算法，得到所述深度神经网络模型对应的子模块划分结果，包括：
18、通过预设的第一推理剖析器计算在每个所述工作边缘服务器上的第一推理延迟记录；所述第一推理延迟记录表示在所述工作边缘服务器上部署不同子模块组合对应的多个第一推理延迟；
19、将所述第一推理延迟记录输入所述模型划分算法，得到所述子模块划分结果。
20、根据本专利技术的一些实施例，所述响应所述子模块划分结果，通过所述深度神经网络模型执行数据批处理算法，得到对应所述子模块划分结果的数据批划分结果，包括：
21、获取所述客户端的请求数据；
22、通过所述请求数据进行不同组合得到多个数据批次；
23、通过预设的第二推理剖析器计算每个所述子模块在所述多个数据批次下的多个推理延迟，得到所述第二推理剖析器的第二推理延迟记录；
24、将所述第二推理延迟记录输入所述数据批处理算法，计算得到所述数据批划分结果。
25、根据本专利技术的一些实施例，所述第一推理剖析器和所述第二推理剖析器均通过回归模型训练得到，所述回归模型的训练步骤包括：
26、构建原料数据参数和原料模块参数；
27、获取所述工作边缘服务器的配置参数，通过所述原料数据参数、所述原料模块参数和所述配置参数构建输入样本；
28、根据所述原料数据参数构建伪数据，并根据所述原料模块参数构建伪模块模型；
29、通过所述伪数据和所述伪模块模型测量得到所述输入样本对应的模拟推理延迟；
30、通过所述模拟推理延迟和所述输入样本划分本文档来自技高网...
【技术保护点】
1.一种基于边缘计算的协同优化方法，其特征在于，所述基于边缘计算的协同优化方法包括：
2.根据权利要求1所述的基于边缘计算的协同优化方法，其特征在于，通过自动推断模型前向函数计算所述深度神经网络有向无环图的前向结果，并通过所述前向结果监督所述模块参数的分发。
3.根据权利要求1所述的基于边缘计算的协同优化方法，其特征在于，所述通过所述深度神经网络模型根据所述客户端数据执行服务器分配算法，得到边缘服务器分配结果，包括：
4.根据权利要求1所述的基于边缘计算的协同优化方法，其特征在于，所述响应所述边缘服务器分配结果，对所述深度神经网络模型执行模型划分算法，得到所述深度神经网络模型对应的子模块划分结果，包括：
5.根据权利要求4所述的基于边缘计算的协同优化方法，其特征在于，所述响应所述子模块划分结果，通过所述深度神经网络模型执行数据批处理算法，得到对应所述子模块划分结果的数据批划分结果，包括：
6.根据权利要求5所述的基于边缘计算的协同优化方法，其特征在于，所述第一推理剖析器和所述第二推理剖析器均通过回归模型训练得到，所述回归
7.根据权利要求4所述的基于边缘计算的协同优化方法，其特征在于，所述将所述第一推理延迟记录输入所述模型划分算法，得到所述子模块划分结果，包括：
8.一种基于边缘计算的协同优化系统，其特征在于，所述基于边缘计算的协同优化系统包括：
9.一种电子设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于边缘计算的协同优化方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于边缘计算的协同优化方法。
...【技术特征摘要】
1.一种基于边缘计算的协同优化方法，其特征在于，所述基于边缘计算的协同优化方法包括：
2.根据权利要求1所述的基于边缘计算的协同优化方法，其特征在于，通过自动推断模型前向函数计算所述深度神经网络有向无环图的前向结果，并通过所述前向结果监督所述模块参数的分发。
3.根据权利要求1所述的基于边缘计算的协同优化方法，其特征在于，所述通过所述深度神经网络模型根据所述客户端数据执行服务器分配算法，得到边缘服务器分配结果，包括：
4.根据权利要求1所述的基于边缘计算的协同优化方法，其特征在于，所述响应所述边缘服务器分配结果，对所述深度神经网络模型执行模型划分算法，得到所述深度神经网络模型对应的子模块划分结果，包括：
5.根据权利要求4所述的基于边缘计算的协同优化方法，其特征在于，所述响应所述子模块划分结果，通过所述深度神经网络模型执行数据批处理算法，得到对应所述子模块划分结果的数据批划分结果，包括：
6.根据权利要求5所...
【专利技术属性】
技术研发人员：沈静然，乔治斯·泽奥多洛保罗斯，尼古劳斯·特斯里塔斯，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。