面向全局时延优化的云边端协同CNN推理方法及系统技术方案

本发明专利技术公开了面向全局时延优化的云边端协同CNN推理方法，通过构建训练分块推理时延预测模型、计算理论数据传输时延、构建并训练时延损耗预测模型、构建全局时延预测模型；利用全局时延预测模型计算各个边缘服务器的理论全局时延，以全局时延最小化为优化目标，决定参与协同推理的边缘服务器的选择和推理任务量的分配。本发明专利技术同时提出面向全局时延优化的云边端协同CNN推理系统。相较于传统的协同推理研究工作在时延指标制定方面仅关注当前推理任务的时延优化，本方法将处理当前推理任务对其他并行处理的推理任务可能产生的时延影响也纳入了决策考量范围，同时，本发明专利技术还提供一种CNN分割优化方法，能够有效节省协同推理中的决策时延。理中的决策时延。理中的决策时延。

【技术实现步骤摘要】
面向全局时延优化的云边端协同CNN推理方法及系统


[0001]本专利技术属于云边端协同计算领域，具体涉及面向全局时延优化的云边端协同CNN推理方法及系统。

技术介绍

[0002]CNN（Convolutional Neural Networks, 卷积神经网络）的最新进展推动了越来越多的网络边缘侧智能应用，例如智能家居、智能工厂和智能城市。要在资源受限的物理设备上部署计算密集型CNN，传统方法依赖于将推理工作卸载到远程云或在本地端设备上优化计算。然而，云辅助方法受到不可靠和延迟显著的广域网的影响，本地计算方法受限于端设备有限的计算能力。
[0003]为了满足低时延和高准确率的CNN推理需求，新兴的云边端协同推理计算范式成为研究重点。然而，目前的协同推理研究工作在时延指标制定方面仅关注当前推理任务的时延优化，未考虑对其他并行处理的推理任务可能产生的时延影响。

技术实现思路

[0004]本专利技术所要解决的技术问题在于：针对现有的云边端协同推理计算中未考虑对其他并行处理的推理任务可能产生的时延影响问题，提供了面向全局时延优化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向全局时延优化的云边端协同CNN推理方法，其特征在于，包括如下步骤：S1、基于已训练好的并且已划分为N层CNN模型，对该N层CNN模型划分为n块： ，，；S2、离线学习阶段：以已知的边缘服务器自身浮点计算能力、正在处理的CNN块的计算复杂度、待处理的CNN块的平均计算复杂度、待处理的CNN块包含的操作层层数为输入，以对应的边缘服务器计算待处理的CNN块产生的实际分块推理时延为输出，构建并训练分块推理时延预测模型；所述操作层包括卷积层、全连接层和池化层；S3、以已知的缘服务器自身的浮点计算能力、待处理的CNN块的计算复杂度、正在处理的CNN块的平均计算复杂度、正在处理的CNN块包含的操作层层数为输入，以对应的边缘服务器计算待处理的CNN块对正在处理的CNN块产生的实际时延损耗为输出，构建并训练时延损耗预测模型；S4、基于物理终端将初始图像数据处理为分辨率相同、数据量大小相等的张量数据，并将张量数据发送给与其在同一局域网内的边缘服务器；边缘服务器采集其与局域网内其他边缘服务器之间网络带宽，计算理论数据传输时延；S5、将实际的边缘服务器自身浮点计算能力、正在处理的CNN块的计算复杂度、待处理的CNN块的平均计算复杂度、待处理的CNN块包含的层数输入至步骤S2得到的分块推理时延预测模型，计算得到边缘服务器计算待处理CNN块产生的理论分块推理时延；将实际的边缘服务器自身的浮点计算能力、待处理的CNN块的计算复杂度、正在处理的CNN块的平均计算复杂度、正在处理的CNN块包含的操作层层数输入至步骤S3得到的时延损耗预测模型中，计算得到边缘服务器计算待处理的CNN块对正在处理的CNN块产生的理论时延损耗；S6、以S4得到的理论数据传输时延、步骤S5得到的边缘服务器计算待处理CNN块产生的理论分块推理时延、边缘服务器计算CNN块对正在处理的CNN块产生的理论时延损耗为输入、以边缘服务器理论全局时延为输出，构建全局时延预测模型；S7、利用全局时延预测模型计算各个边缘服务器的理论全局时延；S8、判断当前边缘服务器的理论全局时延是否小于等于其他边缘服务器的理论全局时延，是则由当前边缘服务器计算待处理的CNN块，然后执行步骤S9；否则将待处理的CNN块传输至其他边缘服务器计算，由选定的其他边缘服务器完成待处理CNN块的计算，然后执行步骤S9，完成对下一个CNN块的决策；S9、判断CNN块是否全部计算完成，是则边缘服务器将CNN块的计算结果发送给发出任务请求的物理终端，否则返回执行步骤S7，完成对下一个CNN块的决策。2.根据权利要求1所述的面向全局时延优化的云边端协同CNN推理方法，其特征在于，步骤S2中，分块推理时延预测模型如下式：，式中，是缘服务器自身的浮点计算能力，是自身正在处理的CNN块的计算复杂度，是待处理的CNN块的平均计算
复杂度、是包含的操作层层数，是边缘服务器计算产生的理论分块推理时延输出。3.根据权利要求2所述的面向全局时延优化的云边端协同CNN推理方法，其特征在于，步骤S3中，时延损耗预测模型如下式：，式中，是边缘服务器的浮点计算能力，是待处理的CNN块的计算复杂度，是正在处理的CNN块的平均计算复杂度，是正在处理的CNN块包含的操作层层数，是边缘服务器计算对正在处理的产生的理论时延损耗。4.根据权利要求3所述的面向全局时延优化的云边端协同CNN推理方法，其特征在于，步骤S4中，按如下公式计算理论数据传输时延：，式中，是张量数据，是边缘服务器之间的网络带宽。5.根据权利要求4所述的面向全局时延优化的云边端协同CNN推理方法，其特征在于，步骤S6中，所述全局时延预测模型如下式：，。6.根据权利要求1所述的面向全局时延优化的云边端协同CNN推理方法，其特征在于，步骤S1中，中含有至少两个连续的张量数据，对于任一含有个张量数据的而言，它含有的张量数据和操作层分别为：，，，其中的计算复杂度大于中其他任意一个张量数据的计算复杂度；对于任意两个相邻的CNN块，即和：，，，中的最后一个张量数据和中的第一个张量数据相同。7.根据权利要求1所述的面向全局时延优化的云边端协同CNN推理方法，其特征在于，所述步骤S4中，基于物理终端将初始图像数据处理为分辨率相同、数据量大小相等的张量
数...

【专利技术属性】
技术研发人员：郭永安，周金粮，奚城科，王宇翱，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：