一种动态变化网络环境下深度学习模型的加速执行方法技术

本发明专利技术公开一种动态变化网络环境下深度学习模型的加速执行方法，利用网络流算法对DAG类型的神经网络进行切割，允许在将DNN同时部署在边缘端和云端，限制了数据传输的同时也加速了推理。利用无向图割顶的性质，提出了一种两步方法减少了最小割模型的决策时间。利用新的时延测量方法，与其他方法相比，该方法能够达到减少推理时延和提高吞吐量的效果。方法可以自适应的根据网速对卷积神经网络进行切割，当网速较快的时候，尽可能的将计算任务交给云端处理，而当网速较慢的时候，尽可能的将计算任务在边缘进行计算，将中间结果传输到云端进行处理。

【技术实现步骤摘要】
一种动态变化网络环境下深度学习模型的加速执行方法
本专利技术提供一种动态变化网络环境下深度学习模型的加速执行方法，主要应用于物联网、边缘计算领域，涉及神经网络算法，以及网络流，Tarjan算法。
技术介绍
深度学习近年来取得了很多进展，在很多领域得到了广泛的应用。特别是在计算机视觉领域，将图像识别和视频分析的速度和准确度提高到了一个新的高度。许多的物联网设备配合强大的云计算平台拓展出了许多基于深度学习的视觉应用。例如，自动驾驶技术，车载摄像头产生的视频流数据通过上载到服务器，服务器对视频中的图像进行语义分割和目标检测，然后将数据回传到自动驾驶的决策中心。谷歌眼睛上的智能玻璃捕捉图像并传输到云端进行分析，云端将分析结果回传到智能玻璃并显示出来，实现人类和现实场景的实时交互。深度学习技术极大地推动了上述物联网应用的发展。其通常采用的方法是以云为中心，将物联网设备产生的图像通过长广域网传输到具有强大计算能力的云端，云端进行推断之后再将结果返回到设备。但是传统以云为中心的方法极大的依赖网络条件，在网络条件差的情况下会造成较大的时延和能量消耗。例本文档来自技高网...

【技术保护点】
1.一种动态变化网络环境下深度学习模型的加速执行方法，其特征在于，包括如下步骤：/n步骤1)得到卷积神经网络每一层在边缘端和云端的实际运行时间以及每一层输出大小；实时监控网络带宽，根据神经网络每一层输出大小和网络带宽得到传输时延；/n2)将神经网络的层抽象为节点，具有数据传输的两个节点之间连接一条有向边，得到DAG图；/n3)对DAG模型进行建模，将每个节点拥有的三个时延属性拆分为三条有向边，并建立超级源点和超级汇点；利用网络流算法寻找该模型的最小割，寻找到最小割在原图上所经过的割边，从该割边集处将整个模型进行切割；4)利用Tarjan算法寻找割点集；/n5)结合3)和4)设计总体算法实现减少...

【技术特征摘要】
1.一种动态变化网络环境下深度学习模型的加速执行方法，其特征在于，包括如下步骤：
步骤1)得到卷积神经网络每一层在边缘端和云端的实际运行时间以及每一层输出大小；实时监控网络带宽，根据神经网络每一层输出大小和网络带宽得到传输时延；
2)将神经网络的层抽象为节点，具有数据传输的两个节点之间连接一条有向边，得到DAG图；
3)对DAG模型进行建模，将每个节点拥有的三个时延属性拆分为三条有向边，并建立超级源点和超级汇点；利用网络流算法寻找该模型的最小割，寻找到最小割在原图上所经过的割边，从该割边集处将整个模型进行切割；4)利用Tarjan算法寻找割点集；
5)结合3)和4)设计总体算法实现减少时间复杂度的效果。


2.根据权利要求1所述的动态变化网络环境下深度学习模型的加速执行方法，其特征在于，步骤1)的具体实现过程包括：
a)对于任意节点vi∈V，利用edge_delay(v1,vi)表示在边缘端输入层v1到vi的连续时延，cloud_delay(vi,vn)表示在云端从vi到输出层vn的连续时延；其中cloud_delay(vi,vn)＝cloud_delay(v1,vn)-cloud_delay(v1,vi)；在进行最小割时，需要知道每一层的单独时延，使用如下方法得到每一层的时延：首先得到v1到所求层vi的连续时延，查找vi所有前驱节点连续时延的最大值，用当前层连续时延减去这个最大值，即可得到该层的单独时延和表示第i层在边缘端的时延，表示第i层在云端的时延；
b)定义集合Dt＝{d1,d2,…dn}，其中di代表节点vi输出张量的大小；若带宽为B，则vi与其后继节点之间的时延为


3.根据权利要求1所述的动态变化网络环境下深度学习模型的加速执行方法，其特征在于，步骤3)的具体建模过程：
在DNN的拓扑图G＝<V,E>中，每个节点都拥有三个延时和在带宽为B的情况下寻找到一组割边集，将V划分为两个互不相交的子集Ve和Vc；直接在G中寻找一组割边集是比较困难的，通过构建G′，使得G′的每一条边都只捕获一个时延；将在G中的寻找割边集的问题转化在G′中寻找最小割的问题。


4.根据权利要求3所述的动态变化网络环境下深度学习模型的加速执行方法，其特征在于，由G构建G′的过程为：
添加节点：首先构建三个新的节点，分别记为e，c，o；其中e是网络流的源点，最终和e归为一类的节点代表部署在边缘端的节点；c是网络流的汇点，最终和c归为一类的节点代表部署在云端的节点；o是一个虚拟节点，代表外部输入到G中的数据，其本身不属于V，由于数据总是在边缘端产生的，故o永远和e划分在一个集合；
云端时延：基于G′，在e和所有的v∈V之间添加一条单向边，称之为”红边”，红边的权值为每个节点在云端的时延；在e和o中添加一条权值为inf的边，确保了最小割不会割到这条边上，从而保证e和o属于同一个集合；

【专利技术属性】
技术研发人员：王扬，
申请(专利权)人：江苏边智科技有限公司，
类型：发明
国别省市：江苏;32