面向深度神经网络的边缘计算方法技术

本发明专利技术提供了一种面向深度神经网络的边缘计算方法，属于边缘计算及深度学习领域。与现有的模型压缩方案以及模型分割中不进行分割点附近数据填充的方案相比，本发明专利技术由于对分割点附近的数据进行了数据填充，使得卸载至各边缘节点的特征图在进行相应层计算后，数据结果的拼接与未拆分情况下保持一致，不会产生精度损失。

【技术实现步骤摘要】
面向深度神经网络的边缘计算方法
本专利技术属于边缘计算及深度学习领域，具体涉及一种面向深度神经网络的边缘计算方法。
技术介绍
近年来，深度神经网络在图像处理、模式识别等方面的研究取得了突破性进展，其被应用于越来越多的物联网场景中。例如在无人机监视场景中，机载摄像头实时从周围环境中图像信息，同时运用图像识别或图像分类等技术对收集到的信息进行快速分析。而分析数据是一项非常耗费资源的时延敏感型、计算密集型任务，此类计算密集型任务通常具有时延要求和算力需求高的特点。执行此类任务的端设备通常是计算能力较弱的小型终端设备，诸如无人机、手机、小型嵌入式设备等，无法在规定的时延要求内完成任务。因此，在资源受限的端设备上部署时延敏感的计算密集型应用（如图像检测等）变得具有挑战性。针对这一问题，传统方案采用云计算模型。在云计算模型中，整个神经网络被放置于计算资源近乎无限的云上，采集数据并最终接收结果的端设备将源数据直接发送到云中进行处理。但由于带宽等限制，这种方案会造成极高的通信延迟，从而导致应用处理时延无法满足用户的要求，还会带来额外的带宽成本。且由于数本文档来自技高网...

【技术保护点】
1.一种面向深度神经网络的边缘计算方法，其特征在于，包括以下步骤：/n步骤1：获取可用边缘设备中卷积层、激活层、池化层的计算时间-浮点运算数的线性回归方程；/n步骤2：端设备将待计算的深度神经网络模型各层参数信息发送至各边缘设备，各边缘设备根据接收到的参数信息重建神经网络模型，并将自身不同层的计算时间-浮点运算数的线性回归方程中的算力、固有开销参数回传至端设备；/n步骤3：获取边-端网络环境，得到边缘设备与端设备之间的数据传输速率；/n步骤4：根据数据传输速率计算预测数据传输时长，结合预测数据传输时长与预测计算时长，分割输入特征图，获得初始数据分配方案；/n步骤5：对分割点附近的数据进行填充，...

【技术特征摘要】
1.一种面向深度神经网络的边缘计算方法，其特征在于，包括以下步骤：
步骤1：获取可用边缘设备中卷积层、激活层、池化层的计算时间-浮点运算数的线性回归方程；
步骤2：端设备将待计算的深度神经网络模型各层参数信息发送至各边缘设备，各边缘设备根据接收到的参数信息重建神经网络模型，并将自身不同层的计算时间-浮点运算数的线性回归方程中的算力、固有开销参数回传至端设备；
步骤3：获取边-端网络环境，得到边缘设备与端设备之间的数据传输速率；
步骤4：根据数据传输速率计算预测数据传输时长，结合预测数据传输时长与预测计算时长，分割输入特征图，获得初始数据分配方案；
步骤5：对分割点附近的数据进行填充，实现对分配至相邻边缘设备的数据交换，得到最终数据分配方案；
步骤6：将初始分配数据最多的边缘设备作为最强算力边缘设备，端设备将待计算的深度神经网络模型中除卷积层及相邻激活层、以及第一个卷积层至最后一个卷积层之间的池化层之外的剩余层卸载至最强算力边缘设备上，将其余各边缘设备的输出结果发送至最强算力边缘设备中进行数据拼接，将拼接结果在最强算力边缘设备加载的剩余层中继续计算，将最终计算结果发送至端设备。


2.根据权利要求1所述的一种面向深度神经网络的边缘计算方法，其特征在于，所述的步骤1具体为：
1.1）在不同的边缘设备中，针对卷积层、激活层、池化层中某一层类型，设置不同的参数，根据输入的不同大小的特征图记录其平均执行时间作为计算时间；
1.2）针对不同参数设置下的各卷积层、激活层、池化层，分别计算浮点运算数，其中卷积层的浮点运算数Fc计算公式为：
Fc=2HW(CinK2+1)Cout
激活层的浮点运算数Fr计算公式为：
Fr=HWCin
池化层的浮点运算数Fp计算公式为：
Fp=K2HoutWoutCout
其中，H、W分别为特征图的高度和宽度，Cin为输入通道数，Cout为输出通道数，K为卷积层中的卷积核或池化层中的过滤器的大小，Hout为输出特征图的高度，Wout为输出特征图的宽度；
1.3）对计算时间和浮点运算数进行线性拟合：
y=kx+b
其中，y用于表示预测的计算时间，x为各层在对应参数设置下的浮点运算数；k为斜率，用于表示算力参数；b为截距，用于表示固有开销参数。


3.根据权利要求1所述的一种面向深度神经网络的边缘计算方法，其特征在于，为获取边-端网络环境，由端设备向边缘设备发送特征图数据，边缘设备在接收到数据后即刻向端设备发送响应，通过记录数据传输时间，从而获得边-端网络数据传输速率Vi，表示第i个边缘设备与端设备之间的数据传输速率。


4.根据权利要求3所述的一种面向深度神经网络的边缘计算方法，其特征在于，所述的初始数据分配方案为：
4.1）端设备将待计算的深度神经网络模型中的卷积层及相邻激活层计算同时卸载；
4.2）根据各边缘设备卷积层算力kci、相邻激活层算力kri，i=1,2,……,n，n为可用的边缘设备数量，求得完整输入特征图在该边缘设备中的预测计算时长，从而获得输入特征图较长边的单位长度数据对应的单位计算时长Tsi，计算公式为：
Tsi=(Fc*kci+Fr*kri)/L
其中，Fc为卷积层的浮点运算数，Fr为激活层的浮点运算数，L为输入特征图较长边的数据长度；
4.3）计算卷积层、激活层共同计算时长Tpci：
Tpci=Tai+Thi
Tai=Tsi*li
Thi=bc+br
其中，Tpci为第i个边缘设备的卷积层及相邻激活层共同计算时长，Tai为第i个边缘设备的分配数据的计算时长，Thi为第i个边缘设备的固有开销，li为分配至第i个边缘设备的输入特征图较长边的长度；bc、br分别为卷积层和相邻激活层的固有开销；
4.4）计算各边缘设备的数据传输时长Tpti：
Tpti=(Vi*D*li)/L
其中，D为输入特征图对应的数据大小；
4.5）计算各边缘设备的总预测时长Tpi=Tpt...

【专利技术属性】
技术研发人员：罗喜伶，潘洋洋，王雪檬，董赋然，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：浙江;33