【技术实现步骤摘要】
本专利技术属于边缘计算领域，涉及一种面向边缘智能的dnn边端协同推理方法。
技术介绍
1、如今深度神经网络(dnn)的进步发展显着提高了计算机视觉和视频分析的准确性和速度，为新一代智能应用铺平了道路。云计算的成熟，配备了强大的硬件，如tpu和gpu，已成为计算密集型dnn任务的典型选择。例如，在自动驾驶汽车应用中，摄像头持续监控周围场景并将其传输到服务器，服务器随后进行视频分析并将控制信号反馈到踏板和方向盘。在增强现实应用中，智能眼镜持续记录其当前视图并将信息流传输到云服务器。相比之下，云服务器执行对象识别并发送回上下文增强标签以无缝显示，覆盖实际场景。
2、视频流的巨大数据量是开发智能应用的障碍。例如，谷歌的自动驾驶汽车每秒可以生成高达750兆字节的传感器数据。然而，最快的现有解决方案4g的平均上行速率仅为5.85mbps。此外，当用户快速移动或网络负载很重时，数据速率会大幅降低。为了避免网络的影响，并将计算放在数据源附近，边缘计算出现了。作为一种无网络的方法，它提供了随时随地可用的计算资源。例如，awsdeeplens相机可以运行深度卷积神经网络(cnn)来分析视觉图像。然而，边缘计算受到其计算能力和能源限制的限制，无法完全取代云计算。
3、对于dnn，一些中间结果(中间层的输出)的数量明显小于原始输入数据的数量。例如，yolov2的输入数据大小为0.95mb，而中间层max5的输出数据大小为0.08mb，减少了93％。这使我们能够利用云计算的强大计算能力和边缘计算的接近性。更具体地说，我们可以在边缘
4、但是将中间结果发到云端会带来通信延迟大，且网络条件的不稳定性，就导致推理结果的不稳定。由于边缘服务器较强的计算能力以及位于网络边缘的优势，设备到边缘服务器的产生的通信延迟更低，更容易满足应用任务的实时性需求和响应速度。
5、通常有三种类型的端边dnn协同推理方式：仅基于设备端推理、仅基于边缘端推理和基于端边推理。在仅基于设备端推理中，模型仅被部署在终端设备上，由于终端设备的计算能力较弱，导致模型推理响应时间较长，甚至可能会影响模型推理精度。在仅基于边缘端推理中，模型仅被部署在边缘服务器上，将数据从终端设备传输到边缘设备上会导致通信延迟过长，并且由于边缘服务器的安全性较低，可能存在数据泄露问题。因此，提出基于端边推理的方式。在这种推理方式中，网络模型结构在某一分割点处被分割成两个部分：头模型和尾模型，并分别部署在终端设备和边缘服务器上。通过将头部模型输出的中间特征结果上传到边缘服务器上的尾模型执行剩余推理任务，在不影响模型推理精度的情况下，保护了用户数据的安全。
6、然而如何分割dnn层的选择在很大程度上取决于网络条件。例如，在lte网络中，吞吐量在高峰时段可以减少10.33倍，而对于wifi热点，该值可以达到18.65。在计算延迟占主导地位的高吞吐量网络条件下，更希望尽可能早地卸载dnn。但是，如果网络状况严重恶化，我们应该谨慎地确定dnn切割，以减少数据传输量。例如，当网络容量高达18mbps时，最佳切割在输入层，总体处理延迟为0.59秒。然而，当网络容量降低到4mbps时，由于通信延迟大幅增加，输入层切割不再有效。在这种情况下，以第5层切割是最佳的，延迟减少了62％。以上都是针对于链式dnn模分割。随最新进展表明dnn不再局限于链式拓扑，并且含有dag拓扑结构的dnn越来越流行。例如，googlenet和resnet都是含有dag拓扑结构。显然，划分含有dag拓扑结构的dnn需要更复杂的划分方法。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种面向边缘智能的dnn边端协同推理方法。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种面向边缘智能的dnn边端协同推理方法，包括：
4、离线配置阶段：边缘服务器端根据设备计算量、内存大小、网络条件和自身计算量，对dnn模型进行选取分割部署，并将分割的前部分部署到设备上；
5、动态划分阶段：设备根据自身动态的计算量，动态的选择退出点，并把中间结果传输边缘服务器处，边缘服务器找到卸载点处，将中间结果作为输入，进行剩余模型推理工作，最后返回推理结果给设备进行响应；
6、最后每隔一段时间边缘服务器进行模型更新，将新模型分割并进行模型部署。
7、进一步，所述离线配置阶段用于生成需要的静态配置，具体包括以下步骤：
8、设备、边缘服务器之间首先确认连接；
9、边缘服务器与设备分别启动资源监控组件，获取并同步计算资源和网络带宽情况；
10、边缘服务器对任务要部署的dnn模型进行逐层推理延迟测量，并初始化分层延迟预测模型，根据测量数据训练不同类型dnn层的回归模型；
11、选举负责执行模型分割的设备并同步分析数据即dnn每层推理计算延迟，并根据要部署的dnn模型和同步的相关输入参数，完成模型划分，选定分区点集合，卸载启动各个设备相对应的部分模型。
12、进一步，所述动态划分阶段中，设备和边缘服务器由资源监控模块持续监控当前网络带宽，计算资源状态并同步；根据计算延迟预测模型预测当前的各层计算延迟状态，并根据设定的推理延迟波动阈值，判断是否要对dnn分区重新找划分点。
13、进一步，所述推理延迟波动阈值具体通过以下步骤获取：
14、对于已经部署过的dnn模型，从经验数据中获得延迟波动的阈值；
15、对于全新的dnn模型，首先设置一个小阈值，然后根据规划结果进行反馈，逐步精确其阈值。
16、进一步，当需要对dnn分区重新找划分点时，首先通过dnn分层计算延迟预测算法预测延迟状态和网络带宽，再通过动态自适应dnn模型分层划分算法找到要划分点，在划分点处标记停止执行，当模型执行到此处就停止并输出结果，作为中间结果传输到边缘服务器执行。
17、进一步，所述dnn分层计算延迟预测算法包括：通过线性回归分析，针对不同类型的层，训练不同的多元回归预测，多元线性回归模型为：
18、yi＝β0+β1xi1+β2xi2+β3xi3+…+βpxip+εi
19、其中，yi代表因变量(被预测变量)，xi1、xi2、…xip代表自变量(预测变量)，β0、β1、β2、…βp代表模型的参数，εi代表误差项。
20、使用最小二乘法对回归模型进行拟合，通过模拟不同的计算资源状态，得到训练需要的数据样本，从而通过测量得到的计算延迟值和动态资源监控得到的资源值对当前设备下相关类型层的多元回归预测模型进行训练和迭代更新。
21、进一步，所述动态自适应dnn模型分层划分算法的优化问题为：
22、对于一个dnn模型m，构造其dag形式g＝<v，e>，其中本文档来自技高网...
【技术保护点】
1.一种面向边缘智能的DNN边端协同推理方法，其特征在于：包括：
2.根据权利要求1所述的面向边缘智能的DNN边端协同推理方法，其特征在于：所述离线配置阶段用于生成需要的静态配置，具体包括以下步骤：
3.根据权利要求1所述的面向边缘智能的DNN边端协同推理方法，其特征在于：所述动态划分阶段中，设备和边缘服务器由资源监控模块持续监控当前网络带宽，计算资源状态并同步；根据计算延迟预测模型预测当前的各层计算延迟状态，并根据设定的推理延迟波动阈值，判断是否要对DNN分区重新找划分点。
4.根据权利要求3所述的面向边缘智能的DNN边端协同推理方法，其特征在于：所述推理延迟波动阈值具体通过以下步骤获取：
5.根据权利要求4所述的面向边缘智能的DNN边端协同推理方法，其特征在于：当需要对DNN分区重新找划分点时，首先通过DNN分层计算延迟预测算法预测延迟状态和网络带宽，再通过动态自适应DNN模型分层划分算法找到要划分点，在划分点处标记停止执行，当模型执行到此处就停止并输出结果，作为中间结果传输到边缘服务器执行。
6.根据权利要求5所述
7.根据权利要求6所述的面向边缘智能的DNN边端协同推理方法，其特征在于：所述动态自适应DNN模型分层划分算法的优化问题为：
8.根据权利要求7所述的面向边缘智能的DNN边端协同推理方法，其特征在于：解决所述动态自适应DNN模型分层划分算法的优化问题的方法包括：
...【技术特征摘要】
1.一种面向边缘智能的dnn边端协同推理方法，其特征在于：包括：
2.根据权利要求1所述的面向边缘智能的dnn边端协同推理方法，其特征在于：所述离线配置阶段用于生成需要的静态配置，具体包括以下步骤：
3.根据权利要求1所述的面向边缘智能的dnn边端协同推理方法，其特征在于：所述动态划分阶段中，设备和边缘服务器由资源监控模块持续监控当前网络带宽，计算资源状态并同步；根据计算延迟预测模型预测当前的各层计算延迟状态，并根据设定的推理延迟波动阈值，判断是否要对dnn分区重新找划分点。
4.根据权利要求3所述的面向边缘智能的dnn边端协同推理方法，其特征在于：所述推理延迟波动阈值具体通过以下步骤获取：
5.根据权利要求4所述的面向边缘智能的dnn边端协同推理方法，其特征在于：当需...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。