【技术实现步骤摘要】
本专利技术属于工业物联网领域，具体涉及一种面向工业物联网的深度神经网络协同推理方法。
技术介绍
1、随着近年来物联网的快速发展，物联网设备的数量急剧增长，各类新颖的应用也随之激增，例如增强现实和图像处理等。深度神经网络(dnn)推理是一种计算密集型的任务，在工业物联网场景中，对于dnn推理在延迟方面具有更高的要求，然而计算资源有限的物联网设备难以满足dnn任务的高效推理。虽然云计算可以在一定程度上缓解该问题，但在延迟和能耗方面仍然存在局限性。边缘计算是突破这一瓶颈的有效方法，它将dnn推理任务卸载到边缘服务器以高效执行。如果在边缘计算中采用适当的卸载方法，可以降低网络延迟和传输成本。因此，如何有效地在工业物联网中的实现深度神经网络推理任务的卸载成为当前研究的重点。
2、现有技术中，已经有一些dnn推理任务的卸载方法；例如，可以通过选择最佳分区点的方式将推理任务卸载至云端推理；也可以采用提前退出机制，以满足用户的低时延计算需求；然而，现有的技术中仍然存在如下问题：
3、1）现有的dnn推理方法往往忽略了设备繁忙时每个时隙中任务的等待时延，与实际推理时延偏差较大；
4、2）在工业物联网场景中，有限的电池容量限制了任务处理效率，现有方法没有考虑到能耗问题；
5、3）现有方法仅关注一个服务器对应一个或多个设备的情况，忽略了实际中多个服务器对应多个设备的复杂状况，同时每个服务器需要做出决策，增添负载的同时提高了时延和能耗。
技术实现思路
1、为
2、本专利技术所述的一种面向工业物联网的深度神经网络协同推理方法，包括以下步骤：
3、步骤1、采集用户设备层及边缘集群层的数据，并将采集的数据传输至边缘集群层的边缘节点中心，对采集到的数据进行预处理；
4、步骤2、用户设备层产生推理任务后发送推理请求至边缘中心节点，由边缘中心节点决策是否需要卸载推理任务至边缘服务器；当决策为否时，转至步骤3；当决策为是时，转至步骤4，并确认需要卸载至指定边缘服务器的层数；
5、步骤3、当边缘中心节点决策为本地卸载时，用户设备层对全部推理任务进行计算，并将结果返回至用户，转至步骤5；
6、步骤4、当边缘中心节点决策为全部卸载或部分卸载时，未计算的推理任务进入边缘中心节点的某一个队列，等待当前队列相应的边缘服务器空闲后，将推理任务传输至该边缘服务器计算，并将处理结果返回至用户；
7、步骤5、边缘设备对推理任务处理的性能指标进行评估，根据性能指标评估结果，对分层卸载策略进行优化。
8、进一步的，用户设备层包括若干用户设备，负责持续收集来自生产线的工业数据，用户设备的集合为，每个用户设备的计算能力为，以每秒浮点运算数flops表示；将一个时隙的长度定为秒，在时隙的开始，用户设备随机生成dnn推理任务；用一个元组来表示每个dnn推理任务，表示生成任务的设备，表示任务的数据量大小，表示任务到达的时隙。
9、进一步的，所述边缘集群层包含若干个边缘服务器，定义地理位置最靠近用户设备的边缘服务器为边缘中心节点，其余边缘服务器集合为，每个边缘服务器的计算能力为；边缘中心节点负责收集来自用户设备层卸载的dnn推理任务，并将其合理的卸载至边缘服务器。
10、进一步的，所述任务队列共有三种状态，分别为空闲、已占用未上传和已上传状态；
11、队列在时隙时的状态如下：
12、，
13、与之对应的边缘服务器存在两种状态，即空闲状态和忙碌状态；边缘服务器在时隙时的状态如下：
14、。
15、进一步的，步骤2中，任务的卸载决策结果即任务卸载率如下：
16、，
17、其中，表示任务对应推理模型的前层，表示任务总的推理层数；
18、本地卸载：任务都在用户设备本地推理；
19、全局卸载：任务都卸载到边缘服务器上进行推理；
20、部分卸载：任务在用户设备上推理层，其余部分卸载到边缘服务器上进行推理。
21、进一步的，服务器上进行推理的性能指标包括时延与能耗，具体如下：
22、1）任务在用户设备上进行计算时，其时延和能耗如下：
23、，
24、，
25、其中，表示任务在推理第层时的数据量大小，为用户设备在单个时隙内的计算能力，为用户设备计算所需消耗的功率单位；
26、2）用户设备传输至边缘中心节点的最大上行传输速率由香农公式得到：
27、，
28、其中，表示用户设备在时隙的发射功率，表示用户设备到边缘中心节点的无线信道增益，表示无限信道带宽，表示高斯噪声功率谱密度；
29、当推理任务被卸载到边缘中心节点时，其传输时延和传输能耗如下：
30、，
31、，
32、其中表示任务推理完第层计算结果之后的数据量大小；
33、当用户设备产生任务的同时，将发送一个请求信号至边缘中心节点，随后边缘中心节点将遍历到的每个边缘服务器在当前时隙时刻的状态，以及边缘服务器当前任务计算所需时延，即等待时延如下：
34、，
35、其中表示边缘服务器剩余未处理数据量大小，表示边缘服务器在单个时隙内的计算能力；
36、从而得知用户设备处理任务在当前时隙所需的排队时延如下：
37、，
38、其中，表示任务排队所在的队列序号，并且与最小等待时延所对应的边缘服务器的序号一致；
39、3）排队结束后，任务将通过边缘中心节点将处理完第层的计算结果传至与队列相对应的边缘服务器中，进行剩余层推理；当任务在边缘服务器上进行计算时，其时延和能耗如下：
40、，
41、，
42、其中，表示边缘服务器计算所需消耗的功率单位；
43、为进一步减少时延，在实际推理过程中，在任务在队列中排队的同时，任务依旧可以在用户设备层上进行dnn推理或将任务从用户设备传输至边缘中心节点；因此这三部分的时延之和如下：
44、，
45、则任务的总推理时延和总能耗表示为：
46、，
47、，
48、根据上述表达式，效用函数表示为：
49、，
50、其中为系统开销，为时延权重，为能耗权重。
51、进一步的，对能耗及时延任务进行联合优化，优化问题表示为：
52、，
53、，
54、c1保证了系统延时权重与能耗权重的线性和为1，是当前任务的最大可容忍延迟；c2保证总时延必须不大于任务的最大容忍时延；c3保证用户设备的总能耗必须不本文档来自技高网...
【技术保护点】
1.一种面向工业物联网的深度神经网络协同推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种面向工业物联网的深度神经网络协同推理方法，其特征在于，用户设备层包括若干用户设备，负责持续收集来自生产线的工业数据，用户设备的集合为，每个用户设备的计算能力为，以每秒浮点运算数FLOPs表示；将一个时隙的长度定为秒，在时隙的开始，用户设备随机生成DNN推理任务；用一个元组来表示每个DNN推理任务，表示生成任务的设备，表示任务的数据量大小，表示任务到达的时隙。
3.根据权利要求2所述的一种面向工业物联网的深度神经网络协同推理方法，其特征在于，所述边缘集群层包含若干个边缘服务器，定义地理位置最靠近用户设备的边缘服务器为边缘中心节点，其余边缘服务器集合为，每个边缘服务器的计算能力为；边缘中心节点负责收集来自用户设备层卸载的DNN推理任务，并将其合理的卸载至边缘服务器。
4.根据权利要求3所述的一种面向工业物联网的深度神经网络协同推理方法，其特征在于，边缘中心节点配备了个任务队列管理来自用户设备层的DNN推理任务，所述任务队列共有三种状态，分别为空
5.根据权利要求1所述的一种面向工业物联网的深度神经网络协同推理方法，其特征在于，步骤2中，任务的卸载决策结果即任务卸载率如下：
6.根据权利要求5所述的一种面向工业物联网的深度神经网络协同推理方法，其特征在于，服务器上进行推理的性能指标包括时延与能耗，具体如下：
7.根据权利要求6所述的一种面向工业物联网的深度神经网络协同推理方法，其特征在于，对能耗及时延任务进行联合优化，优化问题表示为：
8.根据权利要求7所述的一种面向工业物联网的深度神经网络协同推理方法，其特征在于，对所述优化问题采用改进的DRLLU算法求解，具体为：
...【技术特征摘要】
1.一种面向工业物联网的深度神经网络协同推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种面向工业物联网的深度神经网络协同推理方法，其特征在于，用户设备层包括若干用户设备，负责持续收集来自生产线的工业数据，用户设备的集合为，每个用户设备的计算能力为，以每秒浮点运算数flops表示；将一个时隙的长度定为秒，在时隙的开始，用户设备随机生成dnn推理任务；用一个元组来表示每个dnn推理任务，表示生成任务的设备，表示任务的数据量大小，表示任务到达的时隙。
3.根据权利要求2所述的一种面向工业物联网的深度神经网络协同推理方法，其特征在于，所述边缘集群层包含若干个边缘服务器，定义地理位置最靠近用户设备的边缘服务器为边缘中心节点，其余边缘服务器集合为，每个边缘服务器的计算能力为；边缘中心节点负责收集来自用户设备层卸载的dnn推理任务，并将其合理的卸载至边缘服务器。<...
【专利技术属性】
技术研发人员：郭永安，奚城科，王宇翱，周金粮，钱琪杰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。