基于边缘计算节点打分表的深度学习模型分层卸载方法技术

本发明专利技术公开了一种基于边缘计算节点打分表的深度学习模型分层卸载方法，属于边端协同计算技术领域。本发明专利技术离线获取边缘集群中各边缘计算节点算力参数，可提取每个计算节点的算力综合分数并做归一化处理得到总分，根据各个计算节点的总分形成打分表；同时离线统计深度学习模型各层计算量大小，通过统计参与推理的深度学习模型每一层计算量的大小情况并对其分区，根据不同边缘计算节点对不同计算量大小的计算能力差异，然后依据此分类对边缘计算节点打分表划分区间，从而合理的分配给计算能力充足的边缘计算节点，最终提高边缘集群中节点的资源利用率、降低计算时延。本发明专利技术可以降低整体时延的同时保证数据安全性和提高边缘节点资源的利用率。点资源的利用率。点资源的利用率。

【技术实现步骤摘要】
基于边缘计算节点打分表的深度学习模型分层卸载方法


[0001]本专利技术属于边端协同计算
，具体涉及一种基于边缘计算节点打分表的深度学习模型分层卸载方法。

技术介绍

[0002]随着移动通信技术的发展和智能终端的普及,各种网络服务和应用不断涌现,用户对网络服务质量、请求时延等网络性能的要求越来越高。存在越来越多在短时间内处理计算密集型或时延敏感型计算任务的需求。
[0003]对于深度学习分层模型的推理过程，需要消耗大量的计算资源。传统的解决方案是将计算任务卸载到计算能力强大的云端，由云服务器处理完复杂的计算任务后将结果返回终端。但是该方法一方面会因为从终端到云之间网络带宽的不稳定性导致传输时延过大，另一方面由于从终端设备传输至云服务器需要经过多次的转发，导致数据安全性难以保证，此外大量拥有计算能力的边缘节点并不参与计算，节点的资源利用率难以提高。
[0004]于是另一种解决方案应运而生，终端计算任务不上云，而是直接将计算任务卸载到附近较为空闲的边缘节点，由边缘节点处理当前计算任务，最后将结果返回给终端设备。这样一来既克服了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘计算节点打分表的深度学习模型分层卸载方法，其特征在于，包括步骤如下：S1.通过边缘集群中距离终端设备最近的边缘计算节点进行前期准备：S1
‑
1打分：在离线状态下，将深度计算模型通过每一边缘计算节点，获得各边缘计算节点的分值，再对分值进行归一化处理后得到归一化分数，形成边缘计算节点打分表，其中分值的计算公式如下：上式中，表示边缘计算节点CPU的算力， 表示边缘计算节点GPU的算力，算力单位是TOPS； 表示处理深度学习模型过程中CPU算力占用的百分比，表示处理深度学习模型过程中GPU算力占用的百分比；表示边缘计算节点对应的分值，其中最大的分值用表示；下标表示对应于边缘计算节点；S1
‑
2.统计：计算每层深度学习模型的时延，再分别进行归一化处理得到深度学习模型的各层计算量大小；S1
‑
3.分区：将边缘计算节点打分表和深度学习模型的各层计算量大小分布在0
‑
1的十等份分区中获得分区情况；S1
‑
4.数据下发：将分区情况下发至边缘集群中的其他各边缘计算节点处；S2.终端设备接收深度学习模型的计算任务，并将计算任务装载至边缘计算节点；S3.经当前的边缘计算节点确定深度学习模型下一层计算量所在分区，再结合分区情况和所有边缘计算节点的实时剩余进程选择下一层最优的边缘计算节点；S4.下一层最优的边缘计算节点接收到上一边缘计算节点的计算任务并处理，同时将实时剩余进程+1并更新至所有边缘计算节点，处理完毕后将实时剩余进程
‑
1并更新至所有边缘计算节点；S5.判断深度学习模型的最后一层是否处理完毕，如处理完毕则将处理结果发送至终端设备；否则返回步骤S3。2.根据权利要求1所述的基于边缘计算节点打分表的深度学习模型分层卸载方法，其特征在于，所述边缘计算节点包括决策中心、决策收发中心和深度学习模型；所述决策中心包括：打分模块，用于获取CPU和GPU的算力并对其打分，以及向边缘计算节点的打分模块发送分值；数据中心模块，用于接收来自边缘计算节点的打分模块的分区情况及所有边缘计算节点的实时剩余进程、以及存储分区情况及所有边缘计算节点的实时剩余进程；决策模块，用于根据来自数据中心模块的分区情况和所有边缘计算节点的实时剩余进程，以及决策深度学习模型下一层计算量所在分区及下一层最优的边缘计算节点；所述决策收发中心用于完成接收和发送任务；所述深度学习模型为已训练完备并赋予智能应用程序的算法模型。3.根据权利要求2所述的基于边缘计算节点打分表的深度学习模型分层卸载方法，其
...

【专利技术属性】
技术研发人员：郭永安，奚城科，周金粮，王宇翱，钱琪杰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：