基于边缘计算的神经网络模型动态切分方法及装置制造方法及图纸

本发明专利技术提供一种基于边缘计算的神经网络模型动态切分方法及装置，包括：接收接口终端发送的AI业务请求；根据所述AI业务请求，确定可执行计算卸载任务的执行终端；根据所述执行终端的性能参数，确定所述计算卸载任务的计算参数；向所述执行终端发送所述计算参数；接收所述执行终端发送的计算卸载任务结果，所述计算卸载任务结果是所述执行终端根据所述计算参数执行所述计算卸载任务后得到的。本发明专利技术能够实现神经网络模型的动态切分，优化资源利用，提高服务质量。

Dynamic segmentation method and device of neural network model based on edge calculation

【技术实现步骤摘要】
基于边缘计算的神经网络模型动态切分方法及装置
本专利技术涉及边缘计算
，尤其涉及一种基于边缘计算的神经网络模型动态切分方法及装置。
技术介绍
随着AI(ArtificialIntelligence，人工智能)技术的快速发展及广泛应用，用户对AI业务的时延、精度等要求越来越高。为实现AI业务，一般是于云端或是中心服务器部署神经网络模型，服务器接收AI业务请求，利用神经网络模型实现AI识别，然后响应AI业务请求。一方面，为提高神经网络模型的预测精度，神经网络模型的结构呈复杂化趋势，服务器需具备很高的计算能力；另一方面，随着AI业务的增加，大量AI业务请求数据发送至服务器，对服务器造成很大的数据压力，严重时，会造成流量堵塞，时延过大，QoS(QualityofService，服务质量)严重下降。目前，可采用对神经网络模型进行切分的方法实现计算卸载，以降低服务器的计算及流量压力，即，可利用特定终端(如边缘服务器)完成神经网络模型的部分计算，将部分计算得到的中间结果发送至云服务器，由云服务器进行剩余部分的计算处理。然而，目前的神经网络模型切本文档来自技高网...

【技术保护点】
1.一种基于边缘计算的神经网络模型动态切分方法，其特征在于，包括：/n接收接口终端发送的AI业务请求；/n根据所述AI业务请求，确定可执行计算卸载任务的执行终端；/n根据所述执行终端的性能参数，确定所述计算卸载任务的计算参数；/n向所述执行终端发送所述计算参数；/n接收所述执行终端发送的计算卸载任务结果，所述计算卸载任务结果是所述执行终端根据所述计算参数执行所述计算卸载任务后得到的。/n

【技术特征摘要】
1.一种基于边缘计算的神经网络模型动态切分方法，其特征在于，包括：
接收接口终端发送的AI业务请求；
根据所述AI业务请求，确定可执行计算卸载任务的执行终端；
根据所述执行终端的性能参数，确定所述计算卸载任务的计算参数；
向所述执行终端发送所述计算参数；
接收所述执行终端发送的计算卸载任务结果，所述计算卸载任务结果是所述执行终端根据所述计算参数执行所述计算卸载任务后得到的。


2.根据权利要求1所述的方法，其特征在于，还包括：
向服务器发送所述计算卸载任务结果；
接收服务器发送的AI业务结果，所述AI业务结果是所述服务器基于所述计算卸载任务结果计算得到的；
向所述接口终端发送所述AI业务结果。


3.根据权利要求1所述的方法，其特征在于，所述计算参数包括神经网络模型的切分层数和计算所述切分层数所需计算资源。


4.根据权利要求1所述的方法，其特征在于，还包括：接收各终端发送的性能参数；
所述根据AI业务请求，确定可执行计算卸载任务的执行终端，包括：
根据所述AI业务请求和各终端的性能参数，确定可执行计算卸载任务的执行终端。


5.根据权利要求4所述的方法，其特征在于，所述AI业务请求包括AI数据、QoS参数，所述性能参数包括计算资源和存储资源；
所述执行终端能够在满足所述QoS参数要求下完成所述AI数据处理的计算卸载任务。


6.根据权利要求4所述的方法，其特征在于，根据所述AI业务请求和各终端的性...

【专利技术属性】
技术研发人员：李亚杰，张杰，刘明哲，赵瑛琪，赵永利，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11