基于自适应分区部署的多深度神经网络应用分布式推理方法技术

本发明专利技术公开了一种基于自适应分区部署的多深度神经网络应用分布式推理方法，所述方法包括如下步骤：步骤S1、分布式DNN应用推理建模；步骤S2、DNN推理运行数据收集；步骤S3、DNN自适应分区方案优化；步骤S4、DNN多实例部署方案优化；步骤S5、DNN分区部署自适应调整。本发明专利技术适用于支持多个不同的复杂DNN以及分布式异构的边缘计算环境，通过对DNN、计算环境以及端到端延迟进行建模，结合遗传算法与分层强化学习算法对DNN进行分区与部署，从而优化其推理延迟进行优化，最终生成DNN的分区方案以及部署方案，实现高效的DNN分布式推理。

【技术实现步骤摘要】

本专利技术属于计算机服务，涉及一种基于自适应分区部署的多深度神经网络应用分布式推理方法及管理平台，具体涉及一种基于分层强化学习的深度神经网络拆分与部署算法及云边端环境下分布式深度神经网络推理管理平台。

技术介绍

1、智能制造已成为工业领域的一个突出主题，网络物理系统(cyber-physicalsystems cps)、工业物联网(industrial internet ofthings iiot)、人工智能(artificial intelligenceai)、云计算等前沿技术，协调传统工业的自动化，从而发展成为智能制造，即通常所说的工业4.0范式。深度学习(deep learning，dl)解决方案在各种工业物联网(iiot)应用中得到了普及，包括预测性维护、产品质量检测、资产跟踪和协作机器人技术。这种流行将深度神经网络(deep neural networks，dnn)定位为从原始数据中进行模式提取和分析的主要选择，从而使其具有广泛的适用性和广阔的发展前景。

2、深度学习(dl)解决方案在预测性维护、产品质量检测、资产跟踪、协作机器人等各本文档来自技高网...

【技术保护点】

1.一种基于自适应分区部署的多深度神经网络应用分布式推理方法，其特征在于所述方法包括如下步骤：

2.根据权利要求1所述的基于自适应分区部署的多深度神经网络应用分布式推理方法，其特征在于所述步骤S1中，建模基本要素包括：

3.根据权利要求1所述的基于自适应分区部署的多深度神经网络应用分布式推理方法，其特征在于所述步骤S2中，关键信息包括：(1)对神经网络结构的深入分析；(2)对分区结构的详细描述；(3)对部署结构的了解；(4)对端到端延迟的测量。

4.一种边缘环境下分布式DNN应用推理管理平台，其特征在于所述亭台负责为权利要求1-3任一项所述方法提供数据...

【技术特征摘要】

1.一种基于自适应分区部署的多深度神经网络应用分布式推理方法，其特征在于所述方法包括如下步骤：

2.根据权利要求1所述的基于自适应分区部署的多深度神经网络应用分布式推理方法，其特征在于所述步骤s1中，建模基本要素包括：

3.根据权利要求1所述的基于自适应分区部署的多深度神经网络应用分布式推理方法，其特征在于所述步骤s2中，关键信息包括：(1)对神经网络结构的深入分析；(2)对分区结构的详细描述；(3)对部署结构的了解；(4)对端到端延迟的测量。

4.一种边缘环境下分布式dnn应用推理管理平台，其特征在于所述亭台负责为权利要求1-3任一项所述方法提供数据支持并支持对分布式dnn应用的拆分、部署以及监控功能，包括dnn模型管理模块、拆分方案管理模块、dnn应用管理模块以及推理请求管理模块；其中：

5.根据权利要求4所述的边缘环境下分布式dnn应用推理管理平台，其特征在于所述dnn模型管理模块包括模型搜索模块、模型详细信息模块、模型结构查看模块、模型上传模块以及模型下载模块，其中：模型搜索模块负责根据用户输入检索平台内保存的模型，模型详细信息模块负责向用户展示模型的参数数量、大小，模型结构查看模块负责向用户展示模型各层之间的拓扑结构，模型上传模块负责接收用户上传的新模型并保存，模型下载模块负责帮助用户下载平台内保存的模型。

<...

【专利技术属性】
技术研发人员：王忠杰，王腾，贺祥，陈鄞，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：