一种神经网络算法跨平台迁移部署优化方法技术

本申请属于人工智能神经网络技术领域，为一种神经网络算法跨平台迁移部署优化方法，先确定需要转换的神经网络模型，而后在硬件设备上将该神经网络模型转换至通用网络描述语言包，并进行整理得到通用网络模型，通过配置服务参数生成离线部署包，将离线部署包拷贝至对应的模型运行节点；在确定满足设计要求后再对模型进行优化，即可调用计算资源对该模型进行运算。实现算法模型跨平台转化移植；通过容器管理和部署包部署的方式实现多芯片、多操作系统、多种深度学习框架、网络结构的模型快速高效部署能力，同时支持网络模型的裁剪优化、离线部署和端云协同部署等功能，具有零门槛、高性能、广适配、易集成的优点。

【技术实现步骤摘要】

本申请属于人工智能神经网络，特别涉及一种神经网络算法跨平台迁移部署优化方法。

技术介绍

1、现阶段的智能计算系统通常是集成cpu和ai芯片的异构系统，软件上通常包括一套面向开发者的智能计算编程环境(包括编程框架和编程语言)。由于ai推理加速硬件并非通用的计算设备，无法直接运行各框架训练出的神经网络。针对异构ai加速芯片，会有个性化的转换需求，面向异构硬件的模型转换任务，对于一般的开发者来说门槛较高。

2、因此如何实现不同异构硬件下的模型转换是一个需要解决的问题。

技术实现思路

1、本申请的目的是提供了一种神经网络算法跨平台迁移部署优化方法，以解决现有技术中的异构ai加速芯片难以实现不同异构硬件下的模型转换的问题。

2、本申请的技术方案是：一种神经网络算法跨平台迁移部署优化方法，包括：

3、选择需要转换的神经网络模型，对模型结构和运行逻辑进行分析，确定该神经网络模型所适配的硬件设备；

4、在硬件设备上将该神经网络模型转换至通用网络描述语言包，并进行整理得到通用网络本文档来自技高网...

【技术保护点】

1.一种神经网络算法跨平台迁移部署优化方法，其特征在于，包括：

2.如权利要求1所述的神经网络算法跨平台迁移部署优化方法，其特征在于：对神经网络模型进行转换时，选用Convert Workflow算法，选择标准算子OP和标准数据模型，将神经网络模型内的每一神经网络节点均定义为由若干OP节点组成的有向无环图，确定每一神经网络节点的输出与输出，并通过标准数据模型对每一输入与输出用IR Code进行描述，得到通用网络描述语言包。

3.如权利要求1所述的神经网络算法跨平台迁移部署优化方法，其特征在于：对通用网络描述语言包包括模型优化器分析、量化和剪枝。

4.如...

【技术特征摘要】

1.一种神经网络算法跨平台迁移部署优化方法，其特征在于，包括：

2.如权利要求1所述的神经网络算法跨平台迁移部署优化方法，其特征在于：对神经网络模型进行转换时，选用convert workflow算法，选择标准算子op和标准数据模型，将神经网络模型内的每一神经网络节点均定义为由若干op节点组成的有向无环图，确定每一神经网络节点的输出与输出，并通过标准数据模型对每一输入与输出用ir code进行描述，得到通用网络描述语言包。

3.如权利要求1所述的神经网络算法跨平台迁移部署优化方法，其特征在于：对通用网络描述语言包包括模型优化器分析、量化和剪枝。

4.如权利要求1所述的神经网络算法跨平台迁移部署优化方法，其特征在于：所述离线部署包的部署方法包括：选择所需的通用网络模型，搜寻离线部署包资源池内剩余空间节点，而后根据剩余空间节点将配置模型参数和部署包参数，将通用网络模型部署至离线部署包资源池内的指定位置。

5.如权利要求1所述的神经网络算法跨平台迁移部署优化方法，其特...

【专利技术属性】
技术研发人员：罗庆，唐彦兵，董哲宁，李鹏蛟，
申请(专利权)人：中国航空工业集团公司沈阳飞机设计研究所，
类型：发明
国别省市：