基于多级中间表示的自主可控芯片模型自动部署方法及系统技术方案

本发明专利技术属于计算机技术领域，涉及基于多级中间表示的自主可控芯片模型自动部署方法及系统。所述自动部署方法包括：通过模型解析模块，模型中间表示模块，模型部署模块将深度学习网络模型在不同芯片平台上进行自动高效部署。所述模型解析模块，用于对从训练平台得到的深度学习模型进行加载，并解析模型网络结构与操作参数。所述模型中间表示模块，用于定义一种模型的通用中间表示，将解析后的模型按照该格式进行保存，便于进行后续模型转换部署。所述模型部署模块，用于对以通用中间表示保存的模型在目标自主可控芯片上进行自动部署。相较于现有部署方法，可以显著减少在不同芯片上部署模型的工作量，提升部署效率。提升部署效率。提升部署效率。

【技术实现步骤摘要】
基于多级中间表示的自主可控芯片模型自动部署方法及系统


[0001]本专利技术属于计算机
，涉及一种基于多级中间表示的自主可控芯片模型自动部署方法。

技术介绍

[0002]近几年来，随着人工智能技术的发展，深度神经网络成为赋予车载、机载、星载、安防等设备智能处理能力的主要技术途径。特别是在无人集群侦察任务中，基于卷积神经网络的信息分析方法对无人集群完成目标检测，态势分析等任务具有重大意义。
[0003]根据无人集群侦察任务的特性，无人集群需要同时进行战场态势侦察，路线规划与智能协同等工作，智能计算的任务规划需要对信息安全、数据延迟、网络环境和通信带宽等因素进行综合考虑。
[0004]由于需要对无人集群的每个终端侦察到的信息同时进行独立的智能计算任务，且任务执行过程中，无人集群与地面的通信条件受限，凸显了原始信息在机载终端处理的必要性，在无人集群任务中，主要的智能计算算力由云端向边缘端或终端的迁移成为必然趋势。
[0005]在终端设备中，如ARM处理器等通用处理器并不适应深度神经网络大规模乘加运算的计算需求，计算效率较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多级中间表示的自主可控芯片模型自动部署系统，其特征在于，所述自动部署系统包括：模型解析模块：用于加载从模型训练平台训练完成的深度学习模型，并解析所述深度学习模型的模型网络结构、模型各层操作类型与操作参数；模型中间表示模块：用于定义一种通用的模型中间表示方法，通过所述模型中间表示方法将所述模型解析模块解析完成的深度学习模型格式化存储为通用的中间格式模型；模型部署模块：用于遍历以中间格式保存的所述中间格式模型，针对不同的芯片平台进行对应的算子转换、模型优化以及部署模型文件生成的操作，完成深度学习模型在不同自主可控芯片上的自动部署。2.根据权利要求1所述一种基于多级中间表示的自主可控芯片模型自动部署系统，其特征在于，所述模型解析模块包括模型加载子模块和模型分析子模块；所述模型加载子模块用于对Pytorch、Tensorflow、Caffe不同的训练平台的模型格式进行加载；根据不同平台的模型格式反序列化各个训练平台的深度学习模型，得到模型各节点操作特性、节点连接关系与权重参数；将不同格式的模型转化为静态图模型；重新序列化保存模型权重参数；所述模型分析子模块用于解析所述静态图模型；开发静态图遍历方法，根据静态图模型的结构与节点名称获取静态图模型各个节点的连接关系、算子类型与带参数网络节点和权重参数的对应关系；根据不同算子的计算特性与输入特征图的大小，开发算子尺寸计算库计算各个节点特征图的尺寸；开发算子解析库，根据不同算子操作的特性，从静态图格式数据中获得控制每个操作节点特性的完备参数集并预留参数保存接口，便于保存不同算子操作对应的特性参数集。3.根据权利要求1所述一种基于多级中间表示的自主可控芯片模型自动部署系统，其特征在于，所述模型中间表示模块包括模型中间件保存子模块和模型中间件加载访问子模块；所述模型中间件保存子模块为可嵌入模块；首先将模型中间表示模块中的操作级参数描述与模型解析模块中各算子操作对应的特性参数集进行对齐；然后将所述模型中间件保存子模块接入所述模型解析模块的算子解析库中；最后通过模型解析模块的静态图遍历方法，遍历静态图节点，根据算子类型映射调用对应的算子解析库，使用接入的模型中间件保存子模块自动生成通用模型中间件；所述模型中间件加载访问子模块用于完成模型中间件的完整加载，并对模型进行参数重赋值，操作替换与操作合并；所述模型中间件加载访问子模块根据模型多层级描述的规则，通过维护算子参数加载方法对应表、算子参数数据类型对应表，并设计代码生成规则，自动生成中间件模型加载代码，新增算子仅需更新模型中间描述的操作级参数描述，即可自动生成相应算子的加载方法；所述模型中间件加载访问子模块根据待访问的中间件模型网络节点序号、节点类型以及节点输入输出连接关系的网络级描述，定位需要进行更新或删除的算子节点，并能够对相应算子的特性参数进行自由访问与操作，能够根据需要重构中间表示模型，保存获得重构后的中间格式模型。
4.根据权利要求3所述一种基于多级中间表示的自主可控芯片模型自动部署系统，其特征在于，所述模型部署模块包括部署平台接口库、部署平台算子转换库以及部署平台硬件语言补充库；所述部署平台接口库用于不同芯片的开发工具接口层级的访问与开发，包括部署引擎初始化模块、中间件模型加载模块、模型遍历转换模块、部署引擎生成模块；与部署引擎相关的部署引擎初始化模块及部署引擎生成模块根据不同的芯片平台开发接口，进行封装开发；所述部署引擎初始化模块与不同芯片平台部署引擎文件的生成方法耦合，用于不同芯片平台部署引擎文件生成需要的数据结构预定义与特异型操作初始化；所述中间件模型加载模块，根据所述模型中间表示模块自动生成，完成对所述中间格式模型的参数的加载与自由访问；所述模型遍历转换模块，根据不同芯片的特性，调用所述部署平台算子转换库，将所述中间格式模型的算子转化为对应部署平台所支持的高速计算算子，并在遍历过程中维护部署引擎各节点操作的连接关系，完成整个模型的向目标部署平台格式的转换；若模型中存在目标部署平台不支持的算子，将其标注并序列化存储，便于后续进行自定义算子开发；所述部署引擎生成模块，根据遍历成功的部署引擎流生成...

【专利技术属性】
技术研发人员：姜梁，孙浩惠，吴国强，王树义，高伟，姜凯，
申请(专利权)人：航天时代飞鸿技术有限公司，
类型：发明
国别省市：