一种网络模型的部署方法、计算机设备和存储介质技术

本申请公开了一种网络模型的部署方法、计算机设备和存储介质，该网络模型的部署方法包括：获取网络模型；将网络模型转换为与待部署设备的网络框架适配的中间网络模型；响应于运算量调整需求对中间网络模型的算子连接顺序或算子类型进行转换，得到目标网络模型；将目标网络模型发送至待部署设备，以使得待部署设备完成目标网络模型的部署。通过上述方式，本申请能够提高部署至待部署设备中的目标网络模型的性能。模型的性能。模型的性能。

【技术实现步骤摘要】
一种网络模型的部署方法、计算机设备和存储介质


[0001]本申请涉及模型部署
，具体涉及一种网络模型的部署方法、计算机设备和存储介质。

技术介绍

[0002]随着人工智能领域的迅速发展，深度学习网络模型的应用场景越来越多，如何提高部署至待部署设备上的目标网络模型的性能成了亟待解决的问题。

技术实现思路

[0003]本申请提供一种网络模型的部署方法、计算机设备和存储介质，能够提高部署至待部署设备中的目标网络模型的性能。
[0004]为解决上述技术问题，本申请采用的技术方案是：提供一种网络模型的部署方法，该方法包括：获取网络模型；将网络模型转换为与待部署设备的网络框架适配的中间网络模型；响应于运算量调整需求对中间网络模型的算子连接顺序或算子类型进行转换，得到目标网络模型；将目标网络模型发送至待部署设备，以使得待部署设备完成目标网络模型的部署。
[0005]为解决上述技术问题，本申请采用的又一技术方案是：提供一种计算机设备，计算机设备包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的网络模型的部署方法。
[0006]为解决上述技术问题，本申请采用的又一技术方案是：提供一种计算机可读存储介质，其用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的网络模型的部署方法。
[0007]通过上述方案，本申请的有益效果是：获取网络模型，然后将网络模型转换为与待部署设备的网络框架适配的中间网络模型，响应于运算量调整需求对中间网络模型的算子连接顺序或算子类型进行转换，得到目标网络模型，然后将目标网络模型发送至待部署设备，以使得待部署设备完成目标网络模型的部署，通过调整算子连接顺序或算子类型的方式能够降低目标网络模型的运算量，从而降低目标网络模型的运算耗时，提高目标网络模型的运算效率，进而实现部署至待部署设备中的目标网络模型的性能优化，同时大大提升模型部署效率。
附图说明
[0008]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0009]图1是本申请提供的网络模型的部署方法一实施例的流程示意图；
[0010]图2是本申请提供的onnx、caffee以及待部署设备的框架算子映射关系的示意图；
[0011]图3是本申请提供的网络模型的部署方法另一实施例的流程示意图；
[0012]图4是本申请提供的中间网络模型的结构示意图；
[0013]图5是本申请提供的目标网络模型一实施例的结构示意图；
[0014]图6是本申请提供的目标网络模型另一实施例的结构示意图；
[0015]图7是本申请提供的步骤71
‑
74的流程示意图；
[0016]图8是本申请提供的算子连接结构图；
[0017]图9是本申请提供的计算机设备一实施例的结构示意图；
[0018]图10是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
[0019]下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0020]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0021]需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0022]请参阅图1，图1是本申请提供的网络模型的部署方法一实施例的流程示意图，该方法包括：
[0023]步骤11：获取网络模型。
[0024]网络模型可为经过训练得到的待部署的深度学习网络模型，其可为图像处理模型，例如：图像识别模型或图像分类模型等，在此不作一一举例。
[0025]步骤12：将网络模型转换为与待部署设备的网络框架适配的中间网络模型。
[0026]一般情况下，训练得到的网络模型的网络框架与待部署设备所需的网络框架不同，通过将网络模型转换为与待部署设备的网络框架适配的中间网络模型，能够使得网络模型与待部署设备兼容，从而使得待部署设备能够识别对应网络框架下的网络模型，以便后续网络模型在待部署设备上的部署。其中常见的网络框架包括：快速特征嵌入的卷积结构(Convolutional Architecture for Fast Feature Embedding，caffe)或开放神经网络交换结构(Open Neural Network Exchange，onnx)等，在此不作一一举例。
[0027]在一实施方式中，可基于预设的多框架算子映射关系，将网络模型中的各个算子转换为与待部署设备的网络框架适配的算子，从而得到中间网络模型。通过参照预设的多框架算子映射关系就能够实现网络模型的网络框架的转换，无需安装多种网络框架环境，就能够适用于各种模型转换环境，支持各个不同网络框架的转换场景，简化网络框架转换的操作流程，提高模型网络框架的转换效率。
[0028]可以理解地，在对网络模型的算子进行转换之前，可先确定网络模型的模型信息，然后根据模型信息将网络模型中的各个层结构转换为对应的算子，例如：将卷积层转换为对应的卷积算子，将全连接层转换为对应的全连接算子，然后再基于预设的多框架算子映射关系，将网络模型中的各个算子转换为与待部署设备的网络框架适配的算子，从而得到中间网络模型。此外，还可根据模型信息中各个层的输入数据名称以及输出数据名称来确定算子连接关系。
[0029]利用步骤12可将网络模型中的各个算子转换为与待部署设备适配的网络框架下的实现相同算子功能的算子，请参阅图2，以图2所示的onnx、caffee以及待部署设备的框架算子映射关系为例对上述步骤12进行说明。
[0030本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络模型的部署方法，其特征在于，包括：获取网络模型；将所述网络模型转换为与待部署设备的网络框架适配的中间网络模型；响应于运算量调整需求对所述中间网络模型的算子连接顺序或算子类型进行转换，得到目标网络模型；将所述目标网络模型发送至所述待部署设备，以使得所述待部署设备完成所述目标网络模型的部署。2.根据权利要求1所述的网络模型的部署方法，其特征在于，所述响应于运算量调整需求对所述中间网络模型的算子连接顺序或算子类型进行转换的步骤，包括：响应于所述中间网络模型中存在运算量大于预设运算阈值的数据转换算子，确定算法库中是否存在比所述数据转换算子的运算量小且实现相同算子功能的第一算子；若是，则将所述数据转换算子替换为所述第一算子；若否，则对所述数据转换算子的位置进行调整。3.根据权利要求2所述的网络模型的部署方法，其特征在于，所述对所述数据转换算子的位置进行调整的步骤，包括：响应于排列在所述数据转换算子之前的数据运算算子的输出数据值大于输入数据值，将所述数据转换算子调整为所述数据运算算子的前一算子，并对排列在所述数据转换算子之后的算子的运算参数进行修改，以保证所述数据转换算子调整前后各个算子的输出数据不变。4.根据权利要求1所述的网络模型的部署方法，其特征在于，所述响应于运算量调整需求对所述中间网络模型的算子连接顺序或算子类型进行转换的步骤之前，进一步包括：将所述中间网络模型中满足融合条件的相邻算子进行融合；所述融合条件包括：所述相邻算子融合后得到的融合算子的运算耗时小于所述相邻算子的最小运算耗时之和；获取所述中间网络模型中各个算子的最小运算耗时以及数据格式；基于所述最小运算耗时以及所述数据格式，确定所述中间网络模型中的相邻算子是否满足格式转换条件；若是，则在所述相邻算子间插入对应的数据格式转换算子，完成对所述中间网络模型的优化。5.根据权利要求4所述的网络模型的部署方法，其特征在于，所述基于所述最小运算耗时以及所述数据格式，确定所述中间网络模型中的相邻算子是否满足格式转换条件的步骤，包括：从所述中间网络模型中确定前一算子的输出数据格式与后一算子的输...

【专利技术属性】
技术研发人员：韩利丽，陈波扬，韩建强，周旭亚，毛佳丽，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：