模型转换方法以及模型转换设备、存储介质技术

本申请公开了一种模型转换方法以及模型转换设备、存储介质，模型转换方法包括：基于网络模型中各计算节点输入端和输出端的数据块的形状，在目标平台中确定各计算节点的初始数据排布格式，并获取确定过程花费的第一耗时；依次判断相邻连接的两个计算节点的初始数据排布格式是否一致，若不一致，在相邻的两个计算节点之间添加转换算子，利用转换算子对相邻的两个计算节点的初始数据排布格式进行转换，并获取转换算子的转换耗时；最后，基于第一耗时和转换耗时的相关性，确定网络模型中所有计算节点的连接结构。通过上述方式，本申请提供模型转换方法可以通过确认网络模型中所有计算节点的连接结构，从而获得一种对目标平台来说性能最优的模型。说性能最优的模型。说性能最优的模型。

【技术实现步骤摘要】
模型转换方法以及模型转换设备、存储介质


[0001]本申请涉及计算机科学
，特别是一种模型转换方法以及模型转换设备、存储介质。

技术介绍

[0002]随着人工智能技术的不断发展，深度学习神经网络的应用也越来越广泛。神经网络模型应用通常分为训练阶段和部署阶段，训练阶段使用训练框架（如Caffe、TensorFlow）对样本数据进行学习、更新权重数据，部署阶段通常将原始模型转化为目标平台能够识别的模型，在目标平台读取所述模型的信息后，构造出推理需要运行的数据结构，之后进行网络推理并获取推理结果供进一步处理。
[0003]在部署阶段，由于硬件加速单元、架构的CPU核的限制，对模型支持的数据排布类型是不同的，且在支持多种排布格式的情况下，每个数据排布格式的性能也是有差异的。

技术实现思路

[0004]本申请提供一种模型转换方法以及模型转换设备、存储介质，通过确认网络模型中所有计算节点的连接结构，进而确认一种对目标平台来说网络性能最优的模型，以使该网络模型部署于目标平台时整个网络性能达到最优。
[0005]为了解决上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络模型的转换方法，其特征在于，所述网络模型部署于目标平台，所述方法包括：获取所述网络模型中各计算节点输入端和输出端的数据块的形状；基于各所述计算节点输入端和输出端的数据块的形状，在所述目标平台中确定各所述计算节点的初始数据排布格式，以及确定各所述计算节点得到所述初始数据排布格式的第一耗时；依次判断相邻连接的两个计算节点的初始数据排布格式是否一致；若不一致，在所述相邻的两个计算节点之间添加转换算子；利用所述转换算子对所述相邻的两个计算节点的初始数据排布格式进行转换，并获取所述转换算子的转换耗时；基于所述第一耗时和所述转换耗时的相关性，确定所述网络模型中所有计算节点的连接结构。2.根据权利要求1所述的方法，其特征在于，所述基于各所述计算节点输入端和输出端的数据块的形状，在所述目标平台中确定各所述计算节点的初始数据排布格式，包括：获取所述目标平台上的所有待测试数据排布格式；基于所述所有待测试数据排布格式，对各所述计算节点的输入端的输入数据块以及输出端的输出数据块进行测试，得到各所述计算节点的所述初始数据排布格式。3.根据权利要求2所述的方法，其特征在于，所述基于所述所有待测试数据排布格式，对各所述计算节点的输入端的输入数据块以及输出端的输出数据块进行测试，得到各所述计算节点的所述初始数据排布格式，包括：利用各所述计算算子进行运算；在运算过程中，对各所述计算节点的输入端的输入数据块以及输出端的输出数据块按照各所述待测试数据排布格式进行数据排布，以得到各所述待测试数据排布格式对应的实时性能参数；基于各所述待测试数据排布格式对应的实时性能参数确定各所述计算节点的输入端的输入数据块以及输出端的输出数据块的初始数据排布格式。4.根据权利要求3所述的方法，其特征在于，所述实时性能参数包括响应时间、运行速度中的至少一种；所述基于各所述待测试数据排布格式对应的实时性能参数确定各所述计算节点的输入端的输入数据块以及输出端的输出数据块的初始数据排布格式，包括：将对应响应时间最短或/和运行速度最快的所述待测试数据排布格式确定为所述初始数据排布格式。5.根据权利要求1所述的方法，其特征在于，相邻连接的两个计算节点的前一所述计算节点的输出端连接所述转换算子的输入端，相邻连接的两个计算节点的后一所述计算节点的输入端连接所述转换算子的输出端；所述利用所述转换算子对所述相邻的两个计算节点的初始数据排布格式进行转换，并获取所述转换算子的转换耗时，包括：获取相邻连接的两个计算节点的...

【专利技术属性】
技术研发人员：韩建强，刘德龙，陈波扬，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：