网络模型处理方法、设备、存储介质和程序产品技术

本申请实施例提供的一种网络模型处理方法、设备、存储介质和程序产品，该方法包括：获取待处理模型的原始计算图，所述原始计算图中包括至少一个算子结构；从所述原始计算图中检索出预设类型的目标算子结构；在所述原始计算图中，对所述目标算子结构进行融合操作，生成新的算子结构，所述新的算子结构中的算子数量小于所述目标算子结构中的算子数量；基于所述新的算子结构和所述原始计算图，构建所述待处理模型的新计算图。本申请可以从计算图结构的层级上简化模型中部分算子结构，进而简化模型的计算图，减少了模型中不必要的计算操作，以降低模型推理过程中的访存开销，降低模型推理时延。时延。时延。

【技术实现步骤摘要】
网络模型处理方法、设备、存储介质和程序产品


[0001]本申请涉及计算机
，尤其涉及一种网络模型处理方法、设备、存储介质和程序产品。

技术介绍

[0002]人工神经网络(Artificial Neural Networks，ANNs)，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。广泛应用于各种场景，比如自然语言模型、图像识别模型等。
[0003]实际场景中，神经网络模型在训练完成后需要部署在服务器上，经过模型推理过程实现模型的应用。在模型部署时，为了便于神经网络模型的传输和转换，一般将训练好的模型转换成onnx模型。比如TTS(Text To Speech，从文本到语音)模型中，卷积和反卷积一般都采用一维的数据操作，当TTS模型生成onnx模型文件时，生成的onnx模型中存在频繁的升维和降维等操作，而模型本身也包括很多算子操作，过多的计算操作，不仅会导致模型的推理时延增加，而且还会使模型推理过程消耗更多的能耗。

技术实现思路

[0004]本申请实施例提供一种网络模型处理方法、设备、存储介质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络模型处理方法，其特征在于，包括：获取待处理模型的原始计算图，所述原始计算图中包括至少一个算子结构；从所述原始计算图中检索出预设类型的目标算子结构；在所述原始计算图中，对所述目标算子结构进行融合操作，生成新的算子结构，所述新的算子结构中的算子数量小于所述目标算子结构中的算子数量；基于所述新的算子结构和所述原始计算图，构建所述待处理模型的新计算图。2.根据权利要求1所述的方法，其特征在于，一个所述算子结构中包括多个算子以及所述多个算子之间的计算关系。3.根据权利要求2所述的方法，其特征在于，所述从所述原始计算图中检索出预设类型的目标算子结构，包括：遍历所述原始计算图中每一个算子结构，将存在所述预设类型的计算关系的算子结构作为目标算子结构。4.根据权利要求1所述的方法，其特征在于，所述预设类型的计算关系中至少包括：第一类型算子和所述第一类型算子之间的计算关系；所述在所述原始计算图中，对所述目标算子结构进行融合操作，生成新的算子结构，包括：从所述原始计算图中提取所述目标算子结构中的第二类型算子，所述第二类型算子为所述目标算子结构中除去所述第一类型算子以外的剩余算子；将所述第二类型算子的参数融合至所述第一类型算子中，删掉所述第二类型算子，基于所述第一类型算子之间的计算关系生成所述新的算子结构。5.根据权利要求4所述的方法，其特征在于，所述第一类型算子包括：升维算子、卷积算子和降维算子；所述将所述第二类型算子的参数融合至所述第一类型算子中，删掉所述第二类型算子，基于所述第一类型算子之间的计算关系生成所述新的算子结构，包括：将所述第二类型算子的参数融合至所述卷积算子中，删掉所述第二类型算子，基于所述升维算子、所述卷积算子和所述降维算子之间的计算关系生成所述新的算子结构。6.根...

【专利技术属性】
技术研发人员：伍国林，王哲，廖建文，陆二伟，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：