推理引擎的算子融合方法、系统、电子设备和介质技术方案

提供一种深度学习模型的推理引擎的算子融合方法、系统、电子设备和非暂时存储介质，该方法包括：获得配置文件，所述配置文件至少包括用户自定义算子融合策略中的要融合的多个算子的类型和融合后的算子的类型；根据配置文件，对深度学习模型的网络图中的各个算子进行融合以得到融合后的网络图。融合以得到融合后的网络图。融合以得到融合后的网络图。

【技术实现步骤摘要】
推理引擎的算子融合方法、系统、电子设备和介质


[0001]本申请涉及人工智能领域，且更具体地涉及深度学习模型的推理引擎的算子融合方法、系统、电子设备和非暂时存储介质。

技术介绍

[0002]人工智能模型通常是用来进行推理预测的神经网络模型，例如图像推理模型、语音推理模型等。输入一张带有动物的图像，经过人工智能模型的推理，直接输出一个标签，表示这张图中的物体是什么，例如是狗或者猫。神经网络模型可以是卷积神经网络模型等。
[0003]人工智能模型的运算可以由计算图(computation graph)中的算子(operator)来实现。人工智能模型的运算通过预设的计算图转换规则，即可转换为该人工智能模型所对应的计算图。计算图是一种用于表示人工智能模型的计算任务和数据流过程的多图结构。算子指的是对人工智能模型中各层的张量所做的各种运算，例如人工智能模型的卷积层对人工智能模型的输入数据所做的卷积运算即为卷积算子。张量可以理解为多维数组，其可以具有任意多的维度，不同的张量可以由不同的数据类型和形状。算子可以理解为一个计算函数，其输入和输出都是张量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型的推理引擎的算子融合方法，包括：获得配置文件，所述配置文件至少包括用户自定义算子融合策略中的要融合的多个算子的类型和融合后的算子的类型；根据配置文件，对深度学习模型的网络图中的各个算子进行融合以得到融合后的网络图。2.根据权利要求1所述的方法，其中，所述根据配置文件，对深度学习模型的网络图中的各个算子进行融合以得到融合后的网络图包括：将所述各个算子中的具有所述要融合的多个算子类型的多个算子融合为具有所述融合后的算子的类型的算子。3.根据权利要求1所述的方法，其中，所述配置文件还包括用户自定义算子融合策略中的要融合的深度学习模型的类型，其中所述根据配置文件，对深度学习模型的网络图中的各个算子进行融合以得到融合后的网络图包括：根据配置文件，对具有用户自定义算子融合策略中的要融合的深度学习模型的类型的深度学习模型的网络图中的各个算子进行融合。4.根据权利要求1所述的方法，其中，所述配置文件还包括用户自定义算子融合策略中的要融合的多个算子的连接关系。5.根据权利要求1所述的方法，还包括：根据推理引擎内置的通用算子融合策略，对深度学习模型的网络图中的各个算子进行融合。6.根据权利要求1
‑
5中任一所述的方法，还包括：对所述融合后的网络图再进行用户自定义算子融合策略和/或通用算子融合策略的融合一次或多次以得到新的融合后的网络图。7.根据权利要求1所述的方法，其中，所述方法还包括：将所述融合后的网络图进行序列化来得到可视化的网络图；显示所述可视化的网络图。8.根据权利要求7所述的方法，其中，所述将所述融合后的网络图进行序列化来得到可视化的网络图包括：将所述融合后的网络图进行序列化；接收对序列化后的网络图进行的如下中的一种或多种操作：查看所述融合后的网络图中的权重信息和形状信息、消除或修改所述融合后的网络图中...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：