神经网络模型部署方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种神经网络模型部署方法、装置、设备及可读存储介质，该方法包括步骤：获取第一神经网络模型，其中，所述第一神经网络模型中的第一算子用于矩阵乘法操作，所述第一算子无法通过目标NPU进行推理；将所述第一算子替换为第二算子，得到第二神经网络模型，其中，所述第二算子的运算结果与所述第一算子的运算结果一致，且所述第二算子能够通过所述目标NPU进行推理；将所述第二神经网络模型部署至所述目标NPU。本申请扩大了目标NPU所能推理的网络的网络类型范围。的网络的网络类型范围。的网络的网络类型范围。

【技术实现步骤摘要】
神经网络模型部署方法、装置、设备及可读存储介质


[0001]本申请涉及人工智能
，尤其涉及一种神经网络模型部署方法、装置、设备及可读存储介质。

技术介绍

[0002]随着人工智能技术的飞速发展，人们对使用人工智能技术的便利性提出了更高的要求。
[0003]深度学习框架通常为用户提供系列软件接口，这些软件接口是定义好的深度学习网络计算单元，称为算子，用户可以通过组合算子，来构建某种深度学习网络，如CNN(convolutional neuralnetwork，卷积神经网络)，Transformer(注意力网络)，RNN(recurrent neural network，循环神经网络)等等。深度学习框架是指在特定硬件计算平台上，如CPU(central processingunit，中央处理器)，GPU(graphics processing unit，图形处理器)，NPU(neuralnetwork processing unit，神经网络处理器)等，执行深度学习网络的计算机软件系统。常见的深度学习框架有Tensorflow、Pyt本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型部署方法，其特征在于，所述方法包括：获取第一神经网络模型，其中，所述第一神经网络模型中的第一算子用于矩阵乘法操作，所述第一算子无法通过目标NPU进行推理；将所述第一算子替换为第二算子，得到第二神经网络模型，其中，所述第二算子的运算结果与所述第一算子的运算结果一致，且所述第二算子能够通过所述目标NPU进行推理；将所述第二神经网络模型部署至所述目标NPU。2.如权利要求1所述的方法，其特征在于，将所述第一算子替换为第二算子，包括：获取第三算子；将所述第三算子的输入，由所述第三算子外部输入的矩阵和所述第三算子内部的预设输入，修改为两个外部输入的矩阵，从而得到第二算子，用所述第二算子替换第一算子。3.如权利要求2所述的方法，其特征在于，若所述第三算子用于全连接操作，所述第三算子内部的预设输入包括预设权重矩阵；若所述第三算子用于卷积操作，所述第三算子内部的预设输入包括预设第一卷积核。4.如权利要求1所述的方法，其特征在于，将所述第一算子替换为第二算子，得到第二神经网络模型，包括：获取第四算子、第五算子和第六算子，其中所述第四算子用于转置操作，所述第五算子用于BroadCast乘法操作，所述第六算子用于对第六算子外部输入的矩阵和第六算子内部的预设第二卷积核进行卷积操作；组合所述第四算子、第五算子和第六算子，得到第二算子，用所述第二算子替换第一算子，其中，所述第二算子的输入包括第一输入矩阵和第二输入矩阵，在所述目标NPU推理所述第二算子时：所述第四算子对所述第二输入矩阵进行转置处理，得到转置后矩阵；遍历所述第一输入矩阵的每一行；所述第五算子将遍历到的所述第一输入矩阵的行分别与所述转置后矩阵的每一行相乘，得到第一乘积矩阵；所述第六算子基于所述预设第二卷积核，对所述第一乘积矩阵进行卷积操作，得到卷积结果；所述第四算子对所述卷积结果进行转置处理，得到第二乘积矩阵的行；所述预设第二卷积核的卷积核值全为1；所述预设第二卷积核的卷积核尺寸中宽、高和输出通道数均为1，输入通道数为所述第一乘积矩阵的列数；在遍历结束后，基于所述第二乘积矩阵的行，确定所述第二乘积矩阵，所述第二乘积矩阵为所述目标NPU推理所述第二算子得到的结果。5.如权利要求4所述的方法，其特征在于，所述组合所述第四算子、第五算子和第六算子，得到第二算子，包括：在所述第一神经网络模型中未存在所述第五算子时：获取所述第一神经网络模型中的第七算子；所述第七算子用于Element wise乘法操作；组合所述第四算子、第七算子...

【专利技术属性】
技术研发人员：刘伟良，章放，丁健，刘亚林，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：