本申请涉及一种模型加速方法、装置、集成电路、存储介质和计算机程序产品。所述方法包括：根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。采用本方法能够提升深度神经网络的推理效率。升深度神经网络的推理效率。升深度神经网络的推理效率。
【技术实现步骤摘要】
模型加速方法、装置、集成电路和存储介质
[0001]本申请涉及电子电路
，特别是涉及一种模型加速方法、装置、集成电路、存储介质和计算机程序产品。
技术介绍
[0002]在数据处理过程中，例如利用深度神经网络进行图像数据处理，需要进行大量的卷积计算，在此过程中，集成电路发挥了重要作用。由于部分场景的深度神经网络搭载平台的性能有限，所以需要降低神经网络模型的计算量。
[0003]传统技术中，卷积计算量一般占深度神经网络的总计算量的90%，通常使用量化的方式降低深度神经网络的计算精度，但是，对于深度神经网络来说，这种方法仍需要消耗大量的计算资源和运行时间，使得对深度神经网络的推理速度的加速效果较为一般。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够有效提升深度神经网络的推理效率的模型加速方法、装置、集成电路、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种模型加速方法。所述方法包括：根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。
[0006]在其中一个实施例中，根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式，包括：当所述训练后的待加速模型的激活函数类型为单一处理类型时，确定与所述训练后的待加速模型相匹配的融合方式为卷积、激活和量化操作融合方式；所述根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果，包括：利用所述训练后的待加速模型的激活系数和量化系数，对所述训练后的待加速模型的卷积权重进行融合，得到融合后的卷积权重；利用所述训练后的待加速模型的激活系数、量化系数和量化偏置值，对所述训练后的待加速模型的卷积偏置值进行融合，得到融合后的卷积偏置值；将所述融合后的卷积权重和所述融合后的卷积偏置值，作为所述卷积、激活和量
化操作融合方式的融合结果。
[0007]在其中一个实施例中，根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果，包括：对所述卷积数据进行卷积推理处理，并将所述卷积推理处理中所调用的卷积权重和卷积偏置值，分别对应更新为所述融合后的卷积权重和所述融合后的卷积偏置值，得到所述卷积数据的卷积推理结果；将所述卷积推理结果，作为所述推理加速结果。
[0008]在其中一个实施例中，根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式，包括：当所述训练后的待加速模型的激活函数类型为分段处理类型时，确定与所述训练后的待加速模型相匹配的融合方式为激活和量化操作融合方式；所述根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果，包括：利用所述训练后的待加速模型的量化系数，对所述训练后的待加速模型的激活系数进行融合，得到融合后的激活系数，作为所述激活和量化操作融合方式的融合结果。
[0009]在其中一个实施例中，根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果，包括：对所述卷积数据进行卷积推理处理，得到所述卷积数据的卷积后结果；对所述卷积后结果和所述融合后的激活系数进行激活函数运算，得到所述卷积数据的激活函数运算结果，作为所述推理加速结果。
[0010]在其中一个实施例中，根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果，包括：根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行离线融合运算，得到所述卷积参数、所述激活系数和所述量化参数的离线融合结果；所述离线融合运算在进行所述卷积推理加速之前离线处理完成。
[0011]第二方面，本申请还提供了一种模型加速装置。所述装置包括：融合方式确定模块，用于根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；参数融合运算模块，用于根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；卷积推理加速模块，用于根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。
[0012]第三方面，本申请还提供了一种集成电路。所述集成电路包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。
[0013]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。
[0014]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；根据所述训练后的待加速模型的操本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型加速方法，其特征在于，所述方法包括：根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。2.根据权利要求1所述的方法，其特征在于，所述根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式，包括：当所述训练后的待加速模型的激活函数类型为单一处理类型时，确定与所述训练后的待加速模型相匹配的融合方式为卷积、激活和量化操作融合方式；所述根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果，包括：利用所述训练后的待加速模型的激活系数和量化系数，对所述训练后的待加速模型的卷积权重进行融合，得到融合后的卷积权重；利用所述训练后的待加速模型的激活系数、量化系数和量化偏置值，对所述训练后的待加速模型的卷积偏置值进行融合，得到融合后的卷积偏置值；将所述融合后的卷积权重和所述融合后的卷积偏置值，作为所述卷积、激活和量化操作融合方式的融合结果。3.根据权利要求2所述的方法，其特征在于，所述根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果，包括：对所述卷积数据进行卷积推理处理，并将所述卷积推理处理中所调用的卷积权重和卷积偏置值，分别对应更新为所述融合后的卷积权重和所述融合后的卷积偏置值，得到所述卷积数据的卷积推理结果；将所述卷积推理结果，作为所述推理加速结果。4.根据权利要求1所述的方法，其特征在于，所述根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式，包括：当所述训练后的待加速模型的激活函数类型为分段处理类型时，确定与所述训练后的待加速模型相匹配的融合方式为激活和量化操作融合方式；所述根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果，包括：利用所述训练后的待加速模型的量化系数，对所述训练后的待加速模型的激活系数进行融合，得到融合后的激活系数，作为所述激活和量化操作融合方...
【专利技术属性】
技术研发人员：张斌，沈小勇，吕江波，
申请(专利权)人：苏州思谋智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。