模型优化方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例提供一种模型优化方法、装置、电子设备及存储介质。该方法包括：获取第一模型，所述第一模型的神经网络结构顺序依次包括批标准化层、激活层以及卷积层；基于所述批标准化层和所述激活层，确定第一算子层；基于所述批标准化层和所述卷积层，确定第二算子层；基于所述第一算子层和所述第二算子层，确定所述第一模型的优化模型。本公开实施例，可以对模型进行优化，减少模型在使用时的计算量。量。量。

【技术实现步骤摘要】
模型优化方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，尤其涉及一种模型优化方法、装置、电子设备及存储介质。

技术介绍

[0002]随着人工智能技术的不断进步，各种功能的神经网络模型涌现，结构也越来越复杂。在模型部署阶段，因部署设备的不同而为模型提供不同的优化技术，使得模型能够更加高效准确地运行，并保障其在实际工作环境中的性能。因此，如何对模型进行深度的优化成为了人工智能技术落地的重要环节。

技术实现思路

[0003]本公开实施例提供一种模型优化方法、装置、电子设备及存储介质，以解决或缓解现有技术中的一项或更多项技术问题。
[0004]作为本公开实施例的第一个方面，本公开实施例提供一种模型优化方法，包括：
[0005]获取第一模型，所述第一模型的神经网络结构顺序依次包括批标准化层、激活层以及卷积层；
[0006]基于所述批标准化层和所述激活层，确定第一算子层；
[0007]基于所述批标准化层和所述卷积层，确定第二算子层；
[0008]基于所述第一算子层和所述第二算子层，确定所述第一模型的优化模型。
[0009]作为本公开实施例的第二个方面，本公开实施例提供一种模型优化装置，包括：
[0010]模型获取模块，用于获取第一模型，所述第一模型的神经网络结构顺序依次包括批标准化层、激活层以及卷积层；
[0011]第一算子层确定模块，用于基于所述批标准化层和所述激活层，确定第一算子层；
[0012]第二算子层确定模块，用于基于所述批标准化层和所述卷积层，确定第二算子层；
[0013]优化模型确定模块，用于基于所述第一算子层和所述第二算子层，确定所述第一模型的优化模型。
[0014]作为本公开实施例的第三个方面，本公开实施例提供一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例提供的模型优化方法。
[0018]作为本公开实施例的第四个方面，本公开实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开实施例提供的模型优化方法。
[0019]作为本公开实施例的第五个方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开实施例提供的模型优化方法。
[0020]本公开实施例提供的技术方案，针对依次由批标准化层、激活层以及卷积积构成的神经网络，基于批标准化层和激活层确定第一算子层，并基于批标准化层和卷积层，确定第二算子层，然后基于第一算子层和第二算子层，得到该神经网络的优化模型。该优化方案，在保障神经网络原有的性能的同时，简化神经网络结构，减少神经网络对输入信息的计算次数，从而提高神经网络的效率。
[0021]上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本公开进一步的方面、实施方式和特征将会是容易明白的。
附图说明
[0022]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开的一些实施方式，而不应将其视为是对本公开范围的限制。
[0023]图1是本公开一实施例的模型优化方法的流程图；
[0024]图2是本公开另一实施例的模型优化方法的流程图；
[0025]图3是本公开一实施例的批标准化层与卷积层的融合过程的示意图；
[0026]图4是本公开一实施例的经融合的新卷积层的示意图；
[0027]图5是本公开一实施例的模型优化装置的流程图；
[0028]图6是本公开一实施例的电子设备的结构框图。
具体实施方式
[0029]在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本公开的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
[0030]一般地，神经网络包括多个不同结构的网络层，且各个网络层针对输入层依次执行计算。例如，整个神经网络的输入作为第一级网络层的输入，对于其他级网络网层，上一级网络层的输出作为其下一级网络层的输入。但是，随着各个网络层的规模的增加，神经网络的计算效率也会降低。
[0031]例如，对于依次由批标准化层(BatchNormalize，BN)、激活层(ReLU)和卷积层(Convlution2d)构成的神经网络，即结构为BN+ReLU+Conv2d的神经网络，针对输入信息依次执行BN、ReLU和Conv2d的计算，而BN通常会拆分为两个算子，即乘法层(Mul，神经网络中的Element
‑
wise层，用于两个张量之间的操作，对输入信息进行一定计算，Mul表示对输入信息做乘法)和加法层(Add，神经网络中的Element
‑
wise层，用于两个张量之间的操作，对应元素进行一定计算，Add表示对应元素做加法)，进行相应的计算。如此，对于每个输入信息，在神经网络所部署的设备上需要执行四次计算，在一定的计算资源浪费。而且，BN+ReLU+Conv2d结构的神经网络是图像处理模型中的一种较为常用的基础模型，随着神经网络中各层的结构规模的不断增加，其消耗的计算资源也更多。
[0032]因此，本申请提供一种模型优化方案，能够简化神经网络结构，减少神经网对输入信息的计算次数。
[0033]图1是本公开一实施例的模型优化方法的示意图。如图1所示，该模型优化方法包括：
[0034]S110，获取第一模型，第一模型的神经网络结构顺序依次包括批标准化层、激活层以及卷积层；
[0035]S120，基于批标准化层和激活层，确定第一算子层；
[0036]S130，基于批标准化层和卷积层，确定第二算子层；
[0037]S140，基于第一算子层和第二算子层，确定第一模型的优化模型。
[0038]在本示例中，针对依次由批标准化层、激活层以及卷积层构成的神经网络，基于批标准化层和激活层确定第一算子层，并基于批标准化层和卷积层，确定第二算子层，然后基于第一算子层和第二算子层，得到该神经网络的优化模型。该优化方案，在保障神经网络原有的性能的同时，简化神经网络结构，减少神经网络对输入信息的计算次数，从而提高神经网络的效率。
[0039]示例性地，第一模型的结构可以为BN+ReLU+Conv2d。
[0040]在实际优化过程中，如图2所示，针对BN+ReLU+Conv2d结构的神经网络，主要分为两个阶段，即对BN+ReLU执行顺序交换，然后对BN和Conv2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型优化方法，其特征在于，包括：获取第一模型，所述第一模型的神经网络结构顺序依次包括批标准化层、激活层以及卷积层；基于所述批标准化层和所述激活层，确定第一算子层；基于所述批标准化层和所述卷积层，确定第二算子层；基于所述第一算子层和所述第二算子层，确定所述第一模型的优化模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述批标准化层和所述激活层，确定第一算子层，包括：对所述批标准化层进行拆分，得到乘法层和加法层；对依次由所述乘法层、所述加法层以及所述激活层组成的第一神经网络进行层级顺序调整，得到依次由第一算子层、所述乘法层和所述加法层组成的第二神经网络；从所述第二神经网络中提取所述第一算子层，得到所述第一算子层。3.根据权利要求2所述的方法，其特征在于，所述从所述第二神经网络中提取所述第一算子层，得到所述第一算子层，包括：基于所述乘法层的网络参数、所述加法层的网络参数以及所述激活层的网络参数，确定所述第一算子层的网络参数。4.根据权利要求1至3任一项所述的方法，其特征在于，所述第一算子层的网络结构与所述激活层的网络结构相同，且所述第一算子层的网络参数不同于所述激活层的网络参数。5.根据权利要求2所述的方法，其特征在于，由所述乘法层、所述加法层以及所述激活层组成的第一神经网络的函数表达式为：其中，x表示所述第一神经网络的输入，f1(x)表示所述第一神经网络的输出，ReLU表示所述第一神经网络的激活层，BN表示所述第一神经网络的批标准化层，Mul表示所述乘法层的常量参数，Add表示所述加法层的常量参数。6.根据权利要求5所述的方法，其特征在于，所述第一算子层、所述乘法层和所述加法层组成的第二神经网络的函数表达式为：其中，x表示所述第二神经网络的输入，f2(x)表示所述第二神经网络的输出，ReLU
′
表示所述第二神经网络的第一算子层，BN表示所述第二神经网络的批标准化层，Mul表示所述乘法层的常量参数，Add表示所述加法层的常量参数。7.根据权利要求6所述的方法，其特征在于，所述第一算子层的函数表达式为：
8.根据权利要求1所述的方法，其特征在于，所述基于所述批标准化层和所述卷积层，确定第二算子层，包括：对所述批标准化层进行拆分，得到乘法层和加法层；基于所述乘法层的网络参数、所述加法层的网络参数以及所述卷积层的网络参数，确定所述第二算子层的网络参数。9.根据权利要求8所述的方法，其特征在于，所述卷积层包括第一权重乘积层和第一偏移累加层，所述基于所述乘法层的网络参数、所述加法层的网络参数以及所述卷积层的网络参数，确定所述第二算子层的网络参数，包括：基于所述乘法层的网络参数和所述加法层的网络参数，对所述第一权重乘积层和所述第一偏移累加层进行优化，得到由第二权重乘积层和第二偏移累加层构成的第二算子层；基于所述第二权重乘积层的网络参数和所述第二偏移累加层的网络参数，确定所述第二算子层的网络参数。10.根据权利要求8所述的方法，其特征在于，所述第二算子层的网络结构与所述卷积层的网络结构相...

【专利技术属性】
技术研发人员：杨浩琪，郭晖，张楠赓，
申请(专利权)人：杭州嘉楠耘智信息科技有限公司，
类型：发明
国别省市：