卷积神经网络的优化方法、装置、存储介质和系统制造方法及图纸

本申请涉及一种卷积神经网络优化方法、装置、存储介质和系统。所述方法包括：将冗余神经网络层的卷积计算融合到卷积层中，并删除多余的神经网络层。采用本方法能够使优化后的网络网络性能大幅度提升。

Optimizing methods, devices, storage media and systems of convolutional neural networks

【技术实现步骤摘要】
卷积神经网络的优化方法、装置、存储介质和系统
本申请涉及人工智能
，特别是涉及一种卷积神经网络的优化方法、装置、存储介质和系统。
技术介绍
卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的多层神经网络，是深度学习的代表算法之一，擅长处理图像特别是大图像的相关机器学习问题。随着数字电子技术的不断发展，各类人工智能(ArtificialIntelligence，AI)芯片的快速发展对于神经网络处理器的要求也越来越高。卷积神经网络算法作为智能芯片广泛应用的算法之一，运行于神经网络处理器中。然而，传统的卷积神经网络结构中存在大量连续的Convolution，BatchNorm，Scale层结构，在进行前向传播时，BatchNorm层和Scale层的构建和执行消耗了大量计算资源，并且在执行卷积计算过程中并没有起到太大作用，反而让网络结构重复、复杂。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够优化卷积神经网络结构的的卷积神经网络优化方法、装置、存储介质和系统。一种卷积神经网络优化方法，所述方法包括：获取配置参数，其中，所述配置参数包括BatchNorm层的第一训练参数及BatchNorm层的第二训练参数；将所述BatchNorm层的第一训练参数与卷积层的权值参数融合，得到第一融合结果；将所述BatchNorm层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果；根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化。在其中一个实施例中，所述将所述BatchNorm层的第一训练参数与卷积层的权值参数融合，得到第一融合结果，包括：将所述BatchNorm层的第一训练参数以及所述卷积层的权值参数进行乘法运算，得到所述第一融合结果。在其中一个实施例中，所述将所述BatchNorm层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果，包括：将所述BatchNorm层的第二训练参数以及所述卷积层的偏置参数进行加法运算，得到所述第二融合结果。在其中一个实施例中，所述根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化，包括：删除所述BatchNorm层，并将所述卷积层的权值参数更改为所述第一融合结果，将所述卷积层的偏置参数更改为所述第二融合结果。在其中一个实施例中，所述将卷积层的输入数据分别与所述第一融合结果和所述第二融合结果进行卷积计算，得到卷积层的输出结果，包括：将所述输入数据与所述第一融合结果进行乘法运算，得到第一运算结果；将所述第一运算结果与所述第二融合结果进行加法运算，得到所述输出结果。在其中一个实施例中，所述BatchNorm层的第一训练参数包括用于执行BatchNorm层的卷积计算的至少一个第一训练子参数；所述BatchNorm层的第二训练参数包括用于执行BatchNorm层的卷积计算的至少一个第二训练子参数。在其中一个实施例中，若所述BatchNorm层的第一训练参数包括多个第一训练子参数，则将所述多个第一训练子参数进行运算，得到第一中间运算结果；将所述第一中间运算结果以及所述Scale层的第一训练参数与所述卷积层的权值参数融合，得到所述第一融合结果。在其中一个实施例中，若所述BatchNorm层的第二训练参数包括多个第二训练子参数，则将所述多个第二训练子参数进行运算，得到第二中间运算结果；将所述第二中间运算结果以及所述Scale层的第二训练参数与所述卷积层的偏置参数融合，得到所述第二融合结果。一种卷积神经网络优化方法，所述方法包括：获取配置参数，其中，所述配置参数包括第一训练参数及第二训练参数；将所述第一训练参数与卷积层的权值参数融合，得到第一融合结果；将所述第二训练参数与卷积层的偏置参数融合，得到第二融合结果；根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化。一种卷积神经网络优化装置，所述装置包括：配置参数获取模块，用于获取配置参数，其中，所述配置参数包括BatchNorm层的第一训练参数及BatchNorm层的第二训练参数；第一融合结果获取模块，用于将所述BatchNorm层的第一训练参数与卷积层的权值参数融合，得到第一融合结果；第二融合结果获取模块，用于将所述BatchNorm层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果；优化模块，用于根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化。一种卷积神经网络优化系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：获取配置参数，其中，所述配置参数包括BatchNorm层的第一训练参数及BatchNorm层的第二训练参数；将所述BatchNorm层的第一训练参数与卷积层的权值参数融合，得到第一融合结果；将所述BatchNorm层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果；根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取配置参数，其中，所述配置参数包括BatchNorm层的第一训练参数及BatchNorm层的第二训练参数；将所述BatchNorm层的第一训练参数与卷积层的权值参数融合，得到第一融合结果；将所述BatchNorm层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果；根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化。上述卷积神经网络优化方法、装置、存储介质和系统，通过将BatchNorm层的第一训练参数与卷积层的权值参数融合，并将BatchNorm层的第二训练参数与卷积层的偏置参数融合，从而将BatchNorm层的卷积计算融合到卷积层中，能够删除多余的神经网络层，使优化后的网络网络性能大幅度提升。附图说明图1为一个实施例中卷积神经网络优化系统100的结构示意图；图2为一个实施例中卷积神经网络优化方法的流程示意图；图3为一个实施例中两层网络结构优化的示意图；图4为另一个实施例中卷积神经网络优化方法的流程示意图；图5为另一个实施例中两层网络结构优化的示意图；图6为另一个实施例中卷积神经网络优化方法的流程示意图；图7为一个实施例中三层网络结构优化的示意图；图8为另一个实施例中卷积神经网络优化方法的流程示意图；图9为另一个实施例中卷积神经网络优化方法的流程示意图；图10为一个实施例中卷积神经网络优化装置的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其本文档来自技高网...

【技术保护点】
1.一种卷积神经网络优化方法，其特征在于，所述方法包括：获取配置参数，其中，所述配置参数包括Batch Norm层的第一训练参数及Batch Norm层的第二训练参数；将所述Batch Norm层的第一训练参数与卷积层的权值参数融合，得到第一融合结果；将所述Batch Norm层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果；根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化。

【技术特征摘要】
1.一种卷积神经网络优化方法，其特征在于，所述方法包括：获取配置参数，其中，所述配置参数包括BatchNorm层的第一训练参数及BatchNorm层的第二训练参数；将所述BatchNorm层的第一训练参数与卷积层的权值参数融合，得到第一融合结果；将所述BatchNorm层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果；根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化。2.根据权利要求1所述的方法，其特征在于，所述将所述BatchNorm层的第一训练参数与卷积层的权值参数融合，得到第一融合结果，包括：将所述BatchNorm层的第一训练参数以及所述卷积层的权值参数进行乘法运算，得到所述第一融合结果。3.根据权利要求1所述的方法，其特征在于，所述将所述BatchNorm层的第二训练参数与卷积层的偏置参数融合，得到第二融合结果，包括：将所述BatchNorm层的第二训练参数以及所述卷积层的偏置参数进行加法运算，得到所述第二融合结果。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一融合结果以及所述第二融合结果，对所述卷积神经网络进行优化，包括：删除所述BatchNorm层，并将所述卷积层的权值参数更改为所述第一融合结果，将所述卷积层的偏置参数更改为所述第二融合结果。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将卷积层的输入数据分别与所述第一融合结果和所述第二融合结果进行卷积计算，得到卷积层的输出结果。6.根据权利要求5所述的方法，其特征在于，所述将卷积层的输入数据分别与所述第一融合结果和所述第二融合结果进行卷积计算，得到卷积层的输出结果，包括：将所述输入数据与所述第一融合结果进行乘法运算，得到第一运算结果；将所述第一运算结果与所述第二融合结果进行加法运算，得到所述输出结果。7.根据权利要求1所述的方法，其特征在于，所述BatchNorm层的第一训练参数包括用于执行BatchNorm层的卷积计算的至少一个第一训练子参数；所述BatchNorm层的第二训练参数包括用于执行BatchNorm层的卷积计算的至少一个第二训练子参数。8.根据权利要求7所述的方法，其特征在于，若所述BatchNorm层的第一训练参数包括多个第一训练子参数，则将所述多个第一训练子参数进行运算，得到第一中间运算结果；将所述第一中间运算结果以及所述Scale层的第一训练参数与所述卷积层的权值参数融合，得到所述第一融合结果。9.根据权利要求7所述的方法，其特征在于，若所述BatchN...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京中科寒武纪科技有限公司，
类型：发明
国别省市：北京,11