级间激活值量化方法及装置制造方法及图纸

一种级间激活值量化方法及装置，所述方法包括：获取神经网络上一级激活层的激活值；采用卷积层预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入；在当前激活层对加权输入进行量化得到当前激活层的激活值。使得在对当前激活层加权输入进行量化时能够减少后续卷积层的乘法复杂度，相对于现有技术中复杂的卷积运算，本发明专利技术提供的技术方案能够对神经网络在进行激活值量化时之后减少卷积层乘法运算负担，从而提高了神经网络运行效率。

Quantification method and device for interstage activation value

An inter-stage activation value quantization method and apparatus comprising: acquiring activation values of the upper activation layer of the neural network; weighting activation values of the upper activation layer with the preset weights of the convolution layer to obtain the weighted input of the current activation layer; and quantifying the weighted input at the current activation layer to obtain the current activation layer. Activation value. Compared with the complex convolution operation in the prior art, the technical scheme provided by the present invention can reduce the convolution layer multiplication operation burden after quantizing the activation value of the neural network, thereby improving the neural network. Operation efficiency.

【技术实现步骤摘要】
级间激活值量化方法及装置
本专利技术涉及神经网络领域，具体涉及一种级间激活值量化方法及装置。
技术介绍
随着人工智能的发展，尤其是卷积神经网络的发展，其在智能监控领域得到了广泛的运用，成为不可缺少的一个工具，比如人脸识别、车辆检测、物体识别等。但是随着现代卷积神经网络的层数加深，网络的复杂度也变得越来越大，比如说对于一个卷积神经网络，其卷积层数量可以超过10层，此外所有卷积层的计算量几乎占据了整个网络计算量的80％。这就导致类似的卷积神经网络不能够运行在监控摄像头等嵌入式设备上。因此，如何降低神经网络的计算复杂度，是神经网络算法所需要解决的问题。现有技术中，通常会对神经网络的级间激活和每一层的权重进行一些量化操作，从而使得神经网络中所有的矩阵乘法变成指数移位操作。譬如现有技术中常采用线性量化(LinearQuantization)或者非线性量化(LogQuantization)来量化级间激活值，从而限制激活值的取值范围，但是，在量化过程中都不可避免的需要涉及到乘除法计算，从而给网络量化带来了额外的计算量。此外，也有通过限制只对卷积层输出特征图(featuremap)的几个位置进行取值，而其他位置通过插值方式得到，而此时需要采用欧式距离进行插值，依旧需要额外的乘法计算量。因此，如何对神经网络在进行激活值量化时减少乘法运算负担来提高运行效率成为亟待解决的技术问题。
技术实现思路
本专利技术要解决的技术问题在于如何对神经网络在进行激活值量化后减少乘法运算负担来提高运行效率。为此，根据第一方面，本专利技术实施例公开了一种级间激活值量化方法方法，包括：获取神经网络上一级激活层的激活值；采用预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入；在当前激活层对加权输入进行量化得到当前激活层的激活值。可选地，预设权重包括0、-1和1。可选地，获取神经网络上一级激活层的激活值包括：分别获取上一级激活层的各个位置的激活值；采用预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入包括：根据上一级激活层的激活值所在位置提取对应的预设权重；采用提取的预设权重对上一级激活层的激活值进行加权得到当前激活层与上一级激活层的激活值对应位置的加权输入。根据第一方面，本专利技术实施例公开了一种级间激活值量化装置，包括：获取模块，用于获取神经网络上一级激活层的激活值；加权模块，用于采用预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入；量化模块，用于在当前激活层对加权输入进行量化得到当前激活层的激活值。可选地，预设权重包括0、-1和1。可选地，获取模块具体用于分别获取上一级激活层的各个位置的激活值；加权模块包括：提取单元，用于根据上一级激活层的激活值所在位置提取对应的预设权重；计算单元，用于采用提取的预设权重对上一级激活层的激活值进行加权得到当前激活层与上一级激活层的激活值对应位置的加权输入。本专利技术技术方案，具有如下优点：本专利技术实施例提供的级间激活值量化方法及装置，由于在获取上一级激活层的激活值后，采用预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入，使得在对当前激活层加权输入进行量化时能够减少卷积层的乘法复杂度，相对于现有技术中复杂的卷积运算，本专利技术提供的技术方案能够对神经网络在进行激活值量化时减少乘法运算负担，从而提高了量化运行效率。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一种级间激活值量化方法流程图；图2为本专利技术实施例一种级间激活值量化装置原理框图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。为了对神经网络在进行激活值量化时减少乘法运算负担来提高运行效率，本实施例公开了一种级间激活值量化方法，本实施例公开的神经网络级间激活值量化方法适用于需要量化激活值的神经网络结构，例如BP、RNN、卷积神经网络等。本实施例中，以卷积神经网络为例，各级神经网络包括relu层、激活层和量化层，当然，在一些实施例中，各层可以进行适当的合并或者拆分，也可以根据需要增加适当的神经网络层。请参考图1，为该级间激活值量化方法流程图，该级间激活值量化方法包括：步骤S101，获取神经网络上一级激活层的激活值。对于设计好的神经网络模型(例如卷积神经网络模型)，在该网络模型未经过训练时，需要对激活层ReLU之后的非负激活值进行量化。本实施例中，在对本级激活层的各个激活值进行量化时，参照上一级激活层的激活值进行量化，因此，需要获取神经网络上一级激活层的激活值。步骤S102，采用预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入。为了减少运算量，在具体实施例中，预设权重可以优选简单的数值，本实施例中，预设权重为-1、0和1。本实施例中，对上一级激活层的激活值进行加权后累加可以得到当前激活层的加权输入。在具体实施例中，在对神经网络训练之后，可以确定加权时选择的预设权重。步骤S103，在当前激活层对加权输入进行量化得到当前激活层的激活值。本实施例中，将通过预设权重对上一级激活层的激活值进行加权后得到的数据作为当前激活层的加权输入，而后在当前激活层对加权输入进行相应的量化运算即可得到垫钱当前激活层的激活值。在可选的实施例中，在执行步骤S101的操作中，获取神经网络上一级激活层的激活值包括：分别获取上一级激活层的各个位置的激活值；在执行步骤S102的操作中，采用预设权重对所述上一级激活层的激活值进行加权得到当前激活层的加权输入包括：根据上一级激活层的激活值所在位置提取对应的预设权重；采用提取的预设权重对上一级激活层的激活值进行加权得到当前激活层与上一级激活层的激活值对应位置的加权输入。具体地，例如分别获取上一级激活层的激活值为s0、s1、s2、s本文档来自技高网...

【技术保护点】
1.一种级间激活值量化方法，其特征在于，包括：获取神经网络上一级激活层的激活值；采用预设权重对所述上一级激活层的激活值进行加权得到当前激活层的加权输入；在所述当前激活层对所述加权输入进行量化得到所述当前激活层的激活值。

【技术特征摘要】
1.一种级间激活值量化方法，其特征在于，包括：获取神经网络上一级激活层的激活值；采用预设权重对所述上一级激活层的激活值进行加权得到当前激活层的加权输入；在所述当前激活层对所述加权输入进行量化得到所述当前激活层的激活值。2.如权利要求1所述的级间激活值量化方法，其特征在于，所述预设权重包括0、-1和1。3.如权利要求1或2所述的级间激活值量化方法，其特征在于，所述获取神经网络上一级激活层的激活值包括：分别获取所述上一级激活层的各个位置的激活值；所述采用预设权重对所述上一级激活层的激活值进行加权得到当前激活层的加权输入包括：根据所述上一级激活层的激活值所在位置提取对应的预设权重；采用所述提取的预设权重对所述上一级激活层的激活值进行加权得到所述当前激活层与所述上一级激活层的激活值对应位置的加...

【专利技术属性】
技术研发人员：许震，谢波，张如高，
申请(专利权)人：新智认知数据服务有限公司，
类型：发明
国别省市：上海,31