【技术实现步骤摘要】
一种卷积层量化方法及其装置
本申请涉及人工智能领域，尤其涉及一种卷积层量化方法及其装置。
技术介绍
深度卷积神经网络在训练完成后拥有几百甚至上千万的参数，例如，卷积神经网络模型参数中包括的权重参数和偏置参数，还有每一层卷积层的特征图参数等。并且模型参数和特征图参数的存储都是基于32位比特进行的。由于参数较多并且数据量较大，整个卷积计算过程需要消耗大量的存储和计算资源。而深度卷积神经网络的发展朝着“更深、更大、更复杂”的方向发展，就深度卷积神经网络的模型尺寸来说，根本无法移植到手机端或嵌入式芯片当中，就算是想通过网络传输，较高的带宽占用率也往往成为工程实现的难题。目前，对于在不降低卷积神经网络精度的前提下降低卷积神经网络的复杂度的解决方案主要是利用对卷积神经网络的参数进行量化的方法实现。但是目前量化的方法使用直通估计器(straightthroughestimator，STE)来近似计算网络参数的梯度，这个梯度是不准确的，进而会影响网络参数的更新精度。
技术实现思路
第一方面，本申请提供了一种卷积层...
【技术保护点】
1.一种卷积量化方法，其特征在于，所述方法包括：/n获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；/n通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括...
【技术特征摘要】
1.一种卷积量化方法，其特征在于，所述方法包括：
获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
2.根据权利要求1所述的方法，其特征在于，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述根据目标损失函数迭代更新所述权重值，包括：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
3.根据权利要求2所述的方法，其特征在于，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述通过所述第一卷积神经网络对所述图像数据进行处理，包括：
通过所述第一卷积神经网络对所述图像数据进行多次前馈处理，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
4.根据权利要求1至3任一所述的方法，其特征在于，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
5.根据权利要求4所述的方法，其特征在于，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述方法还包括：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
6.根据权利要求1至5任一所述的方法，其特征在于，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
7.根据权利要求1至6任一所述的方法，其特征在于，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
8.一种卷积层量化方法，其特征在于，所述方法包括：
获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
9.根据权利要求8所述的方法，其特征在于，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述根据目标损失函数迭代更新所述权重值，包括：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
10.根据权利要求9所述的方法，其特征在于，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述对所述第一卷积神经网络进行前馈，包括：
对所述第一卷积神经网络进行多次前馈，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
11.根据权利要求8至10任一所述的方法，其特征在于，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
12.根据权利要求11所述的方法，其特征在于，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述方法还包括：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
13.根据权利要求8至12任一所述的方法，其特征在于，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
14.根据权利要求8至13任一所述的方法，其特征在于，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
15.一种卷积层量化装置，其特征在于，所述装置包括：
获取模块，用于获取图像数据、标注值、第一卷积...
【专利技术属性】
技术研发人员：韩凯，杨朝晖，王云鹤，许春景，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。