数据处理方法、神经网络的量化方法及相关装置制造方法及图纸

本申请实施例提供一种数据处理方法、神经网络的量化方法及相关装置，该方法包括：获取待处理数据；将待处理数据输入神经网络，确定神经网络的一个或多个卷积层提取的特征图，特征图包含m*n个特征参数，m和n为正整数；确定特征图中每一个特征参数的不确定性，其中，特征参数的不确定性用于表征特征参数在二值化过程中，接近于零的特征参数的符号的波动性；基于特征参数所对应的不确定性计算特征参数的二值化特征，二值化特征用于确定特征矩阵，特征矩阵中包含的m*n个二值化特征与m*n个特征参数一一对应；基于特征矩阵得到待处理数据的处理结果。采用本申请实施例，能够减小内存开销，提高运算速度。提高运算速度。提高运算速度。

【技术实现步骤摘要】
数据处理方法、神经网络的量化方法及相关装置


[0001]本申请涉及人工智能
，尤其涉及一种数据处理方法、神经网络的量化方法及相关装置。

技术介绍

[0002]二值神经网络(Binary Neural Network，BNN)可以将权重和/或特征量等神经网络的参数量化到单个比特，使得模型的参数可以占用更小的存储空间。另外，相比于全精度神经网络中使用浮点数的乘法和累加实现卷积操作来说，二值神经网络可以通按位异或非来实现卷积操作。因此，二值神经网络可以降低模型的计算量，加快模型的推断过程，在很大程度上方便了模型在资源受限设备上的部署。
[0003]但是，二值化会不可避免地带来信息损失，其量化函数不连续性也给网络的优化带来了困难。其中，二值神经网络中的权值优化是导致网络性能下降的主要原因之一。为了解决上述问题，现有技术提供了直接量化的朴素二值化方法，以及使用最小量化误差、改善网络损失函数和减小梯度误差等技术的改进二值化方法。但是，上述方法都强调了权值的梯度大小，而忽略了权值的梯度方向，而权值的梯度方向可以确定权值的优化方向。但是，不稳定的优化方向可能会导致神经网络的收敛速度缓慢和不稳定，因此，如何降低提高优化方向的稳定性是亟需解决的技术问题。

技术实现思路

[0004]本申请实施例提高了一种数据处理方法、神经网络的量化方法及相关装置，能够减小内存开销，提高运算速度。
[0005]第一方面，本申请实施例提供了一种数据处理方法，该方法可以包括：获取待处理数据；将待处理数据输入神经网络，确定神经网络的一个或多个卷积层提取的特征图，特征图包含 m*n个特征参数，m和n为正整数；确定特征图中每一个特征参数的不确定性，其中，特征参数的不确定性用于表征特征参数在二值化过程中，接近于零的特征参数的符号的波动性；基于特征参数所对应的不确定性计算特征参数的二值化特征，二值化特征用于确定特征矩阵，特征矩阵中包含的m*n个二值化特征与m*n个特征参数一一对应；基于特征矩阵得到待处理数据的处理结果。
[0006]实施本申请实施例，可以考虑到神经网络中特征参数的二值化所带来的不确定性影响，从而通过不确定性函数来定量计算特征参数的不确定性。并且，为了减少推理过程中的不确定性，提高推理的稳定性，通过计算得到的特征参数的不确定性对特征参数进行二值化处理。这样，可以提高神经网络的运算速度和稳定性。
[0007]在一种可能的实现方式中，神经网络为基于二值化权重训练得到的，二值化权重为根据二值化权重对应的权重参数的不确定性对权重参数进行二值化处理得到的，权重参数的不确定性用于表征权重参数在二值化过程中，接近于零的权重参数的符号的波动性。可以理解的是，在对模型的训练过程中考虑到神经网络中权重参数以及特征数值的二值化
所带来的不确定性影响，从而通过不确定性函数来定量计算不确定性。通过计算得到的不确定性对神经网络参数(比如说权重参数)进行二值化。这样，可以提高神经网络的收敛速度和稳定性。
[0008]在一种可能的实现方式中，确定特征图中每一个特征参数的不确定性，包括：根据不确定性函数计算特征图中每一个特征参数的不确定性，其中，在不确定函数的自变量越接近于 0时，不确定性函数的值越大；在不确定性函数的自变量的绝对值越大时，不确定性函数的值越小。其中，不确定性函数可以计算特征图中特征参数在推理过程中的不确定性，提升网络性能。
[0009]在一种可能的实现方式中，不确定性函数的公式为：
[0010][0011]其中，为目标特征参数的不确定性，f(x
j
)为与目标特征参数相邻的a个特征参数的不确定性，目标参数为特征图上的任意一个参数，i，j，a均为正整数。为了提高特征参数的不确定性的稳定性，可以对特征图中一个或多个特征参数的不确定性进行联合考虑，来综合计算目标特征参数的不确定性。
[0012]在一种可能的实现方式中，基于特征参数所对应的不确定性计算特征参数的二值化特征，包括：在目标特征参数的不确定性小于或等于第二预设阈值时，通过符号函数对目标特征参数进行二值化处理，得到目标特征参数的二值化特征。
[0013]在一种可能的实现方式中，基于特征参数所对应的不确定性计算特征参数的二值化特征，包括：在目标特征参数的不确定性大于第二预设阈值时，通过符号函数对平均池化后的与目标特征参数相邻的一个或多个特征参数进行二值化处理，得到目标位置点的二值化特征。
[0014]基于不确定性的相关计算对特征参数进行二值化处理，对于不确定性较大(也即目标位置点的不确定性大于第二预设阈值)的特征参数采用平均池化并且引入sign函数，并从空间维度对目标位置点的特征参数进行二值化。
[0015]第二方面，本申请实施例提供了一种神经网络的量化方法，该方法可以包括：获取第一权重矩阵，第一权重矩阵中包含神经网络中用于提取特征的参数，第一权重矩阵包含s*k个权重参数，s和k为正整数；计算第一权重矩阵中每一个权重参数的不确定性，其中，权重参数的不确定性用于表征权重参数在二值化过程中，接近于零的权重参数的符号的波动性；基于权重参数的不确定性计算权重参数的二值化权重，二值化权重用于确定第二权重矩阵，第二权重矩阵中包含的s*k个二值化权重与s*k个权重参数一一对应。
[0016]实施本申请实施例，可以考虑到神经网络中权重参数的二值化所带来的不确定性影响，从而通过不确定性函数来定量计算不确定性。并且，为了减少训练过程中的不确定性，提高训练的稳定性，可以通过计算得到的不确定性对权重参数进行二值化处理。这样，可以提高神经网络的收敛速度和稳定性。
[0017]在一种可能的实现方式中，计算第一权重矩阵中每一个权重参数的不确定性，包括：根据不确定性函数计算第一权重矩阵中每一个权重参数的不确定性，其中，在不确定函数的自变量越接近于0时，不确定性函数的值越大；在不确定性函数的自变量的绝对值越大
时，不确定性函数的值越小。
[0018]其中，不确定性函数可以确定权重参数在迭代更新过程中权重参数的不确定性，从而完善参数量化机制，提升网络性能。
[0019]在一种可能的实现方式中，根据不确定性函数计算第一权重矩阵中每一个权重参数的不确定性，包括：在当前迭代次数小于或等于预设迭代次数时，通过不确定性函数计算当前迭代次数所对应的第一权重矩阵中每一个权重参数的不确定性。
[0020]在一种可能的实现方式中，根据不确定性函数计算第一权重矩阵中每一个权重参数的不确定性，包括：在当前迭代次数大于预设迭代次数时，根据在参考迭代次数内计算得到的第一权重矩阵中每一个权重参数的不确定性，计算当前迭代次数所对应的第一权重矩阵中每一个权重参数的不确定性，其中，参考迭代次数为最接近当前迭代次数的预设迭代次数。
[0021]为了使得神经网络的不确定性最小，可以通过与当前迭代次数最接近的预设迭代次数内的权重参数的不确定性来计算当前迭代次数的权重参数的不确定性。
[0022]在一种可能的实现方式中，基于权重参数所对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括:获取待处理数据；将所述待处理数据输入神经网络，确定所述神经网络的一个或多个卷积层提取的特征图，所述特征图包含m*n个特征参数，m和n为正整数；确定所述特征图中每一个特征参数的不确定性，其中，所述特征参数的不确定性用于表征所述特征参数在二值化过程中，接近于零的特征参数的符号的波动性；基于所述特征参数所对应的不确定性计算所述特征参数的二值化特征，所述二值化特征用于确定特征矩阵，所述特征矩阵中包含的m*n个二值化特征与所述m*n个特征参数一一对应；基于所述特征矩阵得到所述待处理数据的处理结果。2.根据权利要求1所述的方法，其特征在于，所述神经网络为基于二值化权重训练得到的，所述二值化权重为根据所述二值化权重对应的权重参数的不确定性对所述权重参数进行二值化处理得到的，所述权重参数的不确定性用于表征所述权重参数在二值化过程中，接近于零的权重参数的符号的波动性。3.根据权利要求1或2所述的方法，其特征在于，所述确定所述特征图中每一个特征参数的不确定性，包括：根据不确定性函数计算所述特征图中每一个特征参数的不确定性，其中，在所述不确定函数的自变量越接近于0时，所述不确定性函数的值越大；在所述不确定性函数的自变量的绝对值越大时，所述不确定性函数的值越小。4.根据权利要求3所述的方法，其特征在于，所述根据不确定性函数计算特征图中每一个特征参数的不确定性的公式为：其中，为目标特征参数的不确定性，f(x
j
)为与所述目标特征参数相邻的a个特征参数的不确定性，所述目标参数为所述特征图上的任意一个参数，i，j，a均为正整数。5.根据权利要求4所述的方法，其特征在于，所述基于所述特征参数所对应的不确定性计算所述特征参数的二值化特征，包括：在所述目标特征参数的不确定性小于或等于第二预设阈值时，通过符号函数对所述目标特征参数进行二值化处理，得到所述目标特征参数的二值化特征。6.根据权利要求4所述的方法，其特征在于，所述基于所述特征参数所对应的不确定性计算所述特征参数的二值化特征，包括：在所述目标特征参数的不确定性大于所述第二预设阈值时，通过所述符号函数对平均池化后的与所述目标特征参数相邻的一个或多个特征参数进行二值化处理，得到所述目标特征参数的二值化特征。7.一种神经网络的量化方法，其特征在于，包括：获取第一权重矩阵，所述第一权重矩阵中包含神经网络中用于提取特征的参数，所述第一权重矩阵包含s*k个权重参数，s和k为正整数；计算所述第一权重矩阵中每一个权重参数的不确定性，其中，所述权重参数的不确定
性用于表征所述权重参数在二值化过程中，接近于零的权重参数的符号的波动性；基于所述权重参数所对应的不确定性计算所述权重参数的二值化权重，所述二值化权重用于确定第二权重矩阵，所述第二权重矩阵中包含的s*k个二值化权重与所述s*k个权重参数一一对应。8.根据权利要求7所述的方法，其特征在于，所述计算所述第一权重矩阵中每一个权重参数的不确定性，包括：根据不确定性函数计算所述第一权重矩阵中每一个权重参数的不确定性，其中，在所述不确定函数的自变量越接近于0时，所述不确定性函数的值越大；在所述不确定性函数的自变量的绝对值越大时，所述不确定性函数的值越小。9.根据权利要求8所述的方法，其特征在于，所述根据不确定性函数计算所述第一权重矩阵中每一个权重参数的不确定性，包括：在当前迭代次数小于或等于预设迭代次数时，根据所述不确定性函数计算所述当前迭代次数所对应的第一权重矩阵中每一个权重参数的不确定性。10.根据权利要求9所述的方法，其特征在于，所述根据不确定性函数计算所述第一权重矩阵中每一个权重参数的不确定性，包括：在所述当前迭代次数大于所述预设迭代次数时，根据在参考迭代次数内计算得到的第一权重矩阵中每一个权重参数的不确定性，计算所述当前迭代次数所对应的第一权重矩阵的每一个权重参数的不确定性，其中，所述参考迭代次数为最接近所述当前迭代次数的预设迭代次数。11.根据权利要求7至10任一项所述的方法，其特征在于，所述基于所述权重参数所对应的不确定性计算所述权重参数的二值化权重，包括：在当前迭代次数所对应的所述第一权重矩阵中的目标权重参数的不确定性小于或等于第一值时，通过符号函数对当前迭代次数所对应的第一权重矩阵中的目标权重参数进行二值化处理，得到二值化权重；其中，所述第一值为所述当前迭代次数的前一迭代次数的权重参数的不确定性和第一预设阈值中的最小值，所述目标权值参数为所述第一权重矩阵中的任意一个参数。12.根据权利要求7至10任一项所述的方法，其特征在于，所述基于所述权重参数所对应的不确定性计算所述权重参数的二值化权重，包括：在当前迭代次数所对应的所述第一权重矩阵中的目标权重参数的不确定性大于第一值时，将所述当前迭代次数的前一迭代次数所对应的第一权重矩阵中的目标权重参数的二值化权重，作为所述当前迭代次数所对应的第一权重矩阵中的目标权重参数的二值化权重，其中，所述第一值为所述当前迭代次数的前一迭代次数的权重参数的不确定性和第一预设阈值中的最小值，所述目标权值参数为所述第一权重矩阵中的任意一个参数。13.根据权利要求7至12任一项所述的方法，其特征在于，还包括：获取训练数据；将所述训练数据输入神经网络，确定所述神经网络的一个或多个卷积层提取的特征图；计算所述特征图中每一个特征参数的二值化特征，其中，所述特征图包含m*n个特征参数，m和n为正整数，所述特征图为在所述神经网络的一个或多个卷积层中提取的训练数据的特征。
14.根据权利要求13所述的方法，其特征在于，所述计算所述特征图中每一个特征参数的二值化特征，包括：确定所述特征图中每一个特征参数的不确定性，其中，所述特征参数的不确定性用于表征所述特征参数在二值化过程中，接近于零的特征参数的符号的波动性；基于所述特征参数所对应的不确定性计算所述特征参数的二值化特征，所述二值化特征用于确定特征矩阵，所述特征矩阵中包含的m*n个二值化特征与所述m*n个特征参数一一对应。15.根据权利要求14所述的方法，其特征在于，所述确定所述特征图中每一个特征参数的不确定性，包括：根据不确定性函数计算所述特征图中特征参数的不确定性，其中，在所述不确定函数的自变量越接近于0时，所述不确定性函数的值越大；在所述不确定性函数的自变量的绝对值越大时，所述不确定性函数的值越小。16.根据权利要求15所述的方法，其特征在于，所述不确定性函数公式为：其中，为目标特征参数的不确定性，f(x
j
)为与所述目标特征参数相邻的a个特征参数的不确定性，i，j，a均为自然数。17.根据权利要求16所述的方法，其特征在于，所述基于所述特征参数所对应的不确定性计算所述特征参数的二值化特征，包括：在所述目标特征参数的不确定性小于或等于第二预设阈值时，通过符号函数对所述目标特征参数进行二值化处理，得到所述目标特征参数的二值化特征。18.根据权利要求16所述的方法，其特征在于，所述基于所述特征参数所对应的不确定性计算所述特征参数的二值化特征，包括：在所述目标特征参数的目标不确定性大于所述第二预设阈值时，通过所述符号函数对平均池化后的与所述目标特征参数相邻的一个或多个特征参数进行二值化处理，得到所述目标特征参数的二值化特征。19.一种数据处理装置，其特征在于，所述装置，包括：获取单元，用于获取待处理数据；输入单元，用于将所述待处理数据输入神经网络，确定所述神经网络的一个或多个卷积层提取的特征图，所述特征图包含m*n个特征参数，m和n为正整数；计算单元，用于确定所述特征图中每一...

【专利技术属性】
技术研发人员：刘传建，韩凯，王云鹤，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：