一种神经网络声学模型激活函数定点量化方法技术

本发明专利技术提供一种神经网络声学模型激活函数定点量化方法，该方法具体包括：步骤(1)在DNN模型的第l层，将所述第l‑1层的浮点激活向量中x

A fixed-point quantization method for activation function of neural network acoustic model

The present invention provides a neural network model of acoustic activation function fixed-point quantization method, the method includes steps of: (1) in the L layer of the DNN model, the L 1 layer floating-point activation vector x

【技术实现步骤摘要】
一种神经网络声学模型激活函数定点量化方法
本专利技术涉及语音识别
，特别涉及一种神经网络声学模型激活函数定点量化方法。
技术介绍
在语音识别领域，利用深层神经网络(DeepNeuralNetwork，DNN)进行声学建模取得了很好的效果。DNN的深层结构使得模型具有很强的学习能力，同时需要大量的浮点数乘加运算，DNN的主要运算用如下公式：x(l)＝σ(W(l)·x(l-1))其中，l为层数，x(l)为第l层的激活向量，W(l)为第l层的权值矩阵，x(l-1)为第l-1层的激活向量，σ(·)为激活函数；其一般采用的是sigmoid函数，如下：其中，e-x为指数运算。对DNN模型进行定点量化的方法被用来降低浮点运算量，其原理如下：由于sigmoid函数σ(x)∈(0,1)，可以将浮点型激活值使用无符号8位定点整数表示，即将激活值线性地量化为0～256的整数(为了简洁，以下公式中不含表示层数的上标)：x*＝round(x·256)其中，x*为经过线性定点量化后的激活向量，round(·)为四舍五入取整操作。同时，将权值矩阵使用有符号8位定点整数表示，即将权值线性地量化为-127～127的整数，用如下两个公式(为了简洁，以下公式中不含表示层数的上标)：wmax＝max(|W|)其中，W为权值矩阵，max(|W|)为取出矩阵W中的绝对值最大的元素值，wmax为权值矩阵W中所有元素中的绝对值最大值，W*为线性定点量化后的权值矩阵。对模型的定点量化以后，原本的浮点运算就可以转变为定点运算，从而节省计算成本。模型从浮点转为定点之后，由于数据精度的降低，模型的性能也会略有降低，另一方面，即使经过定点量化把浮点运算转化为定点运算，乘法的数量没有减少，DNN模型依然需要大量的定点乘加运算。因此，要在计算资源有限，尤其是乘法器数量有限的嵌入式设备上应用DNN进行语音识别的声学建模十分困难。
技术实现思路
本专利技术的目的在于，为解决现有的定点量化方法不能降低乘法运算数量的缺陷，本专利技术提供了一种神经网络声学模型激活函数定点量化方法，该方法具体包括：步骤(1)在DNN模型的第l层，将所述第l-1层的浮点激活向量中x(l-1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，K为量化的级数，得到所述第l-1层的线性定点量化的激活向量其中，其中，xi为第l-1层的浮点激活向量x(l-1)的第i维元素，为第l-1层的线性定点量化的激活向量x*(l-1)的第i维元素；步骤(2)对步骤(1)中得到的所述第l-1层的线性定点量化的激活向量x*(l-1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l-1层的分级定点量化激活向量所述第l-1层的分级定点量化激活向量中的任意一个元素的取值需满足：具体对应关系如下：其中，x*(l-1)为第l-1层的线性定点化的激活向量中的元素，x**(l-1)为第l-1层分级定点量化的激活向量中的元素，和分别表示向上取整和向下取整。步骤(3)根据如下公式对第l层进行线性定点量化，即将该层浮点型权值矩阵W(l)的权值wi,j线性地量化为-127到127间的整数：其中，W(l)为包含第l层的权值wi,j(其中i＝1,…,M，j＝1,…,N)的浮点型权值矩阵，即max(|W(l)|)为取出矩阵W(l)的绝对值最大的元素值，为第l层权值矩阵W(l)中所有元素中的绝对值最大值，W*(l)为线性定点量化后的浮点型权值矩阵，round(·)为四舍五入取整操作。步骤(4)根据如下公式，进行DNN第l层的前馈计算：a(l)＝W*(l)·x**(l-1)其中，x**(l-1)为第l-1层的分级定点量化的激活向量；W*(l)为线性定点量化后的浮点型权值矩阵；a(l)为临时变量；a(l)先与解量化因子相乘，再通过sigmoid函数σ(·)，最终得到第l层的浮点型激活向量x(l)。本专利技术的优点在于：本专利技术可以将DNN前馈计算中的大量乘法运算用整数移位操作替代，大大降低了DNN计算对于计算资源，尤其是乘法器的需求；简化DNN前馈计算中的权值矩阵与激活向量的乘法。附图说明图1是本专利技术的神经网络激活函数定点量化方法的流程图图2是实施例中采用的DNN结构示意图具体实施方式以下结合附图对本专利技术作进一步的详细说明。本专利技术提供了一种神经网络声学模型激活函数定点量化方法，将DNN的激活值量化为2的整次幂，通过这种方式，DNN运算中，权值矩阵和激活向量相乘中的定点乘法运算都可以替换成定点数的移位操作。在本实施例中，进行试验的实验环境为：输入特征向量包含572维，具体来讲，输入特征为52维感知线性预测(PLP)特征，并做了前后各5帧的上下文扩展，最终得到52*11＝572维的输入向量，输入层的权值矩阵规模为2048*572。另外，DNN的2个隐层各自包含2048*2048规模的权值矩阵，输出层的权值矩阵规模为19508*2048，输出向量共有19508维，对应于绑定后的上下文相关音素状态。语音识别任务使用的是中文测试集，共有3000小时语音数据作为训练集，2小时数据作为测试集。在本实施例中，如图2所示，所述DNN模型共有4层，以第2层为例，现给出具体的实施方案，如图1所示：步骤(1)在DNN模型的第2层，将所述第1层的浮点激活向量中x(1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，K为量化的级数，得到所述第1层的线性定点量化的激活向量其中，其中，xi为第1层的浮点激活向量x(1)的第i维元素，为第1层的线性定点量化的激活向量x*(1)的第i维元素；步骤(2)对步骤(1)中得到的所述第1层的线性定点量化的激活向量x*(1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第1层的分级定点量化激活向量所述第1层的分级定点量化激活向量中的任意一个元素的取值需满足：具体对应关系如下：其中，x*(1)为第1层的线性定点化的激活向量中的元素，x**(1)为第1层分级定点量化的激活向量中的元素，和分别表示向上取整和向下取整。步骤(3)根据公式(2)和(3)，对第2层进行线性定点量化，即将该层浮点型权值矩阵W(2)的权值wM,N线性地量化为-127到127间的整数：其中，W(2)为包含第2层的权值wi,j(其中i＝1,…,M，j＝1,…,N)的浮点型权值矩阵，规模为M×N即max(|W(2)|)为取出矩阵W(2)的绝对值最大的元素值，为第2层权值矩阵W(2)中所有元素中的绝对值最大值，W*(2)为线性定点量化后的浮点型权值矩阵，round(·)为四舍五入取整操作。步骤(4)根据公式(4)和(5)，进行DNN第2层的前馈计算：a(2)＝W*(2)·x**(1)(4)其中，x**(1)为第1层的分级定点量化的激活向量；W*(2)为线性定点量化后的浮点型权值矩阵；a(2)为临时变量；如图1所示，根据计算机语言，如果判断第2层是输出层，则为DNN输出层，即本实施例中第2层的激活函数，通常使用softmax函数，具体如公式(6-1)和(6-2)所示：其中，e为自然常数，yi为向量y的第i维元素，xi和xk分别为向量x的第i维和第k维元素，和均为指数本文档来自技高网...

【技术保护点】
一种神经网络声学模型激活函数定点量化方法，其特征在于，该方法具体包括：步骤(1)在DNN模型的第l层，将所述第l‑1层的浮点激活向量中x

【技术特征摘要】
1.一种神经网络声学模型激活函数定点量化方法，其特征在于，该方法具体包括：步骤(1)在DNN模型的第l层，将所述第l-1层的浮点激活向量中x(l-1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，K为量化的级数，得到所述第l-1层的线性定点量化的激活向量其中，其中，xi为第l-1层的浮点激活向量x(l-1)的第i维元素，为第l-1层的线性定点量化的激活向量x*(l-1)的第i维元素；步骤(2)对步骤(1)中得到的所述第l-1层的线性定点量化的激活向量x*(l-1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l-1层的分级定点量化激活向量步骤(3)对第l层进行线性定点量化，即将该层浮点型权值矩阵W(l)的权值wM,N线性地量化为-127到127间的整数；步骤(4)进行DNN第l层的前馈计算，最终得到第l层的浮点型激活向量x(l)：a(l)＝W*(l)·x**(l-1)其中，x**(l-1)为第l-1层的分级定点...

【专利技术属性】
技术研发人员：张鹏远，邢安昊，潘接林，颜永红，
申请(专利权)人：中国科学院声学研究所，北京中科信利技术有限公司，
类型：发明
国别省市：北京,11