一种基于混合压缩卷积神经网络的关键词识别系统技术方案

本发明专利技术提出了一种基于混合压缩卷积神经网络的关键词识别系统，属于计算、推算、计数的技术领域。该系统包括模数转换模块、特征提取模块、混合压缩卷积神经网络模块，分别对卷积神经网络的输入值进行高阶残差量化，对神经网络的权重值进行细粒度渐进量化和激活值的低比特量化，再对卷积核进行基于前后级联合评价策略的剪枝，以此降低网络的参数量和模型大小。通过量化来降低神经网络的参数大小，通过剪枝降低网络的计算量，从而达到优化网络的目的。

【技术实现步骤摘要】
一种基于混合压缩卷积神经网络的关键词识别系统
本专利技术公开了一种基于混合压缩卷积神经网络的关键词识别系统，涉及卷积神经网络的压缩优化，属于计算、推算、计数的

技术介绍
由于深度神经网络的性能远远超越了传统机器学习算法，深度学习技术在诸多领域不断推进，在可穿戴设备、机器人和智能家居等领域有着广阔的应用前景，如今通过深度神经网络识别关键词已经取得了比过去好得多的性能，其中，卷积神经网络是非常重要的一种实现方式，但神经网络的规模巨大，与传统方法相比有更多的参数和计算量。规模巨大的深度神经网络需要用大量的存储资源来支撑它的运算。神经网络大量参数产生的较大存储需求往往不利于移动端和便携式设备的小型化，而大量的计算产生的较高功耗使得便携式设备难于长时间运行。因此，对深度神经网络的压缩成为了迫切需求。随着便携式设备的发展，语音识别相关技术有着较为广阔的应用前景，利用现有的压缩神经网络处理语音特征参数影响关键词识别系统的准确率，难以满足语音关键词识别高准确率且低功耗的应用需求，如何在便携式设备中实现语音关键词的高精度识别并降低设备功耗是将关键词识别系统在便携式设备上广泛应用亟待解决的问题，本申请旨在通过多种方法压缩神经网络模型，使关键词识别系统具有较小的内存占用量和较低的计算量，减少硬件实施时所消耗的资源。
技术实现思路
本专利技术的专利技术目的是针对上述
技术介绍
的不足，提出一种基于混合压缩卷积神经网络的关键词识别系统，以满足神经网络在移动端和便携式设备上部署的需求，并低功耗、高准确率地完成关键字识别任务，解决了现有语音关键词识别系统难以在移动终端和便携式设备中实现的技术问题。本专利技术为实现上述专利技术目的采用如下技术方案：一种基于混合压缩卷积神经网络的关键词识别系统，包括：模数转换器模块、特征提取模块和混合压缩卷积神经网络模块。其中，混合压缩卷积神经网络模块又包括：输入值的高阶残差量化模块、权重值的细粒度渐进量化模块、激活值的低比特量化模块以及基于前后级联合评价策略的卷积核级剪枝模块。基于混合压缩卷积神经网络的关键词识别系统，先由模数转换器模块将真实的人声由模拟信号转变到数字语音信号，然后将所得到的数字语音信号输入到特征提取模块里，经过特征提取模块提取出的语音特征信息再输入到混合压缩卷积神经网络模块里训练。权重值的细粒度渐进量化模块通过渐进量化的方式将权重量化为二值，该过程主要分为以下三个部分：(1)权重分组，(2)权重基于分组进行量化，(3)网络训练。首先是权重分组，将全精度浮点型网络模型中每一层的权重数据分为两组，分组的依据是权重数值绝对值的大小，由于不同的大小代表了不同的重要性，数值较大的权重有更强的重要性，选取一定比例的数值较大的权重，比例设为C，将该组权重作为量化组，其余1-C比例的权重作为固定组，然后基于第一步的分组情况，对更重要的量化组进行量化，而固定组的权重保持原值暂时不参与量化，作此处理后对建立的低比特网络模型重新训练以补偿量化给网络模型造成的精度损失。继续对未量化的权重参数重复上述三种操作，不断迭代直至模型权重全部量化为止。此过程建立了互补的两个部分：低比特的网络模型和重训练补偿精度损失。渐进量化策略有更小的信息损失，确保网络模型准确率降低得更少。激活值的低比特量化模块对将网络每一层的输出值(也即下一层网络的输入值)进行量化，量化的位宽一般取1、2、4、8比特。对激活值的量化分为两个部分，首先通过约束函数将输出值约束到[0,1]，然后对约束值进行量化。以A表示待量化的输出值，K为量化的位宽。其中，K是可配置的，当K＝1即量化到1比特时，即对网络进行了二值化处理。输出值在进行数值范围约束之前的数据处理将在本小节后面的网络调整部分介绍。为进行量化，需要先确保待量化数值的范围为[0,1]，为此约束函数h(A)将小于零的值归为0而将大于1的值归为1，公式如下所示：h(A)＝clip(A,0.0,1.0)。然后对Abound(A的约束值，Abound＝h(A))进行K比特量化，这通过量化函数Q(x)实现，Q(x)实施过程分为如下步骤：(1)：将Abound缩放到K比特可以表示的范围内[0,2K-1]，(2)：将缩放后的值四舍五入取整，(3)：仍将输出约束到[0,1]，整个量化函数如下所示：输入值的高阶残差量化模块将输入量化为K比特的过程是：根据量化后的残差是否小于一个较小的阈值以判断是否需要对残差继续量化，通过阈值进行动态迭代直至量化后的残差符合要求。首先，将输入量化为K比特，为了尽可能多地保留特征减少信息损失，对量化后的残差继续进行K比特量化，通过不断迭代直至量化后的残差小于设定的阈值，将各次的量化值作为输入。输入第一层后，将其经过第一层卷积层处理的对应输出相加后作为第一层卷积层的最终输出。首先，对输入X进行K比特量化，量化的结果作为一阶量化值H1，然后，将H1作为第一层卷积层的输入，经过第一层卷积计算后的输出值用Y1表示，判断一阶量化后的残差R1(X)，如果残差大于设定的阈值，则继续进行量化，此时，量化的对象是一阶量化后的残差值R1(X)，量化结果为二阶量化值H2，将H2经过第一层卷积层计算的输出用Y2表示；判断二阶量化后的残差R2(X)，若残差值小于设定的阈值则不再继续量化，若残差值仍大于设定阈值则继续对残差进行量化，直至量化后的残差小于设定阈值；最后，将各阶量化值经过第一层卷积层的输出值Y1、Y2等相加作为第一层卷积层的总输出。输入X的高阶残差量化近似值以及各阶残差公式如下所示：R0(X)＝X，其中，i＝1,2,…,K，Ri(X)表示输入X经i阶量化后的残差值。在对输入数据量化前先将输入同比例缩放到[0,1]的范围，然后按照激活值的低比特量化模块对激活值的量化方法进行比特的量化，将此量化函数记为Quantization(X)。基于前后级联合评价策略的卷积核级剪枝模块通过剪枝去掉不含信息量的参数实施以卷积结果为导向的多级联合评价，其过程为：1)用第i层的输入特征图的一个子集作为第i层的输入，假如这个子集输入得到了剪枝前第i层的相近输出，那么这个子集以外的特征图就可以去掉了；2)因为第i层的一个输入特征图是由第i-1层的一个卷积核产生的，因此去掉第i层的特征图的同时也就可以去掉第i-1层相应的卷积核；3)对每一层进行迭代。保留下的特征图得到了与剪枝前接近的输出，这也可以理解为丢弃的特征图与卷积核的卷积输出近似为零。卷积核在输入数据X子区域的卷积公式如下所示：卷积核以此计算方式在X滑动得出一个特征图。记Xl为第l层的输入特征图，将第二层的第i个卷积核卷积后的特征图记为第二层共有M个卷积核，因此第二个卷积层的输出特征图有M个，以Y2表示整个输出。注意，在涉及特征图时符号∑不表示求和，而是表示集合的意思。设剪枝率为r，则丢弃第一层的卷积核数为R＝K×r,保留K-R个卷积核。因此，在第二层输入的K个特征图中求出一个子集，这个子集含有特征图的个数K2＝K-R，用符号表示将第二层剪枝后的卷本文档来自技高网...

【技术保护点】
1.一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，包括：/n模数转换模块，将采集的音频信号从模拟信号转换为数字信号后输出至特征提取模块，/n特征提取模块，从模数转换模块输出的数字信号中提取语音特征参数，及，/n混合压缩卷积神经网络模块，通过对各层的输入量进行高阶量化以及对权重值细粒度量化的前向传播训练语音特征参数，前向传播的过程中对激活值进行低比特量化，输出符合精度要求的关键词识别结果。/n

【技术特征摘要】
1.一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，包括：
模数转换模块，将采集的音频信号从模拟信号转换为数字信号后输出至特征提取模块，
特征提取模块，从模数转换模块输出的数字信号中提取语音特征参数，及，
混合压缩卷积神经网络模块，通过对各层的输入量进行高阶量化以及对权重值细粒度量化的前向传播训练语音特征参数，前向传播的过程中对激活值进行低比特量化，输出符合精度要求的关键词识别结果。


2.根据权利要求1所述一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，在保证关键词识别结果精度要求的前提下精简语音特征参数以实现卷积核的剪枝。


3.根据权利要求1所述一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，对各层的输入量进行高阶量化通过迭代量化后的残差直至残差小于设定阈值的方式实现。


4.根据权利要求1所述一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，对权重值细粒度量化通过逐渐增加量化比例因子的方式实现每一层网络权重的渐进量化。


5.根据权利要求1所述一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，对激活值进行低比特量化的方法为：将神经网络层输出值约束到[0,1]后再缩放至K比特表示的范围内，对缩放后的值取整后再约束到[0,1]。


6.根据权利要求2所述一种基于混合压缩卷积神经网络的关键词识别...

【专利技术属性】
技术研发人员：刘波，李焱，朱文涛，孙煜昊，沈泽昱，杨军，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32