一种基于混合压缩卷积神经网络的关键词识别系统技术方案

本发明专利技术提出了一种基于混合压缩卷积神经网络的关键词识别系统，属于计算、推算、计数的技术领域。该系统包括模数转换模块、特征提取模块、混合压缩卷积神经网络模块，分别对卷积神经网络的输入值进行高阶残差量化，对神经网络的权重值进行细粒度渐进量化和激活值的低比特量化，再对卷积核进行基于前后级联合评价策略的剪枝，以此降低网络的参数量和模型大小。通过量化来降低神经网络的参数大小，通过剪枝降低网络的计算量，从而达到优化网络的目的。

【技术实现步骤摘要】
一种基于混合压缩卷积神经网络的关键词识别系统
本专利技术公开了一种基于混合压缩卷积神经网络的关键词识别系统，涉及卷积神经网络的压缩优化，属于计算、推算、计数的

技术介绍
由于深度神经网络的性能远远超越了传统机器学习算法，深度学习技术在诸多领域不断推进，在可穿戴设备、机器人和智能家居等领域有着广阔的应用前景，如今通过深度神经网络识别关键词已经取得了比过去好得多的性能，其中，卷积神经网络是非常重要的一种实现方式，但神经网络的规模巨大，与传统方法相比有更多的参数和计算量。规模巨大的深度神经网络需要用大量的存储资源来支撑它的运算。神经网络大量参数产生的较大存储需求往往不利于移动端和便携式设备的小型化，而大量的计算产生的较高功耗使得便携式设备难于长时间运行。因此，对深度神经网络的压缩成为了迫切需求。随着便携式设备的发展，语音识别相关技术有着较为广阔的应用前景，利用现有的压缩神经网络处理语音特征参数影响关键词识别系统的准确率，难以满足语音关键词识别高准确率且低功耗的应用需求，如何在便携式设备中实现语音关键词的高精度识别并降低设备功耗是将关本文档来自技高网...

【技术保护点】
1.一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，包括：/n模数转换模块，将采集的音频信号从模拟信号转换为数字信号后输出至特征提取模块，/n特征提取模块，从模数转换模块输出的数字信号中提取语音特征参数，及，/n混合压缩卷积神经网络模块，通过对各层的输入量进行高阶量化以及对权重值细粒度量化的前向传播训练语音特征参数，前向传播的过程中对激活值进行低比特量化，输出符合精度要求的关键词识别结果。/n

【技术特征摘要】
1.一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，包括：
模数转换模块，将采集的音频信号从模拟信号转换为数字信号后输出至特征提取模块，
特征提取模块，从模数转换模块输出的数字信号中提取语音特征参数，及，
混合压缩卷积神经网络模块，通过对各层的输入量进行高阶量化以及对权重值细粒度量化的前向传播训练语音特征参数，前向传播的过程中对激活值进行低比特量化，输出符合精度要求的关键词识别结果。


2.根据权利要求1所述一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，在保证关键词识别结果精度要求的前提下精简语音特征参数以实现卷积核的剪枝。


3.根据权利要求1所述一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，对各层的输入量进行高阶量化通过迭代量化后的残差直至残差小于设定阈值的方式实现。


4.根据权利要求1所述一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，对权重值细粒度量化通过逐渐增加量化比例因子的方式实现每一层网络权重的渐进量化。


5.根据权利要求1所述一种基于混合压缩卷积神经网络的关键词识别系统，其特征在于，对激活值进行低比特量化的方法为：将神经网络层输出值约束到[0,1]后再缩放至K比特表示的范围内，对缩放后的值取整后再约束到[0,1]。


6.根据权利要求2所述一种基于混合压缩卷积神经网络的关键词识别...

【专利技术属性】
技术研发人员：刘波，李焱，朱文涛，孙煜昊，沈泽昱，杨军，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32