深度神经网络的优化方法及系统技术方案

本发明专利技术公开了一种深度神经网络的优化方法及系统，该方法包括：获取训练数据；根据所述训练数据对深度神经网络进行训练，获得所述深度神经网络各层间的权重参数矩阵；确定至少一个待优化的权重参数矩阵，所述待优化的权重参数矩阵选自所述深度神经网络的所有相邻两层之间的权重参数矩阵的集合中；对所述待优化的权重参数矩阵进行优化，并使所述待优化的权重参数矩阵中的权重参数的个数减少。应用本发明专利技术可以显著去除模型参数之间的冗余性、减少有效模型参数的数目，将优化后的深度神经网络应用于语音识别系统，可进一步显著减少识别解码中计算深度神经网络输出后验概率的运算量，从而明显提升了使用深度神经网络模型进行识别解码的速度。

【技术实现步骤摘要】

本专利技术涉及信号处理领域，尤其涉及一种深度神经网络的优化方法及系统。
技术介绍
语音识别即让机器听懂人说的话，将语音信号转化为计算机可识别的输入。近20 年来语音识别技术取得了显著成效，开始从实验室走向市场。目前基于语音识别技术的语 音输入，语音检索，语音翻译等得到了广泛的运用。随着科技的进步，信息的爆炸性增长，可 以获得的语音数据也越来越多，如何利用海量的数据训练一个语音识别系统，使语音识别 率达到更高是实际应用中的一项难题。 传统自动连续语音识别系统主要采用基于隐马尔科夫模型（HiddenMarkov Model,HMM)和高斯混合模型（GaussianMixtureModel,GMM)的GMM-HMM语音识别系统。 GMM-HMM语音识别系统使用HMM对语音信号的时序结构进行建模，每个HMM状态的输出概率 采用混合高斯模型模拟。近年来基于深度神经网络（DeepNeuralNetworks,DNN)和隐马 尔科夫模型的DNN-HMM语音识别系统受到研究人员越来越多的关注，DNN-HMM系统采用DNN 替代GMM模拟每个HMM状态的输出概率。相比于GMM模型，DNN模型的描述能力更强，能够 更好地模拟非常复杂的数据分布，并且能够很好地学习到数据上下文的信息，因此相对于 GMM-HMM系统，DNN-HMM系统能够取得显著的性能提升。 然而尽管DNN-HMM系统在性能上具有明显优势，但在实际应用中依然较难推广， 主要原因在于DNN-HMM的模型复杂度较高，模型训练和解码时所需时间均远远超出了 GMM-HMM系统。比如通常情况下DNN模型中隐含层个数至少有四至六个，且每个隐含层的 节点个数都由系统预先设定相同数值，如2048或者2560个节点。显然所述模型的拓扑结 构较为复杂且模型参数众多，给大数据库上的模型训练及后续语音解码带来较大的运算压 力，导致系统运行效率过慢，不利于系统实用化的推广和更新。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供一种深度神经网络的优化方法及 系统，在不损失数据模拟性能情况下极大地减少模型参数量，进而显著加快语音识别引擎 的解码速度，提高语音识别系统性能。 为实现上述目的，本专利技术的技术方案是： -种深度神经网络的优化方法，包括： 获取训练数据； 根据所述训练数据对深度神经网络进行训练，获得所述深度神经网络各层间的权 重参数矩阵； 确定至少一个待优化的权重参数矩阵，所述待优化的权重参数矩阵选自所述深度 神经网络的所有相邻两层之间的权重参数矩阵的集合中； 对所述待优化的权重参数矩阵进行优化，并使所述待优化的权重参数矩阵中的权 重参数的个数减少。 优选地，所述确定至少一个待优化的权重参数矩阵包括： 确定所述深度神经网络中最后一层隐含层和输出层之间的权重参数矩阵为所述 待优化的权重参数矩阵。 优选地，所述确定至少一个待优化的权重参数矩阵包括： 依次获取所述深度神经网络的每相邻两层之间的权重参数矩阵的奇异值； 对所述权重参数矩阵的奇异值从大到小进行排序，得到奇异值序列； 计算所述奇异值序列中前第一优选个数的奇异值之和与所有奇异值之和的比值， 所述第一优选个数小于所述权重参数矩阵的奇异值的个数； 如果所述比值大于设定的第一门限值，则确定所述权重参数矩阵为所述待优化的 权重参数矩阵。 优选地，所述对所述待优化的权重参数矩阵进行优化，以使所述待优化的权重参 数矩阵中的权重参数的个数减少包括： 获取所述待优化的权重参数矩阵的奇异值； 确定第二优选个数，并使所述第二优选个数小于所述待优化的权重参数矩阵的奇 异值的个数； 在与所述待优化的权重参数矩阵相关联的第一优化层和第二优化层之间增加超 级隐含层，所述超级隐含层的节点个数为第二优选个数； 对所述待优化的权重参数矩阵进行奇异值分解，得到前置矩阵和后置矩阵； 根据所述待优化的权重参数矩阵的奇异值和所述前置矩阵，确定所述第一优化层 与所述超级隐含层之间的权重参数矩阵； 根据所述待优化的权重参数矩阵的奇异值和所述后置矩阵，确定所述超级隐含层 与所述第二优化层之间的权重参数矩阵。 优选地，所述确定第二优选个数，并使所述第二优选个数小于所述待优化的权重 参数矩阵的奇异值的个数包括： 对所述待优化的权重参数矩阵的奇异值从大到小进行排序； 如果前第一个数的奇异值之和与所有奇异值之和的比值大于设定的第二门限值， 并且前第二个数的奇异值之和与所有奇异值之和的比值小于等于所述设定的第二门限值， 其中所述第一个数等于所述第二个数加一，则确定所述第二优选个数为所述第一个数。 优选地，所述确定所述第一优化层与所述超级隐含层之间的权重参数矩阵包括： 对所述待优化的权重参数矩阵的奇异值从大到小进行排序； 构建子对角矩阵，并使所述子对角矩阵的主对角线上的元素依次为前第二优选个 数的奇异值的平方根； 提取所述前置矩阵的前第二优选个数的列作为子前置矩阵； 将所述子前置矩阵与所述子对角矩阵的乘积作为所述第一优化层与所述超级隐 含层之间的权重参数矩阵。 优选地，所述确定所述超级隐含层与所述第二优化层之间的权重参数矩阵包括： 对所述待优化的权重参数矩阵的奇异值从大到小进行排序； 构建子对角矩阵，并使所述子对角矩阵的主对角线上的元素依次为前所述第二优 选个数的奇异值的平方根； 提取所述后置矩阵的前第二优选个数的行作为子后置矩阵； 将所述子对角矩阵与所述子后置矩阵的乘积作为所述超级隐含层与所述第二优 化层之间的权重参数矩阵。 优选地，所述方法还包括： 对所有所述待优化的权重参数矩阵进行优化后，得到第一优化深度神经网络，利 用所述训练数据对所述第一优化深度神经网络进行训练；或者 依次对每个所述待优化的权重参数矩阵，在完成对所述待优化的权重参数矩阵的 优化后得到第二优化深度神经网络，利用所述训练数据对所述第二优化深度神经网络进行 训练。 一种深度神经网络的优化系统，包括： 数据获取单元，用于获取训练数据； 参数矩阵获取单元，用于根据所述训练数据对深度神经网络进行训练，获得所述 深度神经网络各层间的权重参数矩阵； 待优化矩阵确定单元，用于确定至少一个待优化的权重参数矩阵，所述待优化的 权重参数矩阵选自所述深度神经网络的所有相邻两层之间的权重参数矩阵的集合中； 优化单元，用于对所述待优化的权重参数矩阵进行优化，并使所述待优化的权重 参数矩阵中的权重参数的个数减少。 优选地，所述待优化矩阵确定单元包括： 待优化矩阵第一确定单元，用于确定所述深度神经网络中最后一层隐含层和输出 层之间的权重参数矩阵为所述待优化的权重参数矩阵。 优选地，所述待优当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种深度神经网络的优化方法，其特征在于，包括：获取训练数据；根据所述训练数据对深度神经网络进行训练，获得所述深度神经网络各层间的权重参数矩阵；确定至少一个待优化的权重参数矩阵，所述待优化的权重参数矩阵选自所述深度神经网络的所有相邻两层之间的权重参数矩阵的集合中；对所述待优化的权重参数矩阵进行优化，并使所述待优化的权重参数矩阵中的权重参数的个数减少。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘聪，何婷婷，潘嘉，王智国，胡国平，胡郁，
申请(专利权)人：安徽科大讯飞信息科技股份有限公司，
类型：发明
国别省市：安徽;34