用于语音识别的深度神经网络的构建方法及系统技术方案

本发明专利技术公开了一种深度神经网络的构建方法及系统，该方法包括：确定深度神经网络输入层的节点个数和输出层的节点个数；获取训练数据；确定深度神经网络隐含层的层数和第一层隐含层的节点个数：根据所述训练数据的数据量、隐含层的层数和第一层隐含层的节点个数，确定后续隐含层的节点个数，并使不同隐含层的节点个数呈递减变化；利用所述训练数据确定所述深度神经网络的模型参数得到深度神经网络。与现有技术的深度神经网络相比，应用本发明专利技术构建的深度神经网络极大地减少了神经网络的参数个数，减小了所需的存储空间并且加快了模型的训练速度。

【技术实现步骤摘要】

本专利技术涉及信号处理领域，尤其涉及一种深度神经网络的构建方法及系统。
技术介绍
语音识别即让机器听懂人说的话，将语音信号转化为计算机可识别的输入。近20 年来语音识别技术取得了显著成效，开始从实验室走向市场。目前基于语音识别技术的语 音输入，语音检索，语音翻译等得到了广泛的运用。随着科技的进步，信息的爆炸性增长，可 以获得的语音数据也越来越多，如何利用海量的数据训练一个语音识别系统，使语音识别 率达到更高是实际应用中的一项难题。 传统自动连续语音识别系统主要采用基于隐马尔科夫模型（Hidden Markov Model, HMM)和高斯混合模型（Gaussian Mixture Model, GMM)的 GMM-HMM 语音识别系统。 GMM-HMM语音识别系统使用HMM对语音信号的时序结构进行建模，每个HMM状态的输出概率 采用混合高斯模型模拟。近年来基于深度神经网络（Deep Neural Networks, DNN)和隐马 尔科夫模型的DNN-HMM语音识别系统受到研究人员越来越多的关注，DNN-HMM系统采用DNN 替代GMM模拟每个HMM状态的输出概率。相比于GMM模型，DNN模型的描述能力更强，能够 更好地模拟非常复杂的数据分布，并且能够很好地学习到数据上下文的信息，因此相对于 GMM-HMM系统，DNN-HMM系统能够取得显著的性能提升。 然而尽管DNN-HMM系统在性能上具有明显优势，但在实际应用中依然较难推广， 主要原因在于DNN-HMM的模型复杂度较高，模型训练和解码时所需时间均远远超出了 GMM-HMM系统。比如通常情况下DNN模型中隐含层个数至少有6个，且每个隐含层的节点个 数都由系统预先设定相同数值，如2048或者2560个节点。显然所述模型的拓扑结构较为 复杂且模型参数众多，给大数据库上的模型训练及后续语音解码带来较大的运算压力，导 致系统运行效率过慢，不利于系统实用化的推广和更新。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供一种深度神经网络的构建方法及 系统，通过对各隐含层的节点个数的有效控制，大大减少了深度神经网络中节点的冗余性。 为实现上述目的，本专利技术的技术方案是： -种深度神经网络的构建方法，包括： 确定深度神经网络输入层的节点个数和输出层的节点个数； 获取训练数据； 确定深度神经网络隐含层的层数和第一层隐含层的节点个数： 根据所述训练数据的数据量、隐含层的层数和第一层隐含层的节点个数，确定后 续隐含层的节点个数，并使不同隐含层的节点个数呈递减变化； 利用所述训练数据确定所述深度神经网络的模型参数得到深度神经网络。 优选地，所述确定后续隐含层的节点个数，并使不同隐含层的节点个数呈递减变 化包括： 根据所述训练数据的数据量确定递减方式及递减比例； 按照确定的递减方式及递减比例确定后续隐含层的节点个数。 优选地，所述根据所述训练数据的数据量确定递减方式及递减比例包括： 使后续各隐含层的节点个数在所述第一层隐含层的节点个数的基础上按照所述 递减比例逐层递减。 优选地，所述根据所述训练数据的数据量确定递减方式及递减比例包括： 对于层数小于等于层数阈值的各隐含层，使其中各隐含层的节点个数在所述第一 层隐含层的节点个数的基础上按照所述递减比例逐层递减； 对于层数大于所述层数阈值的各隐含层，使其中各奇数层隐含层的节点个数在其 前一个奇数层隐含层的节点个数的基础上按照所述递减比例递减，使其中各偶数层隐含层 的节点个数等于其前一个隐含层的节点个数。 优选地，第k个隐含层的递减比例为：l/pH，其中，1彡p彡2。 -种深度神经网络的构建系统，包括： 输入输出层确定单元，用于确定深度神经网络输入层的节点个数和输出层的节点 个数； 数据获取单元，用于获取训练数据； 隐含层第一确定单元，用于确定深度神经网络隐含层的层数和第一层隐含层的节 点个数： 隐含层第二确定单元，用于根据所述训练数据的数据量、隐含层的层数和第一层 隐含层的节点个数，确定后续隐含层的节点个数，并使不同隐含层的节点个数呈递减变 化； 模型参数确定单元，用于利用所述训练数据确定所述深度神经网络的模型参数得 到深度神经网络。 优选地，所述隐含层第二确定单元包括： 递减模式确定单元，用于根据所述训练数据的数据量确定递减方式及递减比例； 节点数确定单元，用于按照确定的递减方式及递减比例确定后续隐含层的节点个 数。 优选地，所述递减模式确定单元，具体用于根据所述训练数据的数据量确定后续 各隐含层的节点个数在所述第一层隐含层的节点个数的基础上按照所述递减比例逐层递 减。 优选地，所述递减模式确定单元，具体用于对于层数小于等于层数阈值的各隐含 层，确定其中各隐含层的节点个数在所述第一层隐含层的节点个数的基础上按照所述递减 比例逐层递减；对于层数大于所述层数阈值的各隐含层，确定其中各奇数层隐含层的节点 个数在其前一个奇数层隐含层的节点个数的基础上按照所述递减比例递减，使其中各偶数 层隐含层的节点个数等于其前一个隐含层的节点个数。 优选地，第k个隐含层的递减比例为：l/pk'其中，1彡p彡2。 本专利技术的有益效果在于： 1.与目前通用的各隐含层的节点个数相同的深度神经网络相比，应用本专利技术构建 的深度神经网络可以极大地减少神经网络的参数个数，从而减小了所需的存储空间并且加 快了模型的训练速度； 2.由于神经网络参数减少使得解码时计算状态输出概率的时间减少，将采用本发 明构建的深度神经网络应用于语音识别系统，可以提高语音识别系统的最终识别的解码速 度，从而在实际运用中有更好的实时性； 3.本专利技术在神经网络参数大幅减少的情况下对于语音识别系统最终的识别性能 没有影响，而在神经网络参数不变的前提下，还可以通过增加靠近输入层的隐含层节点个 数的方法提升识别性能。【附图说明】 为了更清楚地说明本专利技术实施的技术方案，下面将对实施例中所需要使用的附图 作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 图1示出了本专利技术实施例深度神经网络的构建方法的流程图； 图2示出了本专利技术实施例中确定后续隐含层的节点个数的方法的一种流程图； 图3示出了本专利技术实施例中确定后续隐含层的节点个数的方法的另一种流程图； 图4示出了本专利技术实施例深度神经网络的构建系统的结构示意图。【具体实施方式】 下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于 本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本专利技术保护的范围。 为了使本
的人员更好地理解本专利技术实施例的方案，下面首先对传统DNN 模型的训练过程做简要说明。 传统DNN模型的训练过程包括： 步一：确定DNN模型的拓扑结构； 具体地，DNN的输入层和输出层分别对应于声学特征和HMM模型的输出状态，其节 点个数可在训练前预先确定。而隐含层的层数及每个隐含层的节点个数通常也根据经验预 先设定，虽然不同系统经验值会有不同，但大多数情况下会设置D本文档来自技高网...

【技术保护点】
一种深度神经网络的构建方法，其特征在于，包括：确定深度神经网络输入层的节点个数和输出层的节点个数；获取训练数据；确定深度神经网络隐含层的层数和第一层隐含层的节点个数：根据所述训练数据的数据量、隐含层的层数和第一层隐含层的节点个数，确定后续隐含层的节点个数，并使不同隐含层的节点个数呈递减变化；利用所述训练数据确定所述深度神经网络的模型参数得到深度神经网络。

【技术特征摘要】

【专利技术属性】
技术研发人员：潘嘉，何婷婷，刘聪，王智国，胡国平，张仕良，胡郁，
申请(专利权)人：安徽科大讯飞信息科技股份有限公司，
类型：发明
国别省市：安徽;34