深层神经网络的辨别预训练制造技术

本发明专利技术公开了深层神经网络的辨别预训练。提出了预训练深层神经网络（DNN）的隐层的辨别预训练技术实施例。大体上，首先利用误差反向传播（BP）使用标签来辨别地训练单隐层神经网络。然后，在丢弃之前的单隐层神经网络的输出层之后，连同新输出层在之前训练的隐层的顶上添加另一随机初始化的隐层，所述新输出层表示分类或识别的目标。然后利用同一策略辨别地训练作为结果产生的多隐层DNN等等，直到达到期望数量的隐层。这产生了预训练的DNN。所述辨别预训练技术实施例具有如下的优点：使得DNN层权重接近良好的局部最优，而仍使其留在具有高梯度的范围内，从而能够有效地对其进行微调。

【技术实现步骤摘要】

本专利技术涉及一种用于深层神经网络的辨别预训练的方法和系统。
技术介绍
已知深层神经网络(DNN, deep neural network)是有力的辨别建模工具，并且其能够用于各种目的。例如，能够组合DNN与隐式马尔可夫模型(HMM,hidden Markov model)来表征作为语音的发音单位的上下文相关(⑶，context-dependent)的音素。作为结果产生的混合⑶-DNN-HMM利用DNN的暂时地(temporally)局部化的辨别建模能力和HMM的连续建模能力的优点。CD-DNN-HMM能够用于语音识别系统、手写识别系统、以及包括姿势识别系统在内的人类行为识别/检测系统等许多其它系统。在构建这样的⑶-DNN-HMM中的关键过程之一是DNN的训练。这个训练典型地通过首先初始化权重来进行，并且作为“预训练”过程已知。
技术实现思路
通常采用此处描述的辨别预训练技术实施例来预训练深层神经网络(DNN)的隐层。此处所描述的辨别预训练技术实施例具有如下优点使得DNN层权重接近良好的局部最优，同时仍使其留在具有高梯度的范围内，从而能够在训练的后续阶段对其进行有效地微调。在一个示例性本文档来自技高网...

【技术保护点】
一种用于预训练深层神经网络DNN的计算机实施的处理，包括:利用计算机来执行下面的处理动作:（a）训练单隐层神经网络NN，所述单隐层神经网络包括：输入层，训练数据被输入到所述输入层中；输出层，从所述输出层生成输出；以及第一隐层，所述第一隐层以随机初始化的权重与所述输入层和所述输出层相互连接，其中所述训练包括：访问训练数据条目集，所述训练数据条目集中的每个数据条目具有分配到其上的对应标签（200），将所述集中的每个数据条目一个接一个地输入到所述输入层中，直到全部所述数据条目已经被输入了至少一次以产生初始的NN（202），从而在每个数据条目的所述输入之后，经由误差反向传播过程设置与所述第一隐层关联的...

【技术特征摘要】
2011.11.26 US 13/304,6431.一种用于预训练深层神经网络DNN的计算机实施的处理，包括 利用计算机来执行下面的处理动作 Ca)训练单隐层神经网络NN，所述单隐层神经网络包括输入层，训练数据被输入到所述输入层中；输出层，从所述输出层生成输出；以及第一隐层，所述第一隐层以随机初始化的权重与所述输入层和所述输出层相互连接，其中所述训练包括 访问训练数据条目集，所述训练数据条目集中的每个数据条目具有分配到其上的对应标签(200)， 将所述集中的每个数据条目一个接一个地输入到所述输入层中，直到全部所述数据条目已经被输入了至少一次以产生初始的NN(202)，从而在每个数据条目的所述输入之后，经由误差反向传播过程设置与所述第一隐层关联的所述权重，以使得从所述输出层生成的所述输出匹配与所述训练数据条目关联的所述标签； (b)丢弃当前输出层并且添加以随机初始化的权重与最近一个之前训练的隐层和新输出层相互连接的新的隐层，以产生新的多隐层深层神经网络(204); (c)将所述集中的每个数据条目一个接一个地输入到所述输入层，直到全部所述数据条目已经被输入了至少一次，以产生修正的多隐层深层神经网络(206)，从而在每个数据条目的所述输入之后，经由所述误差反向传播过程设置与所述新的隐层和每个之前训练的隐层关联的所述权重，以产生与所述训练数据条目关联的所述标签匹配的来自所述新输出层的输出； (d)重复动作(b)和(C)，直到已经添加了规定数量的隐层(208);以及 Ce)将最近产生的修正的多层DNN指定为预训练的DNN (210)。2.根据权利要求1所述的处理，其中被采用的每个输出层利用softmax函数来使其输出与当前进入的训练数据条目关联的所述标签匹配。3.根据权利要求1所述的处理，其中所述访问训练数据条目集，所述训练数据条目集中的每个数据条目具有分配到其上的对应标签的处理动作包括访问语音帧集，所述语音帧集中的每个语音帧对应于语音单元标签。4.根据权利要求1所述的处理，其中所述将所述集中的每个数据条目一个接一个地输入到所述输入层中，直到全部所述数据条目已经被输入了至少一次以产生初始的深层神经网络的处理动作包括将所述集的每个数据条目仅输入一次。5.根据权利要求1所述的处理，其中所述将所述集中的每个数据条目一个接一个地输入到所述输入层，直到全部所述数据条目已经被输入了至少一次，以产生修正的多隐层深层神经网络的处理动作包括将所述集中的每个数据条目仅输入一次。6.根据权利要求1所述的处理，其中用于设置与所述第一隐层关联的所述权重的所述误差反向传播过程采用范围在O. 01和O. 20之间的规定的学习速率。7.根据权利要求1所述的处理，其中用于设置与每个新的隐层和每个之前训练的隐层关联的所述权重的所述误差反向传播过程采用范围在O. 01和O. 20之间的规定的学习速率。8.一种用于训练上下文相关的深层神经网络⑶-DNN的系统，包括 计算装置(10); 包括能够由所述计算装置执行的程序模块的计算机程序，所述计算机程序包括隐层生成器程序模块(100)，其中所述隐层生成器程序模块指示所述计算装置 初始地生成单隐层神经网络，所述单隐层神经网络包括输入层，训练数据被输入到所述输入层中；输出层，从所述输出层生成输出；以及第一隐层，所述第一隐层以随机初始化的权重与所述输入层和所述输出层相互连接， 每当产生所述单隐层神经网络的预训练版本时，丢弃当前输出层并添加以随机初始化的权重与所述第一隐层和新输出层相互连接的新的隐层，以产生多隐层深层神经网络，以及 每当最近产生的多隐层深层神经网络的预训练版本被产生并被指定为缺少规定数量的隐层时，丢弃所述当前输出层并添加以随机初始化的权重与最近一个之前添加的隐层和新输出层相互连接的新的隐层，以产生新的多隐层深层神经网络， 预训练程序模块(102)，...

【专利技术属性】
技术研发人员：弗兰克塞得，邓丽，俞栋，李钢，
申请(专利权)人：微软公司，
类型：发明
国别省市：