循环神经网络的学习方法及用于该学习方法的计算机程序、和声音识别装置制造方法及图纸

提供使基于时间序列的数据的循环神经网络(RNN)的学习高效化的学习方法。学习方法包含：步骤(220)，将RNN初始化；和学习步骤(226)，将某矢量指定为开始位置，将各参数最佳化，以使得误差函数最小化，由此进行RNN的学习。学习步骤(226)包含：更新步骤(250)，使用以被指定的矢量为开头的连续的N个(N≥3)矢量，通过将末尾的矢量的参考值设为正解标签的Truncated BPTT来更新RNN的参数；和第1重复步骤240，直到结束条件成立为止，都重复以下处理，即，新指定相对于更新步骤中使用的N个矢量的末尾的矢量处于满足给定的关系的位置的矢量来执行学习步骤的处理。处于满足给定的关系的位置的矢量是从被指定的矢量起至少2个以上后的矢量。

The learning method of recurrent neural network and the computer program for the learning method and the sound recognition device

A learning method that provides efficient learning for recurrent neural network (RNN) based on time series data. Learning methods include: step (220), initialize RNN, and learn steps (226), specify a vector as the starting position, optimize each parameter, so that the error function is minimized, thereby learning RNN. Learning steps (226) include: update step (250), using vector designated as the beginning of the continuous N (N = 3) by the end of the vector, the vector reference value to parameters of positive solutions of Truncated tag BPTT to update RNN; and repeat step first until the end of 240. The conditions are set up, repeat the following treatment, namely, the new update step at the end of a specified vector N vector in a given vector satisfy reltionships to perform processing steps with respect to learning. A vector that is in a position that satisfies a given relationship is at least 2 after the specified vector.

【技术实现步骤摘要】
【国外来华专利技术】循环神经网络的学习方法及用于该学习方法的计算机程序、和声音识别装置
本专利技术涉及循环神经网络(RNN)的学习方法，特别涉及能提高学习的效率且能提高学习后的RNN的精度的RNN的学习方法以及用于该学习方法的计算机程序。
技术介绍
近年来，提出有使用RNN作为用于声音识别的声学模型的技术。所谓RNN，是在神经网络中嵌入时间序列的信息而成的构成。图1示意性示出通常的神经网络的原理。神经网络30包含：接受输入矢量46的输入层40；为了接受输入层40的输出而与输入层40结合的隐含层42；和为了接受隐含层42的输出而被结合且输出输出矢量48的输出层44。在图1中，为了使图简明而示出了隐含层为1层的情况，但隐含层的数目并不限定于1。在这样的神经网络中，数据从输入层40向隐含层42并从隐含层42向输出层44这样地在一个方向上流动。因此，将该类型的神经网络称作前馈神经网络(FFNN)。对从某节点向另外节点的结合赋予权重，有时还进一步赋予偏置，这些权重以及偏置的值通过学习来确定。在学习时，将学习数据作为输入矢量46提供给隐含层42，从输出层44得到输出矢量48。将该输出矢量48与正解数据的误差从输出层44侧提供给隐含层42、输入层40的各节点，将各权重以及偏置的值最佳化，以使得作为神经网络30的误差成为最小。另一方面，RNN不是如FFNN那样向一个方向去的节点的结合，还包括反向的节点的结合、同一层内的节点间的结合、同一节点的自环等。图2示意性示出RNN的隐含层的1例的与各节点的结合相关的构成。在图2中，该隐含层70作为示例而包含3个节点。这3个节点各自除了具有用于从更下层(靠近输入层的层)接受数据的结合以及用于向更上层(靠近输出层的层)交付数据的结合以外，还具有用于向下层的节点交付数据的结合、与相同隐含层70内的节点之间的结合、以及自环。对这些结合各自分配权重作为参数。这些参数的数目也有时达到数百万到数千万。在作为用于声音识别的声学模型使用的情况下，需要从声音语料库(声音数据与文本的对)自动学习它们。作为RNN的学习方法，有Back-propagationthroughtime法(沿时间反向传播法，以下称为“BPTT”)及其变形Truncatedback-propagationthroughtime法(以下称为“TruncatedBPTT(截断式BPTT)”)。现有技术文献非专利文献非专利文献1：H.Jaeger(2002)：Tutorialontrainingrecurrentneuralnetworks，coveringBPPT，RTRL，EKFandthe″echostatenetwork″approach.GMDReport159，GermanNationalResearchCenterforInformationTechnology，2002(48pp.)非专利文献2：MikaelBoden.AGuidetoRecurrentNeuralNetworksandBackpropagation.IntheDallasproject，2002.非专利文献3：MikolovTomas：StatisticalLanguageModelsbasedonNeuralNetworks.PhDthesis，BrnoUniversityofTechnology，2012.非专利文献4：G.Heigold，E.McDermott，V.Vanhoucke，A.Senior，andM.Bacchiani，“Asynchronousstochasticoptimizationforsequencetrainingofdeepneuralnetworks，”inAcoustics，SpeechandSignalProcessing(ICASSP)，2014IEEEInternationalConferenceon.IEEE，2014，pp.5587-5591.
技术实现思路
专利技术要解决的课题上述非专利文献1公开了如下两种方法：对序列整体使用全部输入和全部正解数据来进行BPTT的方法；和针对序列整体的一部分即部分序列，对该部分序列整体一边使用全部输入和全部正解数据进行BPTT一边将部分序列在序列整体中错开下去的TruncatedBPTT法。非专利文献2和引用了非专利文献2的非专利文献3公开了在上述非专利文献1记载的TruncatedBPTT法中将部分序列作为1个样本的变种。非专利文献4公开了通过同时处理多个时间序列数据来使RNN的学习高效化的方法。但是，已知，在非专利文献1～非专利文献4公开的任一种方法中，都存在针对声音数据那样连续值的时间序列数据的学习变得低效率这样的问题。关于这点，已知，在FFNN的学习中，在相邻的学习数据相似的情况下，学习也会变得低效率。因此，在FFNN中，采用在学习前对全部样本随机排序的手法。通过这样的手法，相邻的学习数据成为类似的数据的可能性变低，能提高学习的效率。但是，在声音数据那样的时间序列的数据中，样本之间的时间上的关系很重要。若将数据随机排序，就会失去这样的时间上的信息。因此，对于这样的数据，不能如FFNN那样将学习数据随机排序。因此，在RNN中进行基于声音数据那样连续的时间序列的数据的学习的情况下，提高其学习效率是大问题。在此，所谓提高学习的效率，是指在利用相同的学习数据的学习中不使计算时间变长就能进行提高精度的学习；或者能使用较少的学习数据在短时间的学习中得到与已有的方法同等的精度。因此，本专利技术的目的在于，提供一种能使与RNN相关的基于时间序列的数据的学习高效化的学习方法。用于解决课题的手段本专利技术的第1局面所涉及的RNN的学习方法使用预先准备的学习数据由计算机进行。学习数据包含各自由学习对象数据的特征量和参考值构成的矢量的序列。该学习方法包含：将RNN初始化的步骤；第1指定步骤，将矢量的序列内的某矢量指定为学习开始位置；和学习步骤，将RNN的各参数最佳化，以使得针对学习数据计算的给定的误差函数最小化，由此进行RNN的学习。学习步骤包含：更新步骤，使用矢量的序列当中的以被指定的矢量为开头的连续的N个矢量，通过将该连续的N个矢量的末尾的矢量的参考值设为正解标签的TruncatedBPTT来进行RNN的参数的更新，其中，N是3以上的整数；和第1重复步骤，直到预先确定的结束条件成立为止，都重复以下处理，即，新指定相对于更新步骤中使用的N个矢量的末尾的矢量处于满足给定的关系的位置的矢量来执行学习步骤的处理。处于满足给定的关系的位置的矢量是从进行选择的步骤中的被指定的矢量起至少2个以上后的矢量。优选地，处于满足给定的关系的位置的矢量是N个矢量的末尾的矢量。更优选地，RNN的学习方法还包含：第2指定步骤，响应于第1重复步骤中判定为第1重复步骤的结束条件成立这一情况，将从第1指定步骤中指定的矢量起比N小的数目后的矢量新指定为下一次学习的开始位置；和执行学习步骤直到结束条件成立为止的步骤。进一步优选地，比N小的数目是1。RNN的学习方法还包含：第2重复步骤，响应于第1重复步骤中判定为结束条件成立这一情况，一边将从某矢量起1个接1个后的矢量指定为新的学习开始位置，一边重复执行学习步骤，直到指定了从某矢量起N-1个后的本文档来自技高网...

【技术保护点】
一种循环神经网络RNN的学习方法，是使用预先准备的学习数据由计算机进行的RNN的学习方法，所述学习数据包含各自由学习对象数据的特征量和参考值构成的矢量的序列，所述学习方法包含：将所述RNN初始化的步骤；第1指定步骤，将所述矢量的序列内的某矢量指定为学习开始位置；和学习步骤，将所述RNN的各参数最佳化，以使得针对所述学习数据计算的给定的误差函数最小化，由此进行所述RNN的学习，所述学习步骤包含：更新步骤，使用所述矢量的序列当中的以被指定的矢量为开头的连续的N个矢量，通过将该连续的N个矢量的末尾的矢量的参考值设为正解标签的Truncated BPTT来进行所述RNN的参数的更新，其中，N是3以上的整数，第1重复步骤，直到预先确定的结束条件成立为止，都重复以下处理，即，新指定相对于所述更新步骤中使用的所述N个矢量的末尾的矢量处于满足给定的关系的位置的矢量来执行所述学习步骤的处理，处于满足所述给定的关系的位置的矢量是从所述进行选择的步骤中的所述被指定的矢量起至少2个以上后的矢量。

【技术特征摘要】
【国外来华专利技术】2015.05.11 JP 2015-0961501.一种循环神经网络RNN的学习方法，是使用预先准备的学习数据由计算机进行的RNN的学习方法，所述学习数据包含各自由学习对象数据的特征量和参考值构成的矢量的序列，所述学习方法包含：将所述RNN初始化的步骤；第1指定步骤，将所述矢量的序列内的某矢量指定为学习开始位置；和学习步骤，将所述RNN的各参数最佳化，以使得针对所述学习数据计算的给定的误差函数最小化，由此进行所述RNN的学习，所述学习步骤包含：更新步骤，使用所述矢量的序列当中的以被指定的矢量为开头的连续的N个矢量，通过将该连续的N个矢量的末尾的矢量的参考值设为正解标签的TruncatedBPTT来进行所述RNN的参数的更新，其中，N是3以上的整数，第1重复步骤，直到预先确定的结束条件成立为止，都重复以下处理，即，新指定相对于所述更新步骤中使用的所述N个矢量的末尾的矢量处于满足给定的关系的位置的矢量来执行所述学习步骤的处理，处于满足所述给定的关系的位置的矢量是从所述进行选择的步骤中的所述被指定的矢量起至少2个以上后的矢量。2.根据权利要求1所述的RNN的学习方法，其中，处于满足所述给定的关系的位置的矢量是所述N个矢量的末尾的矢量。3.根据权利要求1或2所述的RNN的学习方法，其中，所述RNN的学...

【专利技术属性】
技术研发人员：神田直之，
申请(专利权)人：国立研究开发法人情报通信研究机构，
类型：发明
国别省市：日本,JP