一种前馈序列记忆神经网络及其构建方法和系统技术方案

本发明专利技术公开了一种前馈序列记忆神经网络及其构建方法和系统，该前馈序列记忆神经网络包括：至少三层的多个节点，第一层为输入层，最后一层为输出层，其它位于输入层和输出层之间的多个节点组成至少一个隐层，每一个隐层都包含一个记忆块，隐层与记忆块共同构成双向前馈序列记忆神经网络FSMN层，该记忆块用于存储每帧输入信息的历史信息和未来信息。由于该双向FSMN层包括记忆块，通过该记忆块存储每帧输入信息的历史信息和未来信息，可以利用训练数据的长时信息，并且该过程无需通过双向循环反馈，可以保证信息处理效率。

Feedforward sequence memory neural network and construction method and system thereof

The invention discloses a feedforward sequence memory neural network and its construction method and system, the memory neural network feedforward sequence includes a plurality of nodes at least three layers, the first layer is the input layer, the last layer is the output layer, the other is a plurality of nodes between the input layer and the output layer consists of at least one hidden layer, each hidden layer contains a memory block, the hidden layer and memory blocks constitute two-way feed-forward neural network FSMN layer sequence memory, the memory block for historical information and information storage in the future each frame of input information. Because of the bidirectional FSMN layer includes a memory block, through the historical information and the future of the block of memory storage each frame of input information, can use the training data for long time information, and the process does not need through the two-way feedback loop, can guarantee the efficiency of information processing.

【技术实现步骤摘要】
一种前馈序列记忆神经网络及其构建方法和系统
本专利技术涉及人工智能领域，具体涉及一种前馈序列记忆神经网络及其构建方法和系统。
技术介绍
人工神经网络是从微观结构与功能上对人脑神经系统的模拟而建立起来的一类模型，具有模拟人的部分形象思维的能力，其特点主要是具有非线性特征、学习能力和自适应性，是实现人工智能的重要途径，它是由简单信息处理单元互联组成的网络，能接受并处理信息，网络的信息处理由单元之间的相互作用来实现，具体处理信息时，通过将问题表达为处理单元之间的连接权重来处理。近年来，神经网络在人机交互的应用系统中起到了至关重要的作用，如基于深度神经网络的语音识别系统，基于深度神经网络的语音合成系统等，现有的神经网络如前馈神经网络在进行信息处理时，实现的是固定的输入到固定输出的映射关系，每个时刻的样本是独立计算的，不能有效利用训练数据的长时信息；现有的神经网络在处理具有时序依赖性的数据时，经常得不到很好的效果，所述具有时序依赖性的数据指数据与之数据之间存在前后依赖的关系，如语音识别时，为了提升识别的准确率，经常需要考虑语音数据的上下文信息。因此，为了使神经网络有效利用训练数据的长时信息，研究人员提出了具有记忆功能的递归神经网络，这种神经网络采用双向循环反馈的结构来实现记忆功能，使得该递归神经网络可以利用训练数据的长时信息。但是，该递归神经网络结构较复杂，训练网络参数时，经常存在不稳定性；并且，具有双向循环反馈的网络结构在对训练数据实现记忆功能时，需要等数据输入结束后，根据反馈信息来实现记忆，在信息处理效率较高的应用系统中无法使用，尤其是实时信息处理系统，经常需要用户等待较长的时间，降低了用户体验效果。
技术实现思路
本专利技术实施例提供一种前馈序列记忆神经网络及其构建方法和系统，解决在有效利用训练数据的长时信息的前提下，现有神经网络无法保证信息处理效率的问题，以提高用户体验效果。为此，本专利技术实施例提供如下技术方案：一种前馈序列记忆神经网络包括至少三层的多个节点，第一层为输入层，最后一层为输出层，其它位于输入层和输出层之间的多个节点组成至少一个隐层，层与层之间的节点是全连接的，每一个隐层都包含一个记忆块，隐层与记忆块共同构成双向前馈序列记忆神经网络FSMN层，其中，当前隐层的记忆块的输入为当前隐层的输出，当前隐层的记忆块的输出为下一层的一个输入，所述记忆块用于存储当前帧输入数据的历史信息和未来信息，所述历史信息为当前帧输入数据之前帧的特征序列，所述未来信息为当前帧输入数据之后帧的特征序列。优选地，所述前馈序列记忆神经网络还包括：各双向FSMN层都相应存在一个长短时记忆LSTM层，同一层的双向FSMN层和LSTM层共同构成双向长短时前馈序列记忆神经网络LSFSMN层，其中，当前LSTM层的输入为输入层的输出或上一LSTM层、上一隐层以及上一隐层的记忆块的输出，当前LSTM层的输出为下一隐层和下一LSTM层的一个输入，其中，所述LSTM层用于记忆历史信息，所述双向FSMN层用于记忆未来信息。优选地，所述前馈序列记忆神经网络还包括：位于双向FSMN叠层和所述输出层之间的全连接叠层，其中，所述全连接叠层的输入端和所述双向FSMN叠层的输出端相连接，所述全连接叠层的输出端和所述输出层的输入端相连接，所述全连接叠层包括至少一个全连接层，所述双向FSMN叠层包括至少一个双向FSMN层；或者位于双向LSFSMN叠层和所述输出层之间的全连接叠层，其中，所述全连接叠层的输入端和所述双向LSFSMN叠层的输出端相连接，所述全连接叠层的输出端和所述输出层的输入端相连接，所述全连接叠层包括至少一个全连接层，所述双向LSFSMN叠层包括至少一个双向LSFSMN层。一种前馈序列记忆神经网络的构建方法，包括：收集大量训练数据，并提取所述训练数据的特征序列；构建前馈序列记忆神经网络；利用所述训练数据的特征序列对构建的前馈序列记忆神经网络进行训练，得到前馈序列记忆神经网络的参数取值。优选地，所述构建前馈序列记忆神经网络包括：确定前馈序列记忆神经网络的结构；根据确定的前馈序列记忆神经网络结构确定所述特征序列的变换方法及相应前馈序列记忆神经网络的参数。优选地，所述前馈序列记忆神经网络的参数包括以下一种或多种：历史信息权重、未来信息权重、当前隐层与下个隐层的连接权重矩阵及权重偏置、当前隐层的记忆块与下个隐层的连接权重矩阵及权重偏置、当前LSTM层与下个隐层的连接权重矩阵与权重偏置、当前LSTM层与下个LSTM层的转换矩阵及权重偏置、当前隐层与下个LSTM层的连接权重矩阵与权重偏置、当前隐层的记忆块与下个LSTM层的连接权重矩阵与权重偏置、当前LSTM层与当前LSTM层的转换矩阵及权重偏置、当前全连接层与下个全连接层的连接权重矩阵及权重偏置、当前双向FSMN层与下个全连接层的连接权重矩阵及权重偏置、当前LSTM层与下个全连接层的连接权重矩阵与权重偏置、当前全连接层与输出层的连接权重矩阵及权重偏置。优选地，对于包括双向FSMN叠层的前馈序列记忆神经网络，所述根据确定的前馈序列记忆神经网络结构确定所述特征序列的变换方法及相应前馈序列记忆神经网络的参数包括：由输入层输入所述训练数据的特征序列，进入所述双向FSMN叠层；各双向FSMN层的隐层对输入特征序列进行特征变换，并由记忆块保存当前帧训练数据的历史信息和未来信息；利用所述历史信息权重和所述未来信息权重对训练数据的历史信息和未来信息进行融合，获取每帧训练数据的融合特征序列，作为当前隐层的记忆块的输出特征序列；利用所述当前隐层与下个隐层的连接权重矩阵及权重偏置、所述当前隐层的记忆块与下个隐层的连接权重矩阵及权重偏置对所述当前隐层的输出特征序列和该隐层记忆块的输出特征序列进行变换，获取下一隐层的输出特征序列；以最后一个隐层的输出和\或该隐层记忆块的输出作为输出层的输入，进行变换获取输出层的输出结果。优选地，对于包括双向LSFSMN叠层的前馈序列记忆神经网络，所述根据确定的前馈序列记忆神经网络结构确定所述特征序列的变换方法及相应前馈序列记忆神经网络的参数包括：由输入层输入所述训练数据的特征序列，进入双向LSFSMN叠层；由LSFSMN层的双向FSMN层的隐层和LSTM层对输入特征序列进行特征变换，并由LSTM层保存当前帧训练数据的历史信息，记忆块保存当前帧训练数据的未来信息；利用所述当前隐层与下个隐层的连接权重矩阵及权重偏置、所述当前隐层的记忆块与下个隐层的连接权重矩阵及权重偏置、当前LSTM层与下个LSTM层的转换矩阵及权重偏置、当前隐层与下个LSTM层的连接权重矩阵与权重偏置、当前LSTM层与当前LSTM层的转换矩阵及权重偏置、当前隐层的记忆块与下个LSTM层的连接权重矩阵与权重偏置对所述当前隐层的输出特征序列、当前隐层的记忆块的输出特征序列及当前LSTM层的输出特征序列进行变换，获取下一隐层和下一LSTM层的输出特征序列；以最后一个隐层的输出和\或该隐层记忆块的输出及最后一个LSTM层的输出作为输出层的输入，进行变换获取输出层的输出结果。优选地，对于包括全连接叠层的前馈序列记忆神经网络，所述方法还包括：当训练数据的特征序列从双向FSMN层或双向LSFSMN层进入全连接层时，利用当前双向FSMN层与下个全连本文档来自技高网...

【技术保护点】
一种前馈序列记忆神经网络包括至少三层的多个节点，第一层为输入层，最后一层为输出层，其它位于输入层和输出层之间的多个节点组成至少一个隐层，层与层之间的节点是全连接的，其特征在于，包括：每一个隐层都包含一个记忆块，隐层与记忆块共同构成双向前馈序列记忆神经网络FSMN层，其中，当前隐层的记忆块的输入为当前隐层的输出，当前隐层的记忆块的输出为下一层的一个输入，所述记忆块用于存储每帧输入数据的历史信息和未来信息，所述历史信息为当前帧输入数据之前帧的特征序列，所述未来信息为当前帧输入数据之后帧的特征序列。

【技术特征摘要】
1.一种前馈序列记忆神经网络包括至少三层的多个节点，第一层为输入层，最后一层为输出层，其它位于输入层和输出层之间的多个节点组成至少一个隐层，层与层之间的节点是全连接的，其特征在于，包括：每一个隐层都包含一个记忆块，隐层与记忆块共同构成双向前馈序列记忆神经网络FSMN层，其中，当前隐层的记忆块的输入为当前隐层的输出，当前隐层的记忆块的输出为下一层的一个输入，所述记忆块用于存储每帧输入数据的历史信息和未来信息，所述历史信息为当前帧输入数据之前帧的特征序列，所述未来信息为当前帧输入数据之后帧的特征序列。2.根据权利要求1所述的前馈序列记忆神经网络，其特征在于，所述前馈序列记忆神经网络还包括：各双向FSMN层都相应存在一个长短时记忆LSTM层，同一层的双向FSMN层和LSTM层共同构成双向长短时前馈序列记忆神经网络LSFSMN层，其中，当前LSTM层的输入为输入层的输出或上一LSTM层、上一隐层以及上一隐层的记忆块的输出，当前LSTM层的输出为下一隐层和下一LSTM层的一个输入，其中，所述LSTM层用于记忆历史信息，所述双向FSMN层用于记忆未来信息。3.根据权利要求1或2所述的前馈序列记忆神经网络，其特征在于，所述前馈序列记忆神经网络还包括：位于双向FSMN叠层和所述输出层之间的全连接叠层，其中，所述全连接叠层的输入端和所述双向FSMN叠层的输出端相连接，所述全连接叠层的输出端和所述输出层的输入端相连接，所述全连接叠层包括至少一个全连接层，所述双向FSMN叠层包括至少一个双向FSMN层；或者位于双向LSFSMN叠层和所述输出层之间的全连接叠层，其中，所述全连接叠层的输入端和所述双向LSFSMN叠层的输出端相连接，所述全连接叠层的输出端和所述输出层的输入端相连接，所述全连接叠层包括至少一个全连接层，所述双向LSFSMN叠层包括至少一个双向LSFSMN层。4.一种前馈序列记忆神经网络的构建方法，其特征在于，包括：收集大量训练数据，并提取所述训练数据的特征序列；构建前馈序列记忆神经网络；利用所述训练数据的特征序列对构建的前馈序列记忆神经网络进行训练，得到前馈序列记忆神经网络的参数取值。5.根据权利要求4所述的构建方法，其特征在于，所述构建前馈序列记忆神经网络包括：确定前馈序列记忆神经网络的结构；根据确定的前馈序列记忆神经网络结构确定所述特征序列的变换方法及相应前馈序列记忆神经网络的参数。6.根据权利要求5所述的构建方法，其特征在于，所述前馈序列记忆神经网络的参数包括以下一种或多种：历史信息权重、未来信息权重、当前隐层与下个隐层的连接权重矩阵及权重偏置、当前隐层的记忆块与下个隐层的连接权重矩阵及权重偏置、当前LSTM层与下个隐层的连接权重矩阵与权重偏置、当前LSTM层与下个LSTM层的转换矩阵及权重偏置、当前隐层与下个LSTM层的连接权重矩阵与权重偏置、当前隐层的记忆块与下个LSTM层的连接权重矩阵与权重偏置、当前LSTM层与当前LSTM层的转换矩阵及权重偏置、当前全连接层与下个全连接层的连接权重矩阵及权重偏置、当前双向FSMN层与下个全连接层的连接权重矩阵及权重偏置、当前LSTM层与下个全连接层的连接权重矩阵与权重偏置、当前全连接层与输出层的连接权重矩阵及权重偏置。7.根据权利要求6所述的构建方法，其特征在于，对于包括双向FSMN叠层的前馈序列记忆神经网络，所述根据确定的前馈序列记忆神经网络结构确定所述特征序列的变换方法及相应前馈序列记忆神经网络的参数包括：由输入层输入所述训练数据的特征序列，进入所述双向FSMN叠层；各双向FSMN层的隐层对输入特征序列进行特征变换，并由记忆块保存每帧训练数据的历史信息和未来信息；利用所述历史信息权重和所述未来信息权重对每帧训练数据的历史信息和未来信息进行融合，获取每帧训练数据的融合特征序列，作为当前隐层的记忆块的输出特征序列；利用所述当前隐层与下个隐层的连接权重矩阵及权重偏置、所述当前隐层的记忆块与下个隐层的连接权重矩阵及权重偏置对所述当前隐层的输出特征序列和该隐层记忆块的输出特征序列进行变换，获取下一隐层的输出特征序列；以最后一个隐层的输出和\或该隐层记忆块的输出作为输出层的输入，进行变换获取输出层的输出结果。8.根据权利要求6所述的构建方法，其特征在于，对于包括双向LSFSMN叠层的前馈序列记忆神经网络，所述根据确定的前馈序列记忆神经网络结构确定所述特征序列的变换方法及相应前馈序列记忆神经网络的参数包括：由输入层输入所述训练数据的特征序列，进入双向LSFSMN叠层；由LSFSMN层的双向FSMN层的隐层和LSTM层对输入特征序列进行特征变换，并由LSTM层保存每帧训练数据的历史信息，记忆块保存每帧训练数据的未来信息；利用所述当前隐层与下个隐层的连接权重矩阵及权重偏置、所述当前隐层的记忆块与下个隐层的连接权重矩阵及权重偏置、当前LSTM层与下个隐层的转换矩阵及权重偏置、当前LSTM层与下个LSTM层的转换矩阵及权重偏置、当前LSTM层与当前LSTM层的转换矩阵及权重偏置、当前隐层与下个LSTM层的连接权重矩阵与权重偏置、当前隐层的记忆块与下个LSTM层的连接权重矩阵与权重偏置对所述当前隐层的输出特征序列、当前隐层的记忆块的输出特征序列及当前LSTM层的输出特征序列进行变换，获取下一隐层和下一LSTM层的输出特征序列；以最后一个隐层的输出和\或该隐层记忆块的输出及最后一个LSTM层的输出作为输出层的输入，进行变换获取输出层的输出结果。9.根据权利要求6至8任一项所述的构建方法，其特征在于，对于包括全连接叠层...

【专利技术属性】
技术研发人员：张仕良，熊世富，魏思，潘嘉，刘聪，胡国平，胡郁，刘庆峰，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34