训练语言模型的方法和设备及识别语言的方法和设备技术

提供一种训练语言模型的方法和设备及识别语言的方法和设备。一种用于训练语言模型的方法和设备包括:从训练数据产生第一训练特征向量序列和第二训练特征向量序列。所述方法被配置为基于第一训练特征向量序列执行神经网络的前向估计，基于第二训练特征向量序列执行神经网络的后向估计。所述方法还被配置为基于前向估计的结果和后向估计的结果训练语言模型。

【技术实现步骤摘要】
本申请要求于2015年1月19日提交到韩国知识产权局的第10-2015-0008881号韩国专利申请的权益，所述韩国专利申请的全部公开通过出于所有目的的引用包含于此。
以下描述涉及一种用于训练语言模型的方法和设备及用于使用该语言模型识别语言的方法和设备。
技术介绍
过去，设计语音和语言处理的方法已从基于语言学和语音学的系统和处理改变为数据驱动的模式识别技术。这些技术已成为集中、快速进展的研究的焦点并为该领域的重要的进步作出贡献。为了对人类输入模式进行分类，正在对将人类的有效的模式识别方法应用到实际计算机进行积极研究。这样的一个研究领域关注在通过人的生物神经细胞的数学表达特性来建模的人工神经网络。在语音识别领域，人工神经网络用于输出与语音的输入模式对应的识别结果。人工神经网络通过学习在输入模式和输出模式之间产生映射，并输出指示该映射的学习结果。基于学习结果，人工神经网络产生针对有待用于学习的输入模式的输出。
技术实现思路
提供本
技术实现思路
以按照简化的形式来介绍对构思的选择，将在下面的具体实施方式中对所述构思进行进一步描述。本
技术实现思路
不意图确定所要求保护的主题的关键特征或必要特征，也不意图用作帮助确定所要求保护的主题的范围。根据实施例，提供一种方法，所述方法包括:从训练数据产生第一训练特征向量序列和第二训练特征向量序列；基于第一训练特征向量序列执行神经网络的前向估计，基于第二训练特征向量序列执行神经网络的后向估计；基于前向估计的结果和后向估计的结果训练语言模型。神经网络可包括用于前向估计的第一隐藏层和用于后向估计的第二隐藏层，第一隐藏层与第二隐藏层分开。所述产生的步骤可包括：将训练数据转换为词向量序列；产生沿词向量序列的正向开始的第一训练特征向量序列和沿词向量序列的反向开始的第二训练特征向量序列。前向估计可包括：估计将要与包括在训练数据中的第一词连接的随后的词，后向估计可包括：估计与包括在训练数据中的第二词连接的之前的词。所述训练的步骤可包括：基于前向估计的结果和后向估计的结果计算神经网络的训练数据与输出数据之间的误差值；基于所述误差值更新包括在神经网络中的人工神经元之间的连接权重。可基于双向长短期记忆(BLSTM)结构的递归神经网络配置语言模型。BLSTM的递归神经网络可包括被配置为保持先前时间段中输出的值直到随后的时间段为止的存储块。训练数据可包括包含语音数据、手写数据或它们的组合的序列数据。根据实施例，提供一种方法，所述方法包括：从输入数据产生第一输入特征向量序列和第二输入特征向量序列；基于第一输入特征向量序列执行神经网络的前向估计，并基于第二输入特征向量序列执行神经网络的后向估计，以估计识别输入数据的结果。神经网络可包括用于前向估计的第一隐藏层和用于后向估计的第二隐藏层，第一隐藏层可与第二隐藏层分开。所述估计的步骤可包括：基于与第一输入特征向量序列相关联的前向估计结果和与第二输入特征向量序列相关联的后向估计结果，来估计识别所述输入数据的结果。一种包括程序的非暂时性计算机可读存储介质，所述程序包括可使计算机执行如上所述的方法的指令。根据另一实施例，提供一种设备，所述设备包括：训练数据预处理器，被配置为从训练数据产生第一训练特征向量序列和第二训练特征向量序列；语言模型训练器，被配置为基于第一训练特征向量序列和第二训练特征向量序列训练基于神经网络的语言模型，针对第一训练特征向量序列执行神经网络的前向估计，并针对第二训练特征向量序列执行神经网络的后向估计。神经网络可包括用于前向估计的第一隐藏层和用于后向估计的第二隐藏层，并且第一隐藏层可与第二隐藏层分开。语言模型训练器可被配置为：基于前向估计的结果和后向估计的结果训练语言模型。语言模型训练器可被配置为：基于前向估计的结果和后向估计的结果计算训练数据与输出数据之间的误差值，并基于所述误差值更新包括在神经网络中的人工神经元之间的连接权重。训练数据预处理器可被配置为：将训练数据转换为词向量序列，并产生沿词向量序列的正向开始的第一训练特征向量序列和沿词向量序列的反向开始的第二训练特征向量序列。根据另一实施例，提供一种用于识别语言的设备，所述设备包括：输入数据预处理器，被配置为从输入数据产生第一输入特征向量序列和第二输入特征向量序列；输入数据识别器，被配置为基于第一输入特征向量序列执行神经网络的前向估计，基于第二输入特征向量序列执行神经网络的后向估计，以估计识别输入数据的结果。根据另一实施例，提供一种用于识别语言的设备，所述设备包括：输入数据预处理器，被配置为从输入数据产生第一输入特征向量序列和第二输入特征向量序列；输入数据识别器，被配置为基于神经网络的第一隐藏层使用第一输入特征向量序列执行正向估计，基于神经网络的第二隐藏层使用第二输入特征向量序列执行后向估计，其中，第一隐藏层与第二隐藏层分开。所述设备还可包括语言模型数据库，被配置为存储基于神经网络的语言模型。根据另一实施例，提供一种语言模型训练器设备，所述设备包括：训练处理器，被配置为基于第一训练特征向量序列和第二训练特征向量序列训练语言模型；控制器，被配置为基于第一训练特征向量序列执行神经网络的前向估计，基于第二训练特征向量序列执行神经网络的后向估计；误差计算处理器，被配置为通过整合针对第一训练特征向量序列的前向估计的结果和针对第二训练特征向量序列的后向估计的结果来计算语言模型的训练数据与输出数据之间的误差值。控制器可使用第一训练特征向量序列持续执行前向估计，并可使用第二训练特征向量序列持续执行后向估计。控制器可被配置为通过估计将与包括在训练数据中的第一词连接的随后的词以及通过基于句子中的之前的词的记录估计当前词，来执行神经网络的前向估计，并可通过估计将与包括在训练数据中的第二词连接的之前的词以及通过基于句子中的将来的词的记录估计当前词，来执行后向估计。基于误差值，可更新包括在神经网络中的人工神经元之间的连接权重。所述设备还可包括计算处理器，所述计算处理器被配置为使用神经网络计算词序列的双向发生概率，并配置语言模型来估计感兴趣位置的词。可沿词向量序列的正向开始产生第一训练特征向量序列，可沿词向量序列的反向开始产生第二训练特征向量序列。通过以下具体实施方式、附图和权利要求，其它特征和方面将是清楚的。附图说明图1A本文档来自技高网...

【技术保护点】
一种用于训练语言模型的方法，包括:从训练数据产生第一训练特征向量序列和第二训练特征向量序列；基于第一训练特征向量序列执行神经网络的前向估计，基于第二训练特征向量序列执行神经网络的后向估计；基于前向估计的结果和后向估计的结果训练语言模型。

【技术特征摘要】
2015.01.19 KR 10-2015-00088811.一种用于训练语言模型的方法，包括:
从训练数据产生第一训练特征向量序列和第二训练特征向量序列；
基于第一训练特征向量序列执行神经网络的前向估计，基于第二训练特
征向量序列执行神经网络的后向估计；
基于前向估计的结果和后向估计的结果训练语言模型。
2.如权利要求1所述的方法，其中，神经网络包括用于前向估计的第一
隐藏层和用于后向估计的第二隐藏层，
第一隐藏层与第二隐藏层分开。
3.如权利要求1所述的方法，其中，所述产生的步骤包括：
将训练数据转换为词向量序列；
产生沿词向量序列的正向开始的第一训练特征向量序列和沿词向量序列
的反向开始的第二训练特征向量序列。
4.如权利要求1所述的方法，其中，前向估计包括：估计将要与包括在
训练数据中的第一词连接的随后的词，
后向估计包括：估计与包括在训练数据中的第二词连接的之前的词。
5.如权利要求1所述的方法，其中，所述训练的步骤包括：
基于前向估计的结果和后向估计的结果计算神经网络的训练数据与输出
数据之间的误差值；
基于所述误差值更新包括在神经网络中的人工神经元之间的连接权重。
6.如权利要求1所述的方法，其中，基于双向长短期记忆结构BLSTM
的递归神经网络配置语言模型。
7.如权利要求6所述的方法，其中，双向长短期记忆结构的递归神经网
络包括存储块,存储块被配置为保持先前时间段中输出的值直到随后的时间
段为止。
8.如权利要求1所述的方法，其中，训练数据包括包含语音数据、手写
数据或它们的组合的序列数据。
9.一种用于识别输入数据的方法，包括：
从输入数据产生第一输入特征向量序列和第二输入特征向量序列；
基于第一输入特征向量序列执行神经网络的前向估计并基于第二输入特

\t征向量序列执行神经网络的后向估计，以估计识别所述输入数据的结果。
10.如权利要求9所述的方法，其中，神经网络...

【专利技术属性】
技术研发人员：李昊潼，李镐式，崔喜烈，闵允泓，柳尚贤，李礼夏，李知炫，崔荣相，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR