用于训练语言模型并识别语音的方法和设备技术

提供一种用于训练语言模型并识别语音的方法和设备。提供一种用于训练神经网络语言模型的方法和设备，以及一种用于基于训练的语言模型来识别语音数据的方法和设备。所述训练语言模型的方法包括：使用处理器将训练数据转换为包含误差的训练数据；使用包含误差的训练数据训练神经网络语言模型。

【技术实现步骤摘要】
本申请要求于2014年12月8日提交到韩国知识产权局的第10-2014-0175152号韩国专利申请的权益，出于所有目的，所述韩国专利申请的全部公开通过引用包含于此。
以下描述涉及训练神经网络语言模型的技术和基于语言模型执行语音识别的技术。
技术介绍
模式识别可应用于包括手写字符的识别、使用成像技术的医疗诊断和检测机械设计中的错误的各种技术。人脑能够轻松地识别可视图像中的模式。然而，利用计算机执行有效且精确的模式识别一直非常困难。为了将输入模式分类为属于预定组的成员，研究人员正在对将由人执行的有效且精确的模式识别应用于计算机的方法积极地进行研究。研究的一个这样的领域集中于通过数学表达式对人的生物神经细胞的特性进行建模的人工神经网络。为了将输入模式分类为预定组，神经网络采用模拟人脑的学习能力的算法。通过该算法，神经网络可产生输入模式与输出模式之间的映射。产生这种映射的能力可被称为神经网络的学习能力。此外，神经网络可具有基于学习的结果针对还将用于学习的输入模式产生相对精确的输出的泛化能力。最近正在研究使用这种神经网络执行语音识别的技术。例如，正在持续进行研究来在各种环境(诸如包括附近用户的语音或外部噪声的环境)中增加语音识别的准确性。
技术实现思路
提供本
技术实现思路
以按照简化的形式来介绍对构思的选择，将在下面的具体实施方式中对所述构思进行进一步描述。本
技术实现思路
不意图标识所要求保护的主题的关键特征或必要特征，也不意图用作帮助确定所要求保护的主题的范围。在一个总体方面，一种训练语言模型的方法包括：使用处理器将训练数据转换为包含误差的训练数据；使用包含误差的训练数据训练神经网络语言模型。所述转换的步骤可包括：从训练数据中的词选择将被错误词替换的词；通过利用错误词替换选择的词来产生包含误差的训练数据。所述转换的步骤还可包括：从与选择的词相关联的多个候选词选择错误词。候选词可基于与选择的词的语音相似度被确定。所述选择错误词的步骤可包括：基于分配给候选词的权重选择错误词。所述选择的步骤可包括：从训练数据中的词任意选择将被错误词替换的词。所述方法的总体方面还可包括：确定训练数据是否将被转换为包含误差的训练数据。在另一总体方面，一种训练语言模型的方法可包括：使用处理器，基于词之间的语音相似度将训练数据中的词转换为向量值；使用向量值训练神经网络语言模型。所述转换的步骤可包括：通过将声音嵌入矩阵应用于训练数据中的词来将训练数据中的词转换为向量值。所述转换的步骤可包括：使用声音嵌入矩阵确定训练数据中的词的向量值，从而语音相似的词被布置在向量空间中的相邻位置。声音嵌入矩阵可基于训练的词之间的语音相似度被确定，训练的词之间的语音相似度可基于训练的词的音位序列之间的语音相似度被确定。声音嵌入矩阵可通过将多维标度(MDS)应用于词间距离矩阵被确定，词间距离矩阵可以是表示不同词之间的语音距离的矩阵。在另一总体方面，提供一种包括程序的非暂时性计算机可读存储介质，所述程序包括使计算机执行上述方法的指令。在另一总体方面，一种用于训练语言模型的设备包括：训练数据转换器，被配置为将训练数据转换为包含误差的训练数据；语言模型训练器；被配置为使用包含误差的训练数据训练神经网络语言模型。训练数据转换器可被配置为从训练数据中的词选择将被错误词替换的词，并可通过利用错误词替换选择的词来产生包含误差的训练数据。训练数据转换器可被配置为从基于与选择的词的语音相似度确定的多个候选词选择错误词。所述设备的总体方面还可包括：控制器，被配置为确定训练数据是否将被转换为包含误差的训练数据。在另一总体方面，一种用于训练语言模型的设备包括：训练数据转换器，被配置为基于词之间的语音相似度将训练数据中的词转换为向量值；语言模型训练器，被配置为使用向量值来训练神经网络语言模型。训练数据转换器可被配置为通过将声音嵌入矩阵应用于训练数据中的词来将训练数据中的词转换为向量值。在另一总体方面，一种用于训练语言模型的设备包括：处理器，被配置为将误差引入用于训练神经网络语言模型的训练数据，以产生包含误差的训练数据，并使用包含误差的训练数据训练语言模型。处理器可通过从存储器获取训练数据并利用基于错误词与选择的词的语音相似度选择的错误词替换包括在训练数据中的选择的词，来产生包含误差的训练数据。处理器可被配置为使用训练的语言模型将从麦克风接收的语音转换为输出数据。上述设备的总体方面可被配置为将输出数据用作控制所述设备上的应用的用户命令。从以下具体实施方式、附图和权利要求，其它特征和方面将是清楚的。附图说明图1是示出用于训练语言模型的设备的示例的框图。图2是示出用于训练语言模型的设备的示例的框图。图3是示出用于语言模型的神经网络的示例的示图。图4是示出用于语言模型的神经网络的示例的示图。图5是示出用于识别语音的设备的示例的框图。图6是示出用于识别语音的设备的配置的示例的框图。图7是示出用于识别语音的设备的配置的示例的框图。图8是示出训练语言模型的方法的示例的流程图。图9是示出训练语言模型的方法的示例的流程图。图10是示出训练语言模型的方法的示例的流程图。图11是示出训练语言模型的方法的示例的流程图。图12是示出训练语言模型的方法的示例的流程图。图13是示出识别语音的方法的示例的流程图。图14是示出用于训练语言模型的设备的示例的硬件组件的示图。图15是示出用于识别语音的设备的示例的硬件组件的示图。图16是示出人工神经元的示例的示意图。图17是示出神经网络的示例的示意图。贯穿附图和具体实施方式，相同参考标号表示相同元件。附图可不必成比例绘制，并且为了清楚、说明和方便，可夸大附图中的元件的相对大小、比例和描述。具体实施方式提供以下具体实施方式以帮助读者获得对这里描述的方法、设备和/或系统的全面理解。然而，这里描述的方法、设备和/或系统的各种改变、修改和等同物对于本领域的普通技术人员将是清楚的。这里描述的操作的顺序仅是示例而不限于这里阐明的顺序，如本领域普通技术人员所清楚的那样，除了必需按特定顺序发生的操作之外，这里描述的操作的顺序可被改变。此外，为了更加清楚和简明，可省略本领域的普通技术人员公知的功能和结构的描述。这里描述的特征可以以不同形式被实现，并不本文档来自技高网...

【技术保护点】
一种训练语言模型的方法，所述方法包括：使用处理器将训练数据转换为包含误差的训练数据；使用包含误差的训练数据训练神经网络语言模型。

【技术特征摘要】
2014.12.08 KR 10-2014-01751521.一种训练语言模型的方法，所述方法包括：
使用处理器将训练数据转换为包含误差的训练数据；
使用包含误差的训练数据训练神经网络语言模型。
2.如权利要求1所述的方法，其中，所述转换的步骤包括：
从训练数据中的词选择将被错误词替换的词；
通过利用错误词替换选择的词来产生包含误差的训练数据。
3.如权利要求2所述的方法，其中，所述转换的步骤还包括：从与选择
的词相关联的多个候选词选择错误词。
4.如权利要求3所述的方法，其中，候选词基于与选择的词的语音相似
度被确定。
5.如权利要求3所述的方法，其中，所述选择错误词的步骤包括：基于
分配给候选词的权重选择错误词。
6.如权利要求2所述的方法，其中，所述选择的步骤包括：从训练数据
中的词任意选择将被错误词替换的词。
7.如权利要求1所述的方法，还包括：
确定训练数据是否将被转换为包含误差的训练数据。
8.一种训练语言模型的方法，所述方法包括：
使用处理器，基于词之间的语音相似度将训练数据中的词转换为向量值；
使用向量值训练神经网络语言模型。
9.如权利要求8所述的方法，其中，所述转换的步骤包括：通过将声音
嵌入矩阵应用于训练数据中的词来将训练数据中的词转换为向量值。
10.如权利要求9所述的方法，其中，所述转换的步骤包括：使用声音
嵌入矩阵确定训练数据中的词的向量值，从而语音相似的词被布置在向量空
间中的相...

【专利技术属性】
技术研发人员：李镐式，崔喜烈，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR