重打分语言模型的打分方法及语音识别方法技术

本发明专利技术公开一种重打分语言模型的打分方法，包括：预先训练基于类的语言模型作为重打分语言模型；确定待打分OOV词的分类；根据预设分类词表和词频信息确定待打分OOV词的参数信息；将参数信息输入至所述重打分语言模型；根据所述参数信息和所述重打分语言模型的输出确定所述待打分OOV词的概率。本发明专利技术预先训练得到了重打分语言模型，通过根据预设分类词表和词频信息确定待打分OOV词的参数信息并输入至训练好的重打分语言模型的方式确定待打分OOV词的概率，在无需利用特殊的UNK标记取代OOV词的情况下实现了重打分，彻底解决了词表不匹配的问题，能够提升语音识别的准确率。

【技术实现步骤摘要】
重打分语言模型的打分方法及语音识别方法
本专利技术涉及语音识别
，尤其涉及一种重打分语言模型的打分方法及语音识别方法。
技术介绍
自动语音识别技术(AutomaticSpeechRecognition，ASR)是一种将人的语音转换为文本的技术。主流的ASR系统一般包含第一路语言模型和第二路语言模型，其中第一路语言模型通常来说是基于N-gram的统计语言模型，而第二路语言模型通常采用神经网络语言模型。识别的过程一般是：第一路语言模型首先解码出最佳的N个句子，然后把这些句子交给第二路语言模型进行重打分。因为第二路路语言模型会修正第一路语言模型的打分，使总体的打分更加准确，以此提升ASR系统的识别准确性。一般来说，第二路语言模型的训练语料和第一路语言模型不同，这就导致两者的词表存在差异，也就是词表不匹配问题。词表的不匹配会使得第一路语言模型的输出中包含了第二路语言模型词表之外的词(out-of-vocabulary，OOV词)。但是为包含OOV词的句子打分一直是各种语言模型的短板。一般来说，训练语言模型时会用一个特殊的UNK标记取代所有的OOV词，但是这种方法并不能真正解决词表不匹配的问题。所以这种词表不匹配问题会损害第二路语言模型的性能，也就会损害ASR系统的识别准确性。极端情况下，第二路语言模型的打分效果甚至不如只用第一路语言模型。有一些方法会将识别过程中第二路语言模型可能遇到的OOV词加入词表，但是这种添加需要额外的语料，并且添加方式需要重新训练语言模型，比较繁琐。专利技术内容本专利技术实施例提供一种重打分语言模型的打分方法及语音识别方法，用于至少解决上述技术问题之一。第一方面，本专利技术实施例提供一种重打分语言模型的打分方法，包括：预先训练基于类的语言模型作为重打分语言模型；确定待打分OOV词的分类；根据预设分类词表和词频信息确定待打分OOV词的参数信息；将参数信息输入至所述重打分语言模型；根据所述参数信息和所述重打分语言模型的输出确定所述待打分OOV词的概率。第二方面，本专利技术实施例提供一种语音识别方法，应用于语音识别系统，其特征在于，所述语音识别系统包括声学模型、第一路语言模型和第二路语言模型，所述第二路语言模型为本专利技术任一实施例中所述的重打分语言模型，所述方法包括：将采集的声学特征输入至所述声学模型得到相应的音素特征信息；根据预设词典查询对应于所述音素特征信息的文本信息；将所述文本信息输入至所述第一路语言模型得到多个候选语句；基于所述第二路语言模型采用本专利技术任一实施例中所述的重打分语言模型的打分方法对所述多个候选语句进行重打分。第三方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本专利技术上述任一项重打分语言模型的打分方法。第四方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术上述任一项重打分语言模型的打分方法。第五方面，本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项重打分语言模型的打分方法。本专利技术实施例的有益效果在于：预先训练得到了重打分语言模型，通过根据预设分类词表和词频信息确定待打分OOV词的参数信息并输入至训练好的重打分语言模型的方式确定待打分OOV词的概率，在无需利用特殊的UNK标记取代OOV词的情况下实现了重打分，彻底解决了词表不匹配的问题，能够提升语音识别的准确率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的重打分语言模型的打分方法的一实施例的流程图；图2为本专利技术的重打分语言模型的打分方法的另一实施例的流程图；图3为本专利技术中训练重打分语言模型的一实施例的流程图；图4为本专利技术中训练重打分语言模型的另一实施例的流程图；图5为本专利技术的重打分语言模型的打分方法的一实施例的流程图；图6为本专利技术的重打分语言模型的打分方法的一实施例的流程图；图7为本专利技术的语音识别方法的一实施例的流程图；图8为第语言模型和第语言模型的词汇表之间存在三种可能的关系的示意图；图9为具有“Linear-Softmax”的子网络的结构图；图10为查找OOV单词类别的过程的示意图；图11为本专利技术的电子设备的一实施例的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本专利技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本专利技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。在本专利技术中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素本文档来自技高网...

【技术保护点】
1.一种重打分语言模型的打分方法，包括：/n预先训练基于类的语言模型作为重打分语言模型；/n确定待打分OOV词的分类；/n根据预设分类词表和词频信息确定待打分OOV词的参数信息；/n将参数信息输入至所述重打分语言模型；/n根据所述参数信息和所述重打分语言模型的输出确定所述待打分OOV词的概率。/n

【技术特征摘要】
1.一种重打分语言模型的打分方法，包括：
预先训练基于类的语言模型作为重打分语言模型；
确定待打分OOV词的分类；
根据预设分类词表和词频信息确定待打分OOV词的参数信息；
将参数信息输入至所述重打分语言模型；
根据所述参数信息和所述重打分语言模型的输出确定所述待打分OOV词的概率。


2.根据权利要求1所述的方法，其特征在于，所述预先训练基于类的语言模型作为重打分语言模型包括：
从训练语料集中提取词表；
对所述词表进行分类处理得到分类词表；
基于所述训练语料集和所述分类词表训练重打分语言模型。


3.根据权利要求2所述的方法，其特征在于，所述对所述词表进行分类处理得到分类词表包括：
使用同义词知识库对所述词表中的词进行分类得到分类词表。


4.根据权利要求2所述的方法，其特征在于，所述对所述词表进行分类处理得到分类词表包括：
基于所述第一训练语料集采用word2vec训练语料训练词向量；
根据训练得到的词向量对所述词表中的词进行分类得到分类词表。


5.根据权利要求4所述的方法，其特征在于，根据训练得到的词向量对所述词表中的词进行分类得到分类词表包括：采用k-means聚类算法根据训练得到的词向量对所述词表中的词进行分类得到分类词表。


6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据预设分类词表和词频信息确定待打分OOV词的参数信息包...

【专利技术属性】
技术研发人员：俞凯，戴凌锋，刘奇，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32