语言模型训练方法、系统、移动终端及存储介质技术方案

本发明专利技术提供了一种语言模型训练方法、系统、移动终端及存储介质，该方法包括：获取训练文本和训练词汇，对训练文本进行分类，以得到多个语言模块，并根据训练词汇构建对应语言模块的语言词典；根据语言词典对语言模块中的模块语言模型进行模型训练，对训练文本进行训练，以得到文本语言模型；获取待识别语音进行音素识别，得到音素串，将音素串与模块语言模型进行匹配，得到音素匹配结果；通过文本语言模型对音素匹配结果进行概率计算，将最大的概率值对应的句子进行输出。本发明专利技术通过进行训练文本的分类和语言词典的构建设计，提高了语言模型的训练效率和准确性，通过基于对模块语言模型和训练文本的训练设计，使得可以有效的进行语言模型的拓展。

Language model training methods, systems, mobile terminals and storage media

【技术实现步骤摘要】
语言模型训练方法、系统、移动终端及存储介质
本专利技术属于语音识别
，尤其涉及一种语言模型训练方法、系统、移动终端及存储介质。
技术介绍
语音识别研究已有几十年的历史，语音识别技术主要包括声学模型建模、语言模型建模、发音词典构建以及解码四个部分，每一部分都可以成为一个单独的研究方向，并且相对于图像和文本，语音数据的采集和标注难度也大大提升，因此搭建一个完整的语言模型训练系统是个耗时极长、难度极高的工作，这极大阻碍了语音识别技术的发展。现有的语言模型训练过程中，仅能根据数据库中预存储的词汇和句式进行语言模型的训练，在训练过程中不能及时添加词汇和句式，进而导致语言模型训练的效率和拓展性低下。
技术实现思路
本专利技术实施例的目的在于提供一种语言模型训练方法、系统、移动终端及存储介质，旨在解决现有的语言模型训练的效率和拓展性低下的问题。本专利技术实施例是这样实现的，一种语言模型训练方法，所述方法包括：获取训练文本和训练词汇，对所述训练文本进行分类，以得到多个语言模块，并根据所述训练词汇构建对应所述语言模块的语言词典；根据所述语言词典对所述语言模块中的模块语言模型进行模型训练，并对所述训练文本进行训练，以得到文本语言模型；获取待识别语音进行音素识别，得到音素串，并将所述音素串与所述模块语言模型进行匹配，以得到音素匹配结果；通过所述文本语言模型对所述音素匹配结果进行概率计算，并将最大的概率值对应的句子进行输出。更进一步的，所述根据所述语言词典对所述语言模块中的模块语言模型进行模型训练的步骤包括：根据所述语音词典在所述训练文本中抽取所述语言模块对应的语言文本；根据所述语言文本采用3-gram训练方式对所述模块语言模型进行训练；获取所述语言模块中被抽取的所述语言文本中对应词语的词频，并根据所述词频和所述语言模型的训练结果构建哈夫曼树模型。更进一步的，所述将所述音素串与所述模块语言模型进行匹配的步骤包括：将所述音素串依序与每个所述模块语言模型中的样本音素进行匹配；当所述音素串与所述模块语音模型中的所述样本音素之间的匹配数量大于或等于预设数量时，将所有匹配成功的所述样本音素进行输出；当所述匹配数量小于所述预设数量时，将所述模块语音模型对应的所述语言模块的结果进行输出。更进一步的，所述通过所述文本语言模型对所述音素匹配结果进行概率计算的步骤包括：将各个所述语言模块输出的所述样本音素进行组合，以得到组合信息，所述组合信息中存储有多个音素组合串；根据所述文本语言模型分别对所述音素组合串进行概率计算，以得到多个所述概率值。更进一步的，所述将所述音素串依序与每个所述模块语言模型中的样本音素进行匹配的步骤之后，所述方法还包括：当所述音素串与所述模块语言模型匹配失败时，根据所述模块语言模型对所述音素串进行错误标记。更进一步的，所述将所述音素串与所述模块语言模型进行匹配的步骤之后，所述方法还包括：当所述音素串与所述模块语言模型匹配成功时，对所述音素串进行词汇类型标记；根据所述音素串上词汇类型标记的标记结果进行类型匹配，以得到语句类型，并根据所述语句类型对所述待识别语音进行语境标记。本专利技术实施例的另一目的在于提供一种语言模型训练系统，所述系统包括：文本分类模块，用于获取训练文本和训练词汇，对所述训练文本进行分类，以得到多个语言模块，并根据所述训练词汇构建对应所述语言模块的语言词典；模型训练模块，用于根据所述语言词典对所述语言模块中的模块语言模型进行模型训练，并对所述训练文本进行训练，以得到文本语言模型；音素匹配模块，用于获取待识别语音进行音素识别，得到音素串，并将所述音素串与所述模块语言模型进行匹配，以得到音素匹配结果；概率计算模块，用于通过所述文本语言模型对所述音素匹配结果进行概率计算，并将最大的概率值对应的句子进行输出。更进一步的，所述模型训练模块还用于：根据所述语音词典在所述训练文本中抽取所述语言模块对应的语言文本；根据所述语言文本采用3-gram训练方式对所述模块语言模型进行训练；获取所述语言模块中被抽取的所述语言文本中对应词语的词频，并根据所述词频和所述语言模型的训练结果构建哈夫曼树模型。本专利技术实施例的另一目的在于提供一种移动终端，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述移动终端执行上述的语言模型训练方法。本专利技术实施例的另一目的在于提供一种存储介质，其存储有上述的移动终端中所使用的计算机程序，该计算机程序被处理器执行时实现上述的语言模型训练方法的步骤。本专利技术实施例，通过进行训练文本的分类和语言词典的构建设计，有效的提高了语言模型的训练效率和准确性，通过基于对所述语言模块中的模块语言模型进行模型训练和对所述训练文本进行训练的设计，使得可以有效的进行语言模型的拓展，通过基于音素识别的方式进行语音识别，有效的提高了语音模型的识别效率。附图说明图1是本专利技术第一实施例提供的语言模型训练方法的流程图；图2是本专利技术第二实施例提供的语言模型训练方法的流程图；图3是本专利技术第三实施例提供的语言模型训练系统的结构示意图；图4是本专利技术第四实施例提供的移动终端的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一请参阅图1，是本专利技术第一实施例提供的语言模型训练方法的流程图，包括步骤：步骤S10，获取训练文本和训练词汇，对所述训练文本进行分类，以得到多个语言模块，并根据所述训练词汇构建对应所述语言模块的语言词典；其中，该训练文本中的文字语言可以根据需求进行设置，例如该文字语言可以为中文、英文、韩文或日文等，该训练词汇和训练文本均可以基于数据库的方式进行获取，该训练词汇包括名词词汇、动词词汇、形容词词汇、副词词汇等；具体的，该步骤中可以采用分类器的方式进行该训练文本的分类，该分类器用于将该训练文本中的文本文字按照词语属性的不同进行分类，以对应得到多个语言模块，该语言模块可以为名词模块、动词模块、形容词模块和副词模块等，该步骤中，通过对该训练文本进行分类的设计，有效的方便了后续针对语言模块的训练，提高了语言模型的训练效率；优选的，该步骤中，通过构建该语言词典的设计，有效的保障了后续针对语言模型训练的稳定进行，提高了语言模型训练的准确性，通过根据所述训练词汇构建对应所述语言模块的语言词典的设计，以使对应得到名词词典、动词词典、形容词词典和副词词典等；步骤S20，根据所述语言词典对所述语言模块中的模块语言模型进行模型训练，并对所述本文档来自技高网...

【技术保护点】
1.一种语言模型训练方法，其特征在于，所述方法包括：/n获取训练文本和训练词汇，对所述训练文本进行分类，以得到多个语言模块，并根据所述训练词汇构建对应所述语言模块的语言词典；/n根据所述语言词典对所述语言模块中的模块语言模型进行模型训练，并对所述训练文本进行训练，以得到文本语言模型；/n获取待识别语音进行音素识别，得到音素串，并将所述音素串与所述模块语言模型进行匹配，以得到音素匹配结果；/n通过所述文本语言模型对所述音素匹配结果进行概率计算，并将最大的概率值对应的句子进行输出。/n

【技术特征摘要】
1.一种语言模型训练方法，其特征在于，所述方法包括：
获取训练文本和训练词汇，对所述训练文本进行分类，以得到多个语言模块，并根据所述训练词汇构建对应所述语言模块的语言词典；
根据所述语言词典对所述语言模块中的模块语言模型进行模型训练，并对所述训练文本进行训练，以得到文本语言模型；
获取待识别语音进行音素识别，得到音素串，并将所述音素串与所述模块语言模型进行匹配，以得到音素匹配结果；
通过所述文本语言模型对所述音素匹配结果进行概率计算，并将最大的概率值对应的句子进行输出。


2.如权利要求1所述的语言模型训练方法，其特征在于，所述根据所述语言词典对所述语言模块中的模块语言模型进行模型训练的步骤包括：
根据所述语音词典在所述训练文本中抽取所述语言模块对应的语言文本；
根据所述语言文本采用3-gram训练方式对所述模块语言模型进行训练；
获取所述语言模块中被抽取的所述语言文本中对应词语的词频，并根据所述词频和所述语言模型的训练结果构建哈夫曼树模型。


3.如权利要求1所述的语言模型训练方法，其特征在于，所述将所述音素串与所述模块语言模型进行匹配的步骤包括：
将所述音素串依序与每个所述模块语言模型中的样本音素进行匹配；
当所述音素串与所述模块语音模型中的所述样本音素之间的匹配数量大于或等于预设数量时，将所有匹配成功的所述样本音素进行输出；
当所述匹配数量小于所述预设数量时，将所述模块语音模型对应的所述语言模块的结果进行输出。


4.如权利要求3所述的语言模型训练方法，其特征在于，所述通过所述文本语言模型对所述音素匹配结果进行概率计算的步骤包括：
将各个所述语言模块输出的所述样本音素进行组合，以得到组合信息，所述组合信息中存储有多个音素组合串；
根据所述文本语言模型分别对所述音素组合串进行概率计算，以得到多个所述概率值。


5.如权利要求3所述的语言模型训练方法，其特征在于，所述将所述音素串依序与每个所述模块语言模型中的样本音素进行匹配的步骤之后，...

【专利技术属性】
技术研发人员：张广学，肖龙源，蔡振华，李稀敏，刘晓葳，
申请(专利权)人：厦门快商通科技股份有限公司，
类型：发明
国别省市：福建;35