语音识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种语音识别方法、装置、电子设备及存储介质，其中方法包括：确定待识别语音；将所述待识别语音输入至混合语音识别模型中，得到所述混合语音识别模型输出的识别结果；所述混合语音识别模型在用于提取混合语种的语义特征的混合语义模型的基础上，应用样本混合语种语音和混合语种文本标签训练得到，所述混合语义模型基于样本混合语种文本训练得到。本发明专利技术提供的方法、装置、电子设备及存储介质，能够通过在提取混合语种的语义特征的混合语义模型的基础上训练完成的混合语音识别模型，对含有混合语种的语音进行识别，实现了在没有语种识别器的情况下，在减少系统运算量的同时对混合语种语音进行精确的识别。同时对混合语种语音进行精确的识别。同时对混合语种语音进行精确的识别。

【技术实现步骤摘要】
语音识别方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种语音识别方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，基于混合多语种语音识别主要以下几种方式：
[0003]1)先通过语种识别器判断输入数据的语种类别，再将音频特征送入到对应语种的语音识别器中获取语音识别结果。
[0004]2)先按照词段切分成完整的词边界的片段，语种识别判断每个片段的语种类别，然后将相邻的同种语言的片段重新整合到一起送入对应的语种识别器中进行识别，将识别结果拼接就得到了最终的结果。
[0005]3)在主体语种的语音识别系统中加入非主体语种的单词，非主体语种的单词发音采用主体语种的音素体系进行仿真，然后以主体语种单语语音识别方案训练混杂双语语音识别系统。
[0006]其中，方式1)和方式2)均对语种识别器强依赖，一旦语种识别器识别错误，则后续识别将全部错误，并且多语种识别器会导致系统的运算量较大；方式3)在主体语种和非主体语种音素体系差异较大时，会导致识别效果差甚至无法识别。

技术实现思路

[0007]本专利技术提供一种语音识别方法、装置、电子设备及存储介质，用以解决现有技术中在多语种识别时过于依赖语种识别且没有利用的混合语种语义导致的系统运算量大以及识别率低的缺陷。
[0008]本专利技术提供一种语音识别方法，包括：
[0009]确定待识别语音；
[0010]将所述待识别语音输入至混合语音识别模型中，得到所述混合语音识别模型输出的识别结果；
[0011]所述混合语音识别模型在混合语义模型的基础上，应用样本混合语种语音和混合语种文本标签训练得到，所述混合语义模型用于提取混合语种的语义特征，所述混合语义模型基于样本混合语种文本训练得到。
[0012]根据本专利技术提供的一种语音识别方法，所述混合语音识别模型基于如下步骤训练得到：
[0013]基于所述混合语义模型的模型参数，对初始语音识别模型中的解码部分进行参数初始化，得到初始混合语音识别模型；
[0014]基于所述样本混合语种语音和混合语种文本标签对所述初始混合语音识别模型进行训练，得到所述混合语音识别模型。
[0015]根据本专利技术提供的一种语音识别方法，所述混合语义模型基于如下步骤训练得
到：
[0016]确定初始生成器和初始判别器，所述初始生成器用于预测掩膜文本中的掩膜分词，得到补全文本，所述初始判别器用于判断所述补全文本与所述样本混合语种文本中各分词是否匹配，所述掩膜文本是对所述样本混合语种文本进行掩膜处理得到；
[0017]对所述初始生成器和初始判别器进行训练，基于训练完成的初始判别器确定所述混合语义模型。
[0018]根据本专利技术提供的一种语音识别方法，所述对所述初始生成器和初始判别器进行训练，包括：
[0019]基于联合训练损失函数，对所述初始生成器和初始判别器进行联合训练；所述联合训练损失函数是以所述掩膜分词的预测与所述样本混合语种文本的被掩膜分词之间的差异，以及判断结果与所述初始生成器的预测状态之间的差异构建的；
[0020]所述判断结果是所述初始判别器判断所述补全文本中的各分词与所述样本混合语种文本中对应的分词是否匹配的结果，所述预测状态指示所述补全文本中的各分词与所述样本混合语种文本中对应的分词是否一致。
[0021]根据本专利技术提供的一种语音识别方法，所述初始生成器用于基于所述预测掩膜文本中的分词序列，预测所述掩膜文本中的各掩膜分词，得到补全文本；
[0022]其中，所述掩膜文本的分词序列基于如下步骤确定：
[0023]基于混合语种词典，将所述掩膜文本转换为分词序列；
[0024]所述混合语种词典是对混合语种语料进行分词编码得到。
[0025]根据本专利技术提供的一种语音识别方法，所述混合语音识别模型的损失函数是以预测识别结果与所述混合语种文本标签之间的差异最小，和/或所述预测识别结果与所述混合语种文本标签一致的概率最大为目标构建的，所述预测识别结果是所述混合语音识别模型基于所述混合语种语音输出的。
[0026]根据本专利技术提供的一种语音识别方法，所述样本混合语种语音和所述混合语种文本标签是基于如下步骤得到：
[0027]对混合语种语料进行实体翻译、插入和替换中至少一种操作得到所述混合语种文本标签；
[0028]对所述混合语种文本标签进行语音合成得到所述混合语种文本标签对应的所述样本混合语种语音。
[0029]本专利技术还提供一种语音识别装置，包括：
[0030]确定模块，用于确定待识别语音；
[0031]识别模块，用于将所述待识别语音输入至混合语音识别模型中，得到所述混合语音识别模型输出的识别结果；
[0032]所述混合语音识别模型在用于提取混合语种的语义特征的混合语义模型的基础上，应用样本混合语种语音和混合语种文本标签训练得到，所述混合语义模型基于样本混合语种文本训练得到。
[0033]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述语音识别方法的步骤。
[0034]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述语音识别方法的步骤。
[0035]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述语音识别方法的步骤。
[0036]本专利技术提供的语音识别方法、装置、电子设备及存储介质，通过在提取混合语种的语义特征的混合语义模型的基础上训练完成的混合语音识别模型，对含有混合语种的语音进行识别，语音识别过程无需应用语种识别器，也无需划分语种分别进行语音识别，因此在保证混合语种语音的可靠性和准确性的同时，大大减少了语音识别所需的运算量。
附图说明
[0037]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本专利技术提供的语音识别方法的流程示意图；
[0039]图2是本专利技术提供的混合语音识别模型训练方法的流程示意图；
[0040]图3是本专利技术提供的混合语义模型训练方法的流程示意图；
[0041]图4是本专利技术提供的混合语音识别模型样本生成方法的流程示意图；
[0042]图5是本专利技术提供的混合语音识别模型训练方法的框架图；
[0043]图6是本专利技术提供的语音识别装置的结构示意图；
[0044]图7是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0045]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音识别方法，其特征在于，包括：确定待识别语音；将所述待识别语音输入至混合语音识别模型中，得到所述混合语音识别模型输出的识别结果；所述混合语音识别模型在混合语义模型的基础上，应用样本混合语种语音和混合语种文本标签训练得到，所述混合语义模型用于提取混合语种的语义特征，所述混合语义模型基于样本混合语种文本训练得到。2.根据权利要求1所述的语音识别方法，其特征在于，所述混合语音识别模型基于如下步骤训练得到：基于所述混合语义模型的模型参数，对初始语音识别模型中的解码部分进行参数初始化，得到初始混合语音识别模型；基于所述样本混合语种语音和混合语种文本标签对所述初始混合语音识别模型进行训练，得到所述混合语音识别模型。3.根据权利要求1所述的语音识别方法，其特征在于，所述混合语义模型基于如下步骤训练得到：确定初始生成器和初始判别器，所述初始生成器用于预测掩膜文本中的掩膜分词，得到补全文本，所述初始判别器用于判断所述补全文本与所述样本混合语种文本中各分词是否匹配，所述掩膜文本是对所述样本混合语种文本进行掩膜处理得到；对所述初始生成器和初始判别器进行训练，基于训练完成的初始判别器确定所述混合语义模型。4.根据权利要求3所述的语音识别方法，其特征在于，所述对所述初始生成器和初始判别器进行训练，包括：基于联合训练损失函数，对所述初始生成器和初始判别器进行联合训练；所述联合训练损失函数是以所述掩膜分词的预测与所述样本混合语种文本的被掩膜分词之间的差异，以及判断结果与所述初始生成器的预测状态之间的差异构建的；所述判断结果是所述初始判别器判断所述补全文本中的各分词与所述样本混合语种文本中对应的分词是否匹配的结果，所述预测状态指示所述补全文本中的各分词与所述样本混合语种文本中对应的分词是否一致。5.根据权利要求3...

【专利技术属性】
技术研发人员：胡鹏，方磊，何雪，周振昆，方四安，
申请(专利权)人：合肥讯飞数码科技有限公司，
类型：发明
国别省市：