语音识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种语音识别方法、装置、电子设备及存储介质，其中方法包括：确定待识别语音；将所述待识别语音输入至混合语音识别模型中，得到所述混合语音识别模型输出的识别结果；所述混合语音识别模型在用于提取混合语种的语义特征的混合语义模型的基础上，应用样本混合语种语音和混合语种文本标签训练得到，所述混合语义模型基于样本混合语种文本训练得到。本发明专利技术提供的方法、装置、电子设备及存储介质，能够通过在提取混合语种的语义特征的混合语义模型的基础上训练完成的混合语音识别模型，对含有混合语种的语音进行识别，实现了在没有语种识别器的情况下，在减少系统运算量的同时对混合语种语音进行精确的识别。同时对混合语种语音进行精确的识别。同时对混合语种语音进行精确的识别。

【技术实现步骤摘要】
语音识别方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种语音识别方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，基于混合多语种语音识别主要以下几种方式：
[0003]1)先通过语种识别器判断输入数据的语种类别，再将音频特征送入到对应语种的语音识别器中获取语音识别结果。
[0004]2)先按照词段切分成完整的词边界的片段，语种识别判断每个片段的语种类别，然后将相邻的同种语言的片段重新整合到一起送入对应的语种识别器中进行识别，将识别结果拼接就得到了最终的结果。
[0005]3)在主体语种的语音识别系统中加入非主体语种的单词，非主体语种的单词发音采用主体语种的音素体系进行仿真，然后以主体语种单语语音识别方案训练混杂双语语音识别系统。
[0006]其中，方式1)和方式2)均对语种识别器强依赖，一旦语种识别器识别错误，则后续识别将全部错误，并且多语种识别器会导致系统的运算量较大；方式3)在主体语种和非主体语种音素体系差异较大时，会导致识别效果差甚至无法识别。
专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音识别方法，其特征在于，包括：确定待识别语音；将所述待识别语音输入至混合语音识别模型中，得到所述混合语音识别模型输出的识别结果；所述混合语音识别模型在混合语义模型的基础上，应用样本混合语种语音和混合语种文本标签训练得到，所述混合语义模型用于提取混合语种的语义特征，所述混合语义模型基于样本混合语种文本训练得到。2.根据权利要求1所述的语音识别方法，其特征在于，所述混合语音识别模型基于如下步骤训练得到：基于所述混合语义模型的模型参数，对初始语音识别模型中的解码部分进行参数初始化，得到初始混合语音识别模型；基于所述样本混合语种语音和混合语种文本标签对所述初始混合语音识别模型进行训练，得到所述混合语音识别模型。3.根据权利要求1所述的语音识别方法，其特征在于，所述混合语义模型基于如下步骤训练得到：确定初始生成器和初始判别器，所述初始生成器用于预测掩膜文本中的掩膜分词，得到补全文本，所述初始判别器用于判断所述补全文本与所述样本混合语种文本中各分词是否匹配，所述掩膜文本是对所述样本混合语种文本进行掩膜处理得到；对所述初始生成器和初始判别器进行训练，基于训练完成的初始判别器确定所述混合语义模型。4.根据权利要求3所述的语音识别方法，其特征在于，所述对所述初始生成器和初始判别器进行训练，包括：基于联合训练损失函数，对所述初始生成器和初始判别器进行联合训练；所述联合训练损失函数是以所述掩膜分词的预测与所述样本混合语种文本的被掩膜分词之间的差异，以及判断结果与所述初始生成器的预测状态之间的差异构建的；所述判断结果是所述初始判别器判断所述补全文本中的各分词与所述样本混合语种文本中对应的分词是否匹配的结果，所述预测状态指示所述补全文本中的各分词与所述样本混合语种文本中对应的分词是否一致。5.根据权利要求3...

【专利技术属性】
技术研发人员：胡鹏，方磊，何雪，周振昆，方四安，
申请(专利权)人：合肥讯飞数码科技有限公司，
类型：发明
国别省市：