语音识别方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种语音识别方法、装置、设备及存储介质，该方法包括：获取第二语言下的待识别语音信息；并将待识别语音信息输入语音识别模型中，得到待识别语音信息的识别结果，其中语音识别模型包括编码模块和解码模块，编码模块经过数据对训练后与解码模块一起经过第二语言音频训练数据训练，数据对包括一对具有相同语义的第一语言音频数据和第二语言音频数据。即本申请，使用具有相同语义信息的两种语言音频数据对编码模块进行训练，充分考虑到音频中所隐含的语义信息，进而提高了语音识别模型的语义识别准确性。音识别模型的语义识别准确性。音识别模型的语义识别准确性。

【技术实现步骤摘要】
语音识别方法、装置、设备及存储介质


[0001]本申请实施例涉及计算机
，尤其涉及一种语音识别方法、装置、设备及存储介质。

技术介绍

[0002]语音识别技术是指将语音信息转换成对应的文字信息的技术，例如将用户说出的话语识别为对应语言文字。
[0003]随着深度学习技术的快速发展，基于深度神经网络的端到端语音识别方法在字准、句准、出字速度等指标方面表现突出。因此，目前在语音识别
中，使用端到端的深度神经网络替换传统语音识别方法。
[0004]为了提高深度神经网络模型的训练速度，使用迁移学习方法来训练模型。但是，在语音识别
，使用迁移学习方法训练模型时，未考虑充分考虑语音的语义信息，进而使得训练后的模型的语音识别准确性低。

技术实现思路

[0005]本申请实施例提供一种语音识别方法、装置、设备及存储介质，以提高语音识别的准确性。
[0006]第一方面，本申请实施例提供一种语音识别方法，包括：
[0007]获取第二语言下的待识别语音信息；
[0008]将所述待识别语音信息输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音识别方法，其特征在于，包括：获取第二语言下的待识别语音信息；将所述待识别语音信息输入语音识别模型中，得到所述待识别语音信息的识别结果；其中，所述语音识别模型包括编码模块和解码模块，所述编码模块经过数据对训练后与所述解码模块一起经过第二语言音频训练数据训练，所述数据对包括一对具有相同语义的第一语言音频数据和第二语言音频数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：针对多个数据对中的每个数据对，通过语音识别模型中的编码模块，得到所述数据对中的第一语言音频数据对应的第一语义信息和第二语言音频数据对应的第二语义信息；确定所述第一语义信息和第二语义信息之间的语义偏离度，并使用所述语义偏离度对所述编码模块进行训练；使用第二语言音频训练数据，对训练后的编码模块和所述语音识别模型中的解码模块进行训练，得到训练后的语音识别模型。3.根据权利要求2所述的方法，其特征在于，所述通过语音识别模型中的编码模块，得到所述数据对中第一语言音频数据对应的第一语义信息和第二语言音频数据对应的第二语义信息，包括：将所述数据对输入所述编码模块，得到所述编码模块输出的所述第一语言音频数据对应的第三语义信息，以及所述第二语言音频数据对应的第四语义信息；将所述第三语义信息和所述第四语义信息分别输入语义一致性回归模块中，得到所述语义一致性回归模块输出的所述第一语义信息和第二语义信息。4.根据权利要求3所述的方法，其特征在于，所述语义一致性回归模块包括M层全连接层，所述M为大于2正整数。5.根据权利要求4所述的方法，其特征在于，所述M层全连接层中，至少一个中间层的神经元的数量与输入层的神经元数量不同。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述语音识别模型在经过所述数据对和所述第二语言音频训练数据训练之前，经过第一语言音频训练数据的训练。7.根据权利要求2
‑
5任一项所述的方法，其特征在于，所述确定所述第一语义信息和第二语义信息之间的语义偏离度，包括：确定所述第一语义信息和所述第二语义信息之间的距离；将所述距离确定为所述语义偏离度。8.根据权利要求7所述的方法，其特征在于，所述距离为欧式距离。9.根据权利要求3所述的方法，其特征在于，所述使用所述语义偏离度对所述编码模块进行训练，包括：以所述语义偏离度为损失，对所述编码模块和所述语义一致性回归模块进行训练。10.根据权利要求2
‑
5任一项...

【专利技术属性】
技术研发人员：冯景南，付中华，王海坤，
申请(专利权)人：西安讯飞超脑信息科技有限公司，
类型：发明
国别省市：