语音关系提取方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:41495736 阅读:19 留言:0更新日期:2024-05-30 14:40
本公开提供了一种语音关系提取方法、装置、计算机设备及存储介质。方法通过获取语音数据;基于第一神经网络模型对目标语音数据进行语音特征提取,得到语音特征;将语音特征输入第二神经网络模型进行特征模态转换,得到文本特征;基于第三神经网络模型对文本特征进行特征解码,得到目标语音数据的语音关系文本;其中,第一神经网络模型、第二神经网络模型以及第三神经网络模型基于目标损失联合训练得到,目标损失包括第一损失以及第二损失;第一损失为基于第一样本文本特征与第二样本文本特征计算得到;第二损失为基于预测语音关系文本与语音关系标签计算得到。该方法可以提升语音关系提取的准确性。

【技术实现步骤摘要】

本公开涉及人工智能,特别是涉及一种语音关系提取方法、装置、计算机设备及存储介质


技术介绍

1、语音翻译是将语音文件中的语音内容转换成另一种语言的文本的服务。这种服务在跨语言交流、国际会议、听力障碍人士的辅助设备等方面有着非常重大的作用。

2、其中,在语音翻译过程中,一般需要进行语音关系提取,以便更好地挖掘语音中的知识。语音关系提取旨在从语音中抽取出关系三元组(例如头实体、尾实体以及关系),从而可以辅助输出更为准确的翻译结果。

3、目前,相关技术中采用的语音关系提取方法,其提取得到的语音关系的准确性不高。


技术实现思路

1、本公开实施例提供了一种语音关系提取方法、装置计算机设备及存储介质,该语音关系提取方法可以提升语音关系提取的准确性。

2、本公开第一方面提供了一种语音关系提取方法,所述方法包括:

3、一种语音关系提取方法,其特征在于,所述方法包括:

4、获取待进行语音关系提取的目标语音数据;

5、基于第一神经网络模型对所述目标语音数据进本文档来自技高网...

【技术保护点】

1.一种语音关系提取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型的联合训练过程,包括如下步骤:

3.根据权利要求2所述的方法,其特征在于,所述基于所述第一损失以及所述第二损失对所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型的模型参数进行更新,包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述样本语音进行语音识别得到对应的样本文本,并基于第四神经网络模型对所述样本文本进行文本特征提取,得到所述第二样本文本特征之后,还包括:...

【技术特征摘要】

1.一种语音关系提取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型的联合训练过程,包括如下步骤:

3.根据权利要求2所述的方法,其特征在于,所述基于所述第一损失以及所述第二损失对所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型的模型参数进行更新,包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述样本语音进行语音识别得到对应的样本文本,并基于第四神经网络模型对所述样本文本进行文本特征提取,得到所述第二样本文本特征之后,还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述第一样本文本特征对所述第二样本文本特征中的实体特征进行模态转化,得到混合模态特征,包括:

6.根据权利要求4所述的方法,其特征在于,所述基于所述第三神经网络模型对所述混合模态特征进行特征解码得到第二预测语音关系文本,以及基于所述第三神经网络模型对所述第二样本文本特征进行特征解码得到第三预测语音关系文本之后,还包括:

7.根据权利要求6所述的方法,其特征在于,所述对所述样本语音进行语音识别得到对应的样本文本,并基于第四神经网络模型对所述样本文本进行文本特征提取,得到所述第二样本文本特征之后,还包括:

8.根据权利要求7所述的方法,其特征在于,所述基于第六神经网络模型对所...

【专利技术属性】
技术研发人员:张亮杨振孟凡东苏劲松
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1