一种语音处理方法、装置、设备和存储介质制造方法及图纸

技术编号:44763727 阅读:18 留言:0更新日期:2025-03-26 12:46
本公开的实施例涉及一种语音处理方法、装置、设备和存储介质。在此提出的方法包括:获取与第一语言相关联的第一语音内容;从与第一语言相关联的文本集合中确定与第一语音内容匹配的第一文本内容,第一文本内容对应于与第二语言相关联的第二文本内容;基于第一文本内容、第二文本内容和第一语音内容,构建目标模型的输入序列;以及基于目标模型的输出结果,生成与第二语言相关联的目标文本内容和/或第二语音内容。以此方式,本公开的实施例能够有效提高语音处理的效率。

【技术实现步骤摘要】
【国外来华专利技术】

本公开的示例实施例总体涉及计算机领域,特别地涉及一种语音处理方法、装置、设备和计算机可读存储介质。


技术介绍

1、语音翻译(speech translation,st)旨在将源语言语音翻译成目标语言文本,广泛应用于会议演讲翻译、视频字幕翻译、ar(augmented reality,ar)增强翻译等各种场景。端到端同传模型把大量的世界知识融入到模型参数中,在上述通用场景中翻译的表现越来越趋近于同传译员的水准。


技术实现思路

1、在本公开的第一方面,提供了一种语音处理方法,包括:获取与第一语言相关联的第一语音内容;从与第一语言相关联的文本集合中确定与第一语音内容匹配的第一文本内容,第一文本内容对应于与第二语言相关联的第二文本内容;基于第一文本内容、第二文本内容和第一语音内容,构建目标模型的输入序列;以及基于目标模型的输出结果,生成与第二语言相关联的目标文本内容和/或第二语音内容。

2、在本公开的第二方面,提供了一种用于语音处理的装置。该装置包括:语音获取模块,被配置为获取与第一语言相关联的第一语音内本文档来自技高网...

【技术保护点】

1.一种语音处理方法,包括:

2.根据权利要求1所述的方法,其中从与所述第一语言相关联的文本集合中确定与所述第一语音内容匹配的第一文本内容包括:

3.根据权利要求2所述的方法,其中基于所述语音特征表示和与所述文本集合对应的多个文本特征表示的比较从所述文本集合中确定所述第一文本内容包括:

4.根据权利要求3所述的方法,其中所述特征融合模块包括:

5.根据权利要求2所述的方法,其中所述输入序列包括与所述第一语音内容对应的序列部分,所述序列部分基于由所述音频编码器生成的所述语音特征表示所构建。

6.根据权利要求1所述的方法,其中所述目...

【技术特征摘要】
【国外来华专利技术】

1.一种语音处理方法,包括:

2.根据权利要求1所述的方法,其中从与所述第一语言相关联的文本集合中确定与所述第一语音内容匹配的第一文本内容包括:

3.根据权利要求2所述的方法,其中基于所述语音特征表示和与所述文本集合对应的多个文本特征表示的比较从所述文本集合中确定所述第一文本内容包括:

4.根据权利要求3所述的方法,其中所述特征融合模块包括:

5.根据权利要求2所述的方法,其中所述输入序列包括与所述第一语音内容对应的序列部分,所述序列部分基于由所述音频编码器生成的所述语音特征表示所构建。

6.根据权利要求1所述的方法,其中所述目标模型为语言模型,其中所述语言模型的所述输出结果包括文本令牌序列,并且基于所述目标模型的输出结果生成与所...

【专利技术属性】
技术研发人员:许璐黄志超程善伯高汝霆
申请(专利权)人:脸萌有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1