一种多语种语音翻译模型构建方法及翻译方法技术

技术编号:41759774 阅读:17 留言:0更新日期:2024-06-21 21:40
本发明专利技术涉及智能翻译技术领域,公开了一种多语种语音翻译模型构建方法及翻译方法,模型构建方法包括:使用目标语种文本数据对预设语音翻译模型进行预训练微调,得到目标语种的语言预训练模型,语言预训练模型包括第一编码器和第一解码器;将预设多语种语音识别模型作为教师模型进行知识蒸馏,得到蒸馏模型,蒸馏模型包括第二编码器和第二解码器;基于第二编码器和第一解码器构建目标语音翻译模型;使用预收集的音频数据对目标语音翻译模型进行训练,得到多语种语音翻译模型,本发明专利技术对目标语音翻译模型进行训练时只需要较少的数据对齐进行训练即可使模型收敛,从而减少训练所需数据,且训练得到的多语种语音翻译模型规模小,适用于车机领域。

【技术实现步骤摘要】

本专利技术涉及智能翻译,具体涉及一种多语种语音翻译模型构建方法及翻译方法


技术介绍

1、车企开始走向世界,在此过程中,产生了更多语种的智能车控交互领域的需求;作为智能车控交互领域的第一关,提升识别和翻译的精度对于交互体验尤为重要。如何在支持更多语种的同时,使用更低的资源,具有更高翻译的精度,是目前亟待解决的问题。

2、通常的解决方案需要对每个源语种到目标语种的映射进行单独建模,这些方式不仅需要耗费大量资源,也会增加用户使用时的复杂度,同时对于低资源的语种,也会存在翻译精度不足的情况;学术界提出了自动语音翻译(automatic speech translation,ast)的研究领域,将多个的语音转译为单一的语音文字,但是学术界的方案很难就行工业层面的落地,主要表现为模型过大,训练花费的资源耗费多。


技术实现思路

1、有鉴于此,本专利技术提供了一种多语种语音翻译模型构建方法及翻译方法,以解决现有多语种翻译方法的模型大,训练资源耗费多的技术问题。

2、第一方面,本专利技术提供了一种多语本文档来自技高网...

【技术保护点】

1.一种多语种语音翻译模型构建方法,其特征在于,包括:

2.根据权利要求1所述的多语种语音翻译模型构建方法,其特征在于,所述基于所述第二编码器和第一解码器构建目标语音翻译模型,包括:

3.根据权利要求2所述的多语种语音翻译模型构建方法,其特征在于,所述使用预收集的音频数据对所述目标语音翻译模型进行训练,得到多语种语音翻译模型,包括:

4.根据权利要求1所述的多语种语音翻译模型构建方法,其特征在于,所述预设多语种语音识别模型为whisper模型;

5.一种多语种语音翻译方法,其特征在于,包括:

6.一种多语种语音翻译模型构建装置,...

【技术特征摘要】

1.一种多语种语音翻译模型构建方法,其特征在于,包括:

2.根据权利要求1所述的多语种语音翻译模型构建方法,其特征在于,所述基于所述第二编码器和第一解码器构建目标语音翻译模型,包括:

3.根据权利要求2所述的多语种语音翻译模型构建方法,其特征在于,所述使用预收集的音频数据对所述目标语音翻译模型进行训练,得到多语种语音翻译模型,包括:

4.根据权利要求1所述的多语种语音翻译模型构建方法,其特征在于,所述预设多语种语音识别模型为whisper模型;

5.一种多语种语音翻译方法,其特征在于,包括:

6.一种多语种语音翻译模型构建装置,其特征在于,包括:

7.一种多语种语音翻译装置,其特征在于,包括:

<...

【专利技术属性】
技术研发人员:赵晴
申请(专利权)人:镁佳北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1