翻译模型的训练方法、介质、计算机设备和程序产品技术

技术编号:42242401 阅读:21 留言:0更新日期:2024-08-02 13:53
翻译模型的训练方法、介质、计算机设备和程序产品,所述方法包括:获取翻译模型的第一翻译损失,所述第一翻译损失与翻译模型的目标输出词元和该目标输出词元的在前输出词元为相同词元的概率正相关,目标输出词元为翻译模型对输入信息中包括的多个输入词元进行翻译时期望输出的词元,在前输出词元为翻译模型在获取目标输出词元之前,对所述多个输入词元进行翻译得到的词元;获取所述多个输入词元对目标输出词元的第一贡献度和所述多个输入词元对在前输出词元的第二贡献度;基于第一贡献度和第二贡献度之间的相似度,对第一翻译损失进行调整,得到翻译模型的第二翻译损失;基于第二翻译损失对翻译模型进行训练。

【技术实现步骤摘要】

本公开涉及人工智能,尤其涉及翻译模型的训练方法、介质、计算机设备和程序产品


技术介绍

1、在采用翻译模型将某个语种的信息翻译成另一个语种的信息时,可能会出现翻译幻觉问题。其中,翻译幻觉问题是指在翻译结果中出现重复内容。翻译幻觉问题会导致翻译的质量和效率降低,从而影响用户体验。为了减少翻译幻觉问题,相关技术会以尽可能降低翻译模型输出重复内容的概率为目标来对翻译模型进行训练。然而,重复内容有时并不是由翻译幻觉导致的,而是因为翻译模型的输入信息本身就包括重复内容。采用相关技术训练出的翻译模型并不能较好地区分上面的两种情况,输入信息本身包括的重复内容会被翻译模型误判为翻译幻觉而不被输出,导致翻译质量降低。


技术实现思路

1、第一方面,本公开实施例提供一种翻译模型的训练方法,所述方法包括:获取翻译模型的第一翻译损失,所述第一翻译损失与所述翻译模型的目标输出词元和该目标输出词元的在前输出词元为相同词元的概率正相关,所述目标输出词元为所述翻译模型对输入信息中包括的多个输入词元进行翻译时期望输出的词元,所述在前输出词元为所本文档来自技高网...

【技术保护点】

1.一种翻译模型的训练方法,所述方法包括:

2.根据权利要求1所述的方法,所述目标输出词元为所述输入信息对应的参考翻译信息中的目标翻译词元,所述在前输出词元为所述参考翻译信息中位于所述目标翻译词元之前的翻译词元,所述目标翻译词元在所述参考翻译信息中的位置与所述目标输出词元在包括所述目标输出词元及其在前输出词元的输出信息中的位置相对应。

3.根据权利要求2所述的方法,所述获取翻译模型的第一翻译损失,包括:

4.根据权利要求1所述的方法,所述在前输出词元的数量大于1;所述翻译模型的第一翻译损失包括多个在前输出词元分别对应的翻译损失,在前输出词元对应的翻译损...

【技术特征摘要】

1.一种翻译模型的训练方法,所述方法包括:

2.根据权利要求1所述的方法,所述目标输出词元为所述输入信息对应的参考翻译信息中的目标翻译词元,所述在前输出词元为所述参考翻译信息中位于所述目标翻译词元之前的翻译词元,所述目标翻译词元在所述参考翻译信息中的位置与所述目标输出词元在包括所述目标输出词元及其在前输出词元的输出信息中的位置相对应。

3.根据权利要求2所述的方法,所述获取翻译模型的第一翻译损失,包括:

4.根据权利要求1所述的方法,所述在前输出词元的数量大于1;所述翻译模型的第一翻译损失包括多个在前输出词元分别对应的翻译损失,在前输出词元对应的翻译损失与所述翻译模型将该在前输出词元确定为所述目标输出词元的概率正相关;所述多个输入词元对所述在前输出词元的第二贡献度包括所述多个输入词元分别对多个在前输出词元的贡献度;

5.根据权利要求1所述的方法,所述目标输出词元的在前输出词元与所述目标输出词元之间的距离小于或等于预设距离阈值。

6.根据权利要求1所述的方法,所述基于所述第一贡献度和所述第二贡献度之间的相似度,对所述第一翻译损失进行调整,得到所述翻译模型的第二翻译损失,包括:

7.根据权利要求6所述的方法,所述基于所述第一贡献度和...

【专利技术属性】
技术研发人员:戴煌宇陈犇陈凯迪蒋文
申请(专利权)人:杭州阿里巴巴海外数字商业有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1