System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 翻译方法及相关设备技术_技高网

翻译方法及相关设备技术

技术编号:40657407 阅读:3 留言:0更新日期:2024-03-18 18:48
公开了一种翻译方法及相关设备,涉及人工智能领域,以提高机器翻译的准确性。该方法包括:获取待翻译语句,待翻译语句包括第一语种表述的多义词;根据消歧规则确定多义词的目标语义,消歧规则用于指示利用翻译模型确定多义词的目标语义,翻译模型可对待翻译语句对应的词向量序列执行数据处理获得多义词在待翻译语句中的语义,翻译模型为根据平行训练语句对训练得到的,平行训练语句对中的训练语句均为第一语种;根据目标语义确定待翻译文本的翻译结果,翻译结果包括目标语义为第二语种表述的内容,第一语种和第二语种不同。

【技术实现步骤摘要】

本申请涉及人工智能,特别是涉及一种翻译方法及相关设备


技术介绍

1、在人工智能(artificial intelligence,ai)领域中,机器翻译作为解决人类语言沟通障碍的桥梁,无论是单独使用的文本翻译,还是会议场景下的同传翻译,还是视频中的字幕翻译都已经大规模商业化。机器翻译通过翻译模型对一种语言的文本进行处理,翻译成另外一种语言的文本返回给用户,或者连接上游各种自然语言处理(natural languageprocessing,nlp)任务进行使用。

2、随着神经网络的提出以及大量平行语料的使用,翻译技术日益精进,翻译质量有了显著的改善。但是,在翻译的精准度上,仍存在大量的错误,影响用户体验。尤其是在处理同形异义词时,由于同形异义词具有多个语义,翻译模型无法识别同形异义词的正确语义会导致无法得到正确的翻译。


技术实现思路

1、本申请提供了一种翻译方法及相关设备,以提高机器翻译的准确性。

2、第一方面,提供一种翻译方法。该方法包括:获取待翻译语句,待翻译语句包括第一语种表述的多义词;根据消歧规则确定多义词的目标语义,消歧规则用于指示利用翻译模型确定多义词的目标语义,翻译模型可对待翻译语句对应的词向量序列执行数据处理获得多义词在待翻译语句中的语义,翻译模型为根据平行训练语句对训练得到的,平行训练语句对中的训练语句均为第一语种;根据目标语义确定待翻译文本的翻译结果,翻译结果包括目标语义为第二语种表述的内容,第一语种和第二语种不同。通过均为第一语种的训练语句作为平行预料对翻译模型进行训练,能够使翻译模型更好地从第一语种表述的语句中学习到如何提取准确的语义信息,对于具有多种语义的多义词也能更准确地提取出在语句中的语义信息。从而,基于训练得到的对多义词语义准确识别的模型进行翻译,能够准确地确定多义词在待翻译语句中的所表达的语义,从而能够将多义词更好地翻译为第二语种表述的内容,多义词在第一语种表述的表达翻译语句中所表达的含义,与该多义词翻译后在翻译结果中表达的含义基本一致,进而能够提高翻译的准确性。

3、在一种可能的实现方式中,翻译模型包括第一编码器,所消歧规则用于指示利用第一编码器确定多义词的目标语义的方式。翻译模型中的第一编码器用于提取包括多义词的待翻译语句所表达的语义并输出相应的语义表示(编码向量),第一编码器为通过平行训练语句对训练得到的,能够提取语句中的词语的准确语义。从而,通过第一编码器确定准确地提取多义词的目标语义,使得翻译结果中通过第二语言表示的多义词更加准确,多义词在翻译前后表示的含义是相同的,从而翻译结果更加精确。

4、在一种可能的实现方式中,平行训练语句对包括第一训练语句和第二训练语句在所述获取待翻译语句之前,方法还包括:对第一训练语句进行编码得到的第一训练编码向量;对第二训练语句进行编码得到的第二训练编码向量;根据第一训练编码向量和第二训练编码向量的第一距离得到第一编码器;其中,第一训练语句和第二训练语句所表示的语义相同。通过第一语种表述且语义相同的第一训练语句和第二训练语句对第一编码器进行训练,缩小具有相同语义的训练语句在编码空间的距离,能够训练第一编码器学习到将第一语种表述的句子所表达的语义准确地编码,从而提高第一编码器确定提取的待翻译语句中的词语的准确性。

5、在一种可能的实现方式中,平行训练语句对包括第三训练语句和参考语句,在获取待翻译语句之前,方法还包括:对第三训练语句进行编码得到的第三训练编码向量,第三训练编码向量包括训练多义词的第一多义词编码向量;对第二训练语句进行编码得到的参考编码向量,参考编码向量包括训练多义词的第二多义词编码向量;根据第一多义词编码向量和第二多义词编码向量的第二距离得到第一编码器。通过对包括同一训练多义词的不同训练语句进行训练,能够使第一编码器学习如何结合语句的上下文信息对训练多义词的多种语义进行编码,从而,第一编码器能够准确地区别语句中的多义词的语义。

6、在一种可能的实现方式中,第三训练语句和参考语句中的训练多义词的语义相同或相似,第一编码器为缩小第二距离以更新得到的;或第三训练语句和参考语句中的多义词的语义不同,第一编码器为扩大第二距离更新得到的。通过拉近多义词相同的语义对应的编码向量在编码空间的距离,或拉远多义词不同的语义对应的编码向量在编码空间的距离,即对多义词的相同语义在编码空间进行聚类,或对多义词的不同语义在编码空间进行隔离,同一训练多义词的不同语义在编码空间有不同的表示。从而,经过训练,第一编码器不仅能够学习到如何根据多义词的上下文信息确定多义词在语句中所表达的正确语义,还能够该语义准确地编码表达,从而,第一编码器能够准确地区别语句中的多义词的语义。

7、在一种可能的实现方式中,翻译模型还包括第二编码器和解码器,则所述根据消歧规则确定所述多义词的目标语义,包括:通过所述第一编码器对所述待翻译语句进行编码得到第一编码向量,所述第一编码向量包括所述多义词的所述目标语义的信息。通过所述第二编码器用于对所述待翻译语句进行编码得到第二编码向量,所述第二编码向量包括所述待翻译语句的句法信息和的语义信息;则所述根据所述目标语义确定所述待翻译语句的翻译结果,包括:通过所述解码器对所述第一编码向量和所述第二编码向量进行解码,以得到所述翻译结果。第一编码向量和第二编码向量中包含的信息不同,各有侧重,第一编码向量侧重准确地从语句中提取语义信息,尤其是多义词的语义,第二编码向量侧重句法信息,从而,通过结合第一编码向量和第二编码向量得到翻译结果,既能够保证翻译结果中语句顺序合理,又能够保证翻译结果中词语表达的语义与待翻译语句表达的语义相同,从而提高翻译精确度。

8、在一种可能的实现方式中,解码器包括堆叠的至少一个转换(transformer)层,每一transformer层用于融合第一编码向量和第二编码向量,以得到第二结果。transformer通过注意力机制对第一编码向量和第二编码向量进行解码,能够提高解码的准确性,从而提高翻译的精度。

9、在一种可能的实现方式中,每一transformer层包括自注意力层、交叉注意力层和前馈层,交叉注意力层用于根据第一编码向量和自注意力层输出的自注意力向量得到第一交叉注意力向量,以及根据所第二编码向量和自注意力向量得到第二交叉注意力向量,前馈层用于根据第一交叉注意力向量和第二交叉注意力向量得到transformer层的输出概率,输出概率用于预测第二结果,或作为下一transformer层的自注意力层的输入。

10、在一种可能的实现方式中,交叉注意力层包括第一交叉注意力子层和第二交叉注意力子层,前馈层包括第一前馈子层、第二前馈子层和加和与归一化层;第一交叉注意力子层用于根据第一编码向量和自注意力向量得到第一交叉注意力向量,第二交叉注意力子层用于根据第二编码向量和自注意力向量得到第二交叉注意力向量,第一前馈子层用于向前传播第一交叉注意力向量得到第一前馈向量,第二前馈子层用于向前传播第二交叉注意力向量得到第二前馈向本文档来自技高网...

【技术保护点】

1.一种翻译方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述翻译模型包括第一编码器,所消歧规则用于指示利用所述第一编码器确定所述多义词的所述目标语义的方式。

3.根据权利要求2中所述的方法,其特征在于,所述平行训练语句对包括第一训练语句和第二训练语句,在所述获取待翻译语句之前,所述方法还包括:

4.根据权利要求2或3所述的方法,其特征在于,所述平行训练语句对包括第三训练语句和参考语句,在所述获取待翻译语句之前,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述第三训练语句和所述参考语句中的所述训练多义词的语义相同或相似,所述第一编码器为缩小所述第二距离得到的;或

6.一种翻译系统,其特征在于,所述翻译装置包括:

7.根据权利要求6所述的装置,其特征在于,所述翻译模型包括第一编码器,所消歧规则用于指示利用所述第一编码器确定所述多义词的目标语义的方式。

8.根据权利要求7中所述的装置,其特征在于,所述平行训练语句对包括第一训练语句和第二训练语句,所述翻译装置还包括训练模块;所述训练模型用于:

9.根据权利要求7或8所述的装置,其特征在于,所述平行训练语句对包括第三训练语句和参考语句,所述翻译装置还包括训练模块;所述训练模型用于:

10.根据权利要求9所述的装置,其特征在于,所述第三训练语句和所述参考语句中的所述训练多义词的语义相同或相似,所述第一编码器为缩小所述第二距离以更新得到的;或

11.一种计算设备,其特征在于,所述设备包括处理器和存储器,所述处理器耦接所述存储器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1-5中任一项所述的翻译方法。

12.一种计算机可读存储介质,其特征在于,包括指令,当所述计算机可读存储介质在计算机上运行时,使得所述计算机执行如权利要求1-5中任一项所述的数据处理方法。

...

【技术特征摘要】

1.一种翻译方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述翻译模型包括第一编码器,所消歧规则用于指示利用所述第一编码器确定所述多义词的所述目标语义的方式。

3.根据权利要求2中所述的方法,其特征在于,所述平行训练语句对包括第一训练语句和第二训练语句,在所述获取待翻译语句之前,所述方法还包括:

4.根据权利要求2或3所述的方法,其特征在于,所述平行训练语句对包括第三训练语句和参考语句,在所述获取待翻译语句之前,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述第三训练语句和所述参考语句中的所述训练多义词的语义相同或相似,所述第一编码器为缩小所述第二距离得到的;或

6.一种翻译系统,其特征在于,所述翻译装置包括:

7.根据权利要求6所述的装置,其特征在于,所述翻译模型包括第一编码器,所消歧规则用于指示利用所述第一编码器确定所述多义词...

【专利技术属性】
技术研发人员:王伟璇彭伟
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1