【技术实现步骤摘要】
一种翻译模型的训练方法、文本翻译方法、装置及设备
[0001]本专利技术涉及机器学习
,特别是涉及一种翻译模型的训练方法、文本翻译方法、装置及设备。
技术介绍
[0002]在机器翻译领域中,包含人名的源语句需要正确的翻译到目标语言,例如:若源语句为“红玉刚去上学了”,目标语言为英文,则需要将源语句正确的翻译为“Hong Yugang go to school”,即翻译为包含正确人名的翻译结果。
[0003]相关技术中,将大量的包含人名的源语句作为训练样本,并将每一训练样本对应的属于目标语言的翻译结果,作为该训练样本的标签,利用训练样本对翻译模型对进行训练,使得模型可以基于训练样本和标签,学习到包含人名的翻译结果。
[0004]但是,相关技术中,由于部分训练样本与标签之间可能存在没有对齐的数据,对这些训练样本进行学习,会导致模型学习到错误的人名翻译结果。
技术实现思路
[0005]本专利技术实施例的目的在于提供一种翻译模型的训练方法、装置及设备,以提升翻译模型的翻译准确性;另外,本专利技术 ...
【技术保护点】
【技术特征摘要】
1.一种翻译模型的训练方法,其特征在于,所述方法包括:获取用于训练翻译模型的训练数据集;其中,所述训练数据集中包括多个训练样本,每一训练样本均具有指定标签;每一训练样本的指定标签为对应于该训练样本的目标语言的翻译结果;识别所述训练数据集中的、指定标签符合预定条件的各个目标训练样本;其中,任一指定标签符合预定条件包括该指定标签中包含有所属训练样本中的人名的完整翻译结果;对所述各个目标训练样本进行指定预处理,得到各个第一训练样本;其中,所述指定预处理用于将任一目标训练样本中的人名替换为属于所述目标语言的翻译结果并进行指定标记;利用待训练的翻译模型,对多个待利用样本进行翻译处理,得到每一待利用样本的输出结果;其中,所述多个待利用样本包括所述各个第一训练样本;基于每一待利用样本对应的输出结果以及所具有的指定标签,确定模型损失值;基于所述模型损失值,判断所述翻译模型是否收敛,若收敛,则训练结束,得到训练完成的翻译模型,否则,调整所述翻译模型的参数并返回执行所述获取用于训练翻译模型的训练数据集的步骤。2.根据权利要求1所述的方法,其特征在于,所述识别所述训练数据集中的、指定标签符合预定条件的各个目标训练样本,包括:针对所述训练数据集中的每一训练样本,基于预先构建的人名翻译字典,查找该训练样本中的人名对应的翻译结果,作为该训练样本的第一人名翻译结果;其中,所述人名翻译字典为:记录有属于源语言的人名与相对应的属于所述目标语言的翻译结果的词典,所述源语言为每一训练样本所属的语言;将该训练样本的指定标签中对应于人名的翻译结果,作为该训练样本的第二人名翻译结果;若该训练样本的第一人名翻译结果与第二人名翻译结果相同,则识别出该训练样本为所具有指定标签符合预定条件的目标训练样本。3.根据权利要求1所述的方法,其特征在于,所述对各个目标训练样本进行指定预处理,得到各个第一训练样本,包括:针对每一目标训练样本,将该目标训练样本中的人名,替换为人名翻译字典中、与该目标训练样本中的人名相对应的翻译结果,得到包含人名翻译结果的中间数据;其中,所述人名翻译字典为:记录有属于源语言的人名与相对应的属于所述目标语言的翻译结果的词典,所述源语言为每一训练样本所属的语言;对所述中间数据中所包含的人名翻译结果进行指定标记,得到第一训练样本。4.根据权利要求1
‑
3任一项所述的方法,其特征在于,所述多个待利用样本还包括:各个第二训练样本;其中,每一第二训练样本为所述训练数据集中除各个目标训练样本之外的其他训练样本。5.一种文本翻译方法,其特征在于,所述方法包括:确定待进行翻译的目标数据;其中,所述目标数据为待翻译为目标语言的数据;对所述目标数据进行目标预处理,得到预处理后的目标数据;其中,所述目标预处理用于将所述目标数据中的人名替换为属于所述目标语言的翻译结果并进行指定标记;
将所述预处理后的目标数据输入至预先训练完成的翻译模型,得到所述目标数据对应的翻译结果;其中,所述翻译模型为基于权利要求1
‑
5任一项所述方法训练得到的模型。6.一种翻译模型的训练装置,其特征在于,所述装置包括:获取模块,用于获取用于训练翻译模型的训练数据集;其中,所述训练数据集中包括多个训练样本,每一训练样本均具有指定标签;每一训练样本的指定标签为对应于该训练样本的目标语言的翻译结果;识别模块,用于识别所述训练数据集中的、指定标签符合预定条件的各个目标训练样本;其中,任一指定标签...
【专利技术属性】
技术研发人员:张轩玮,
申请(专利权)人:北京爱奇艺科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。