训练评分模型的方法、装置、终端及存储介质制造方法及图纸

本申请公开了一种训练评分模型的方法、装置、终端及存储介质，属于互联网技术领域。该方法包括：获取样本原文、第一样本译文以及至少一个第二样本译文，其中，第一样本译文的语义和样本原文对应的语义相同，第二样本译文的语义与第一样本译文的语义不同；将样本原文和第一样本译文输入评分模型，得到第一样本译文对应的第一样本分数，将样本原文分别和每个第二样本译文输入评分模型，得到每个第二样本译文对应的第二样本分数；基于第一样本分数以及至少一个第二样本分数，确定损失信息；基于损失信息，对评分模型进行调整。可见，本申请实施例解决了在没有样本译文对应的基准分数下，无法对评分模型进行训练的问题。对评分模型进行训练的问题。对评分模型进行训练的问题。

【技术实现步骤摘要】
训练评分模型的方法、装置、终端及存储介质


[0001]本申请涉及互联网
，特别涉及一种训练评分模型的方法、装置、终端及存储介质。

技术介绍

[0002]随着科学技术的发展，对机器翻译的译文进行评价，变得尤其的重要。
[0003]在相关技术中，将原文和对应的译文输入训练完成的评分模型，得到该译文对应的分数，进而基于该分数对该译文进行评价。对训练完成的评分模型进行训练的过程为：获取训练样本集，每个训练样本包括样本原文、对应的样本译文以及预先标注的基准分数。将训练样本中的样本原文和样本译文输入评分模型，得到该样本原文对应的预测分数。基于预测分数和基准分数，对评分模型进行训练调整。
[0004]在上述过程中，基准分数是专业翻译者对样本原文和对应的样本译文进行评分得来的。一旦训练样本缺少对应的基准分数，则无法对评分模型进行训练。

技术实现思路

[0005]本申请实施例提供了一种训练评分模型的方法、装置、终端及存储介质，解决了在没有样本译文对应的基准分数下，无法对评分模型进行训练的问题。该技术方案如下：
[0006]第一方面，本申请实施例提供了一种训练评分模型的方法，该方法包括：
[0007]获取样本原文、第一样本译文以及至少一个第二样本译文，其中，所述第一样本译文的语义和所述样本原文的语义相同，所述第二样本译文的语义与所述第一样本译文的语义不同；
[0008]将所述样本原文和所述第一样本译文输入评分模型，得到所述第一样本译文对应的第一样本分数，将所述样本原文分别和每个第二样本译文输入评分模型，得到每个第二样本译文对应的第二样本分数；
[0009]基于所述第一样本分数以及至少一个第二样本分数，确定损失信息；
[0010]基于所述损失信息，对评分模型进行调整。
[0011]可选的，所述获取样本原文、第一样本译文以及至少一个第二样本译文之前，所述方法还包括：
[0012]获取所述第一样本译文对应的第一样本文本向量和高斯噪声向量；
[0013]将所述第一样本文本向量和所述高斯噪声向量相加，得到加噪之后的第一样本文本向量；
[0014]将加噪之后的第一样本文本向量和所述第一样本文本向量输入预先训练的去噪自编码器，得到所述第二样本译文。
[0015]可选的，所述获取样本原文、第一样本译文以及至少一个第二样本译文之前，所述方法还包括：
[0016]获取所述第一样本文本对应的第一样本文本向量；
[0017]对所述第一样本译文进行随机破坏，得到破坏之后的第一样本译文；
[0018]确定所述破坏之后的第一样本译文对应的第二样本文本向量；
[0019]将所述第一样本文本向量和所述第二样本文本向量输入预先训练的去噪自编码器，得到所述第二样本译文。
[0020]可选的，所述基于所述第一样本分数以及至少一个第二样本分数，确定损失信息，包括：
[0021]基于所述第一样本分数、所述至少一个第二样本分数以及第一预设公式，确定所述损失信息；
[0022]所述第一预设公式为L＝∑
x∈D
‑
(p
x
×
log(W
x
×
h(x))+(1
‑
p
x
)
×
log(1
‑
W
x
×
h(x)))；
[0023]其中，L为所述损失信息，D为由所述第一样本译文和所述至少一个第二样本译文组成的样本译文集合，x为所述样本译文集合D中的任一样本译文，h(x)为所述样本译文x对应的分数，W
x
为预设系数，p
x
为预设常数，p
x
的数值范围为(0，1)。
[0024]可选的，所述基于所述第一样本分数以及至少一个第二样本分数，确定损失信息，包括：
[0025]基于所述第一样本分数、所述至少一个第二样本分数以及第二预设公式，确定所述损失信息；
[0026]所述第二预设公式为
[0027]其中，L为所述损失信息，D为由所述第一样本译文和所述至少一个第二样本译文组成的样本译文集合，s为所述第一样本译文，h(s)为所述第一样本译文对应的第一样本分数，x为所述样本译文集合D中的任一样本译文，h(x)为所述样本译文x对应的分数，margin为预设常数。
[0028]可选的，所述方法还包括：
[0029]将目标原文和目标译文输入预先训练的评分模型，得到所述目标译文对应的目标分数。
[0030]可选的，所述评分模型包括文本预处理模块、特征提取模块以及评分模块；
[0031]所述将所述样本原文和所述第一样本译文输入评分模型，得到所述第一样本译文对应的第一样本分数，包括：
[0032]将所述样本原文和所述第一样本译文输入文本预处理模块，得到样本字符序列；
[0033]将所述样本字符序列输入特征提取模块，得到样本特征信息；
[0034]将所述样本特征信息输入评分模块，得到所述第一样本译文对应的第一样本分数。
[0035]第二方面，本申请实施例提供了一种训练评分模型的装置，该装置包括：
[0036]第一获取模块，被配置为获取样本原文、第一样本译文以及至少一个第二样本译文，其中，所述第一样本译文的语义和所述样本原文的语义相同，所述第二样本译文的语义与所述第一样本译文的语义不同；
[0037]输入模块，被配置为将所述样本原文和所述第一样本译文输入评分模型，得到所述第一样本译文对应的第一样本分数，将所述样本原文分别和每个第二样本译文输入评分模型，得到每个第二样本译文对应的第二样本分数；
[0038]确定模块，被配置为基于所述第一样本分数以及至少一个第二样本分数，确定损失信息；
[0039]调整模块，被配置为基于所述损失信息，对评分模型进行调整。
[0040]可选的，所述装置还包括第二获取模块，所述第二获取模块，被配置为：
[0041]获取所述第一样本译文对应的第一样本文本向量和高斯噪声向量；
[0042]将所述第一样本文本向量和所述高斯噪声向量相加，得到加噪之后的第一样本文本向量；
[0043]将加噪之后的第一样本文本向量和所述第一样本文本向量输入预先训练的去噪自编码器，得到所述第二样本译文。
[0044]可选的，所述装置还包括第三获取模块，所述第三获取模块被配置为：
[0045]获取所述第一样本文本对应的第一样本文本向量；
[0046]对所述第一样本译文进行随机破坏，得到破坏之后的第一样本译文；
[0047]确定所述破坏之后的第一样本译文对应的第二样本文本向量；
[0048]将所述第一样本文本向量和所述第二样本文本向量输入预先训练的去噪自编码器，得到所述第二样本译文。
[0049]可选的，所述确定模块，被配置为：
[0050]基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练评分模型的方法，其特征在于，所述方法包括：获取样本原文、第一样本译文以及至少一个第二样本译文，其中，所述第一样本译文的语义和所述样本原文的语义相同，所述第二样本译文的语义与所述第一样本译文的语义不同；将所述样本原文和所述第一样本译文输入评分模型，得到所述第一样本译文对应的第一样本分数，将所述样本原文分别和每个第二样本译文输入评分模型，得到每个第二样本译文对应的第二样本分数；基于所述第一样本分数以及至少一个第二样本分数，确定损失信息；基于所述损失信息，对评分模型进行调整。2.根据权利要求1所述的方法，其特征在于，所述获取样本原文、第一样本译文以及至少一个第二样本译文之前，所述方法还包括：获取所述第一样本译文对应的第一样本文本向量和高斯噪声向量；将所述第一样本文本向量和所述高斯噪声向量相加，得到加噪之后的第一样本文本向量；将加噪之后的第一样本文本向量和所述第一样本文本向量输入预先训练的去噪自编码器，得到所述第二样本译文。3.根据权利要求1所述的方法，其特征在于，所述获取样本原文、第一样本译文以及至少一个第二样本译文之前，所述方法还包括：获取所述第一样本文本对应的第一样本文本向量；对所述第一样本译文进行随机破坏，得到破坏之后的第一样本译文；确定所述破坏之后的第一样本译文对应的第二样本文本向量；将所述第一样本文本向量和所述第二样本文本向量输入预先训练的去噪自编码器，得到所述第二样本译文。4.根据权利要求1所述的方法，其特征在于，所述基于所述第一样本分数以及至少一个第二样本分数，确定损失信息，包括：基于所述第一样本分数、所述至少一个第二样本分数以及第一预设公式，确定所述损失信息；所述第一预设公式为L＝∑
x∈D
‑
(p
x
×
log(W
x
×
h(x))+(1
‑
p
x
)
×
log(1
‑
W
x
×
h(x)))；其中，L为所述损失信息，D为由所述第一样本译文和所述至少一个第二样本译文组成的样本译文集合，x为所述样本译文集合D中的任一样本译文，h(x)为所述样本译文x对应的分数，W
x
为预设系数，p
x
为预设常数...

【专利技术属性】
技术研发人员：徐金安，黄辉，狄慧，刘健，陈钰枫，
申请(专利权)人：东芝中国有限公司，
类型：发明
国别省市：