机器翻译模型的训练方法和机器翻译方法技术

本公开提供了一种机器翻译模型的训练方法和训练装置。该训练方法包括：获得特定用户的待翻译文本和待翻译文本的期望译文；获得待翻译文本的第一编码表达，以及获得用于表征特定用户的语言特征的第二编码表达；根据第一编码表达和第二编码表达，获得输入给机器翻译模型的第三编码表达，以及待翻译文本的翻译结果；根据待翻译文本的翻译结果与待翻译文本的期望译文计算损失值；如果损失值大于或等于预设阈值，则根据损失值调整机器翻译模型的权重参数；如果损失值小于预设阈值，则停止训练方法。该方法中采用表征特定用户的语言特征第二编码表达调整输入给机器翻译模型的编码表达，以能够提供个性化的翻译结果。以能够提供个性化的翻译结果。以能够提供个性化的翻译结果。

【技术实现步骤摘要】
机器翻译模型的训练方法和机器翻译方法


[0001]本公开涉及计算机
，更具体而言，涉及一种机器翻译模型的训练方法和机器翻译方法。

技术介绍

[0002]机器翻译是利用计算机程序将一种自然语言(源语言)转换为另一种自然语言(目标语言)。目前机器翻译的实施很多采用基于神经网络技术建模的机器翻译模型实现。但随着机器翻译的广泛应用，研发人员发现，即使是同一语义，不同用户也有不同文本表达。虽然目前改进的机器翻译模型能够从籍贯、职业、男女等维度控制翻译结果，但是，这种方式还不是真正意义上的个性化翻译，其本质上是基于群体特征去控制翻译结果，并没有达到基于单一个体的个性化语言特征提供翻译结果的目的。

技术实现思路

[0003]有鉴于此，本公开旨在提供一种机器翻译模型的训练方法和实施该机器翻译模型的方法，实施该机器翻译模型能够达到基于个体的个性化语言特征提供翻译结果的目的。
[0004]根据本公开的第一方面，提供一种机器翻译模型的训练方法，包括：
[0005]获得特定用户的待翻译文本和所述待翻译文本的期望译文；
[0006]获得所述待翻译文本的第一编码表达，以及，
[0007]获得用于表征所述特定用户的语言特征的第二编码表达；
[0008]根据所述第一编码表达和所述第二编码表达，获得输入给所述机器翻译模型的第三编码表达，以及所述待翻译文本的翻译结果；
[0009]根据所述待翻译文本的翻译结果与所述待翻译文本的期望译文计算损失值；
[0010]如果所述损失值大于或等于预设阈值，则根据所述损失值调整所述机器翻译模型的权重参数；
[0011]如果所述损失值小于预设阈值，则停止所述训练方法。
[0012]在一些实施例中，所述获得用于表征所述特定用户的语言特征的第二编码表达包括：
[0013]判断所述特定用户的历史输入是否存在；
[0014]基于所述特定用户的历史输入提取关键词，并据此获得所述第二编码表达。
[0015]在一些实施例中，所述基于所述特定用户的历史输入提取关键词，并据此获得所述第二编码表达包括：
[0016]基于所述待翻译文本与所述特定用户的历史输入获得上下文关键词；
[0017]基于所述待翻译文本与所有用户的历史输入获得主题关键词；
[0018]基于所述上下文关键词和所述主题关键词分别求取对应的编码表达；以及
[0019]根据所述上下文关键词和所述主题关键词分别对应的编码表达通过权重求和计算得到所述第二编码表达，其中，所述权重求和计算中的权重为可学习的参数矩阵。。
[0020]在一些实施例中，所述根据所述上下文关键词和所述主题关键词分别对应的编码表达通过权重求和计算得到所述第二编码表达包括：
[0021]将所述上下文关键词和所述主题关键词分别对应的编码表达分别与一参数矩阵进行矩阵相乘再求和计算，并将计算结果代入给一激活函数，以得到小于1的第一数值；
[0022]将所述第一数值与所述主题关键词对应的编码表达相乘，得到第一乘积；
[0023]将数值1与所述第一数值的差再乘以所述上下文关键词对应的编码表达得到第二乘积；
[0024]将所述第一乘积与所述第二乘积之和作为所述第二编码表达。
[0025]在一些实施例中，还包括：利用所述损失值调整所述上下文关键词和所述主题关键词分别对应的编码表达在权重求和计算中各自的权重。
[0026]在一些实施例中，所述获得用于表征所述特定用户的语言特征的第二编码表达还包括：
[0027]如果所述特定用户的历史输入不存在，则基于TF
‑
IDF余弦相似度确定所述特定用户的最相似用户，并以所述最相似用户的历史输入作为所述特定用户的历史输入，以获得所述第二编码表达。
[0028]在一些实施例中，结合TD
‑
IDF算法获得所述上下文关键词和所述主题关键词。
[0029]在一些实施例中，用于计算所述损失值的损失函数由所述待翻译文本的翻译结果与所述待翻译文本的期望译文之间的最大似然性损失以及所述特定用户、最相似用户和任意选取的不相似用户的历史译文的对比损失构成。
[0030]根据本公开的第二方面，提供一种机器翻译模型的训练方法，包括：
[0031]预处理模块，用于接收特定用户的待翻译文本和待翻译文本的期望译文，并获得所述待翻译文本的第一编码表达，获得表征所述特定用户的语言特征的第二编码表达，并根据所述第一编码表达和所述第二编码表达获得第三编码表达；
[0032]损失计算模块，用于将所述第三编码表达输入给所述机器翻译模型，以得到所述待翻译文本的翻译结果，并基于所述待翻译文本的翻译结果与所述待翻译文本的期望译文计算之间损失值；
[0033]参数更新模块，用于基于所述损失值调整所述机器翻译模型的权重参数。
[0034]根据本公开的第三方面，提供一种计算机设备，包括：
[0035]存储器，用于存储计算机可执行代码；
[0036]处理器，用于执行所述计算机可执行代码，以实现上述的训练方法。
[0037]根据本公开的第三方面，提供一种计算机可读介质，包括计算机可执行代码，所述计算机可执行代码被处理器执行时上述的训练方法。
[0038]本公开实施例提供的训练方法，采用表征特定用户的语言特征的第二编码表达调节输入给机器翻译模型的待翻译文本的第一编码表达，并据此调节机器翻译模型的权重参数，这种建模方法能够达到利用用户个性化的语言特征影响翻译结果的目的。
[0039]此外，TD
‑
IDF算法通常应用于信息发掘和文本处理。但本公开实施例将其用于确定上下文关键词和主题关键词，并基于上下文关键词和主题关键词经由权重求和计算得到第二编码表达，且经由训练不断调整权重求和计算中的参数矩阵，以形成更能表征特定用户的语言特征的第二编码表达，如此方法能够使第二编码表达更能够表征特定用户的语言
特征。并且对于一个新用户，可基于TF
‑
IDF余弦相似度确定所述新用户的最相似用户，以最相似用户的历史输入代替新用户的历史输入来确定该新用户的第二编码表达。
附图说明
[0040]通过参考以下附图对本公开实施例的描述，本公开的上述以及其它目的、特征和优点将更为清楚，在附图中：
[0041]图1示出了根据本公开实施例的机器翻译模型的训练方法所应用的场景示意图；
[0042]图2示出了一个可作为训练装置和执行装置的服务器的结构图；
[0043]图3示出了根据本公开一实施例的机器翻译模型的训练方法的流程图；
[0044]图4示出了图3中的步骤S303的一个示例性的具体流程图；
[0045]图5示出了根据本公开另一实施例的机器翻译模型的训练方法的流程图；
[0046]图6示出了根据本公开一实施例的机器翻译方法的流程图；
[0047]图7示出了图6中的步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器翻译模型的训练方法，包括：获得特定用户的待翻译文本和所述待翻译文本的期望译文；获得所述待翻译文本的第一编码表达，以及，获得用于表征所述特定用户的语言特征的第二编码表达；根据所述第一编码表达和所述第二编码表达，获得输入给所述机器翻译模型的第三编码表达，以及所述待翻译文本的翻译结果；根据所述待翻译文本的翻译结果与所述待翻译文本的期望译文计算损失值；如果所述损失值大于或等于预设阈值，则根据所述损失值调整所述机器翻译模型的权重参数；如果所述损失值小于预设阈值，则停止所述训练方法。2.根据权利要求1所述的训练方法，其中，所述获得用于表征所述特定用户的语言特征的第二编码表达包括：判断所述特定用户的历史输入是否存在；如果存在，基于所述特定用户的历史输入提取关键词，并基于所述关键词获得所述第二编码表达。3.根据权利要求2所述的训练方法，其中,所述基于所述特定用户的历史输入提取关键词，并基于所述关键词获得所述第二编码表达包括：基于所述待翻译文本与所述特定用户的历史输入获得上下文关键词；基于所述待翻译文本与所有用户的历史输入获得主题关键词；基于所述上下文关键词和所述主题关键词分别求取对应的编码表达；以及根据所述上下文关键词和所述主题关键词分别对应的编码表达通过权重求和计算得到所述第二编码表达，其中，所述权重求和计算中的权重为可学习的参数矩阵。4.根据权利要求3所述的训练方法，其中，所述根据所述上下文关键词和所述主题关键词分别对应的编码表达通过权重求和计算得到所述第二编码表达包括：将所述上下文关键词和所述主题关键词分别对应的编码表达分别与一参数矩阵进行矩阵相乘再求和计算，并将计算结果代入给一激活函数，以得到小于1的第一数值；将所述第一数值与所述主题关键词对应的编码表达相乘，得到第一乘积；将数值1与所述第一数值的差再乘以所述上下文关键词对应的编码表达得到第二乘积；将所述第一乘积与所述第二乘积之和作为...

【专利技术属性】
技术研发人员：林欢，姚亮，杨宝嵩，张海波，骆卫华，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：