一种翻译模型训练方法、文本翻译方法及相关装置制造方法及图纸

本申请公开了一种翻译模型训练方法、文本翻译方法及相关装置，在该方法中，将至少一个样本文本中输入双向翻译模型，以便根据双向翻译模型的输出结果对双向翻译模型进行参数更新，其中，双向翻译模型的输出结果包括每一样本文本的预测翻译文本以及每一样本文本对应的预测词袋，且该预测词袋是朝着对应样本文本的实际词袋的方向预测得到的，该实际词袋包括对应样本文本的实际翻译文本中的各个不同词，因此，在对模型进行参数更新时，需要基于每一样本文本的预测词袋与其实际词袋之间的差异进行参数更新，使得该实际词袋可以用于指导翻译方向，故而，训练完成的双向翻译模型能够朝着输入样本文本的实际词袋的方向进行准确翻译。

A Translation Model Training Method, Text Translation Method and Related Devices

【技术实现步骤摘要】
一种翻译模型训练方法、文本翻译方法及相关装置
本申请涉及自然语言处理
，尤其涉及一种翻译模型训练方法、文本翻译方法及相关装置。
技术介绍
近年来，自然语言处理的研究已经成为热点，而机器翻译是自然语言研究领域的一个重要分支，也是人工智能领域的一个重要课题。机器翻译，是利用计算机将一种源语言自动转换为另一种目标语言的过程，历史上出现过很多机器翻译方法，例如，基于规则的机器翻译方法、基于统计的机器翻译方法、以及基于神经网络的机器翻译方法等。目前，为了实现机器翻译，需要针对特定的翻译方向训练对应的翻译模型，例如，针对中译英翻译训练一个中译英翻译模型、针对英译中翻译再训练一个英译中翻译模型。即，对于中英互译系统来说，需要训练优化两个不同方向的翻译模型，这对于人力和服务器计算资源来说，都是一种消耗和浪费。
技术实现思路
本申请实施例的主要目的在于提供一种翻译模型训练方法、文本翻译方法及相关装置，能够训练得到一个实现双向翻译的单一模型，从而节省了人力和计算机资源的消耗和浪费。本申请实施例提供了一种翻译模型训练方法，包括：将至少一个样本文本输入双向翻译模型，所述至少一个样本文本包括双向翻译方向中的至少一个语种类型下的文本数据；获取所述双向翻译模型的输出结果，所述输出结果包括每一样本文本的预测翻译文本以及每一样本文本对应的预测词袋，所述预测词袋是朝着对应样本文本的实际词袋的方向预测得到的，所述实际词袋包括对应样本文本的实际翻译文本中的各个不同词；根据所述输出结果对所述双向翻译模型进行参数更新，以完成本轮训练。可选的，所述方法还包括：收集所述双向翻译方向中的每一语种类型下的文本语料；从所述每一语种类型下的文本语料中提取高频词，利用每一高频词以及该高频词的表示结果构成一个双语词典；则，所述将至少一个样本文本输入双向翻译模型，包括：确定所述至少一个样本文本中的属于所述双语词典的词，并将所确定的词的表示结果输入双向翻译模型。可选的，所述获取所述双向翻译模型的输出结果，包括：对于每一样本文本，利用所述双向翻译模型，生成所述样本文本的预测翻译文本，并且，根据所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果，生成所述样本文本的预测词袋。可选的，所述根据所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果，生成所述样本文本的预测词袋，包括：将所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果进行线性计算，得到线性计算结果；根据所述线性计算结果，生成所述样本文本对应的预测词袋。可选的，所述根据所述输出结果对所述双向翻译模型进行参数更新，包括：根据所述输出结果以及目标函数，对所述双向翻译模型进行参数更新；其中，所述目标函数包括第一概率分布和第二概率分布；所述第一概率分布包括在已知所述样本文本的情况下、得到所述样本文本的预测翻译文本中的每个词的概率；所述第二概率分布包括在已知所述样本文本和所述样本文本对应的实际词袋的情况下、得到所述样本文本对应的预测词袋中的每个词的概率。可选的，所述根据所述输出结果以及目标函数，对所述双向翻译模型进行参数更新，包括：对于每一样本文本，确定该样本文本的预测翻译文本与实际翻译文本之间的差异、以及该样本文本对应的预测词袋与实际词袋之间的差异；根据确定的差异以及所述目标函数，对所述双向翻译模型的参数进行更新。本申请实施例还提供了一种文本翻译方法，包括：利用预先构建的双向翻译模型，对待翻译的目标文本进行翻译，得到所述目标文本的预测翻译文本；其中，所述目标文本的语种类型为所述双向翻译模型支持的两个翻译方向上的任一语种类型，所述双向翻译模型为根据上述提供的翻译模型训练方法的任一实施方式训练得到的。本申请实施例提供了一种翻译模型训练装置，包括：输入单元，用于将至少一个样本文本输入双向翻译模型，所述至少一个样本文本包括双向翻译方向中的至少一个语种类型下的文本数据；输出单元，用于获取所述双向翻译模型的输出结果，所述输出结果包括每一样本文本的预测翻译文本以及每一样本文本对应的预测词袋，所述预测词袋是朝着对应样本文本的实际词袋的方向预测得到的，所述实际词袋包括对应样本文本的实际翻译文本中的各个不同词；更新单元，用于根据所述输出结果对所述双向翻译模型进行参数更新，以完成本轮训练。可选的，所述装置还包括：收集单元，用于收集所述双向翻译方向中的每一语种类型下的文本语料；提取单元，用于从所述每一语种类型下的文本语料中提取高频词，利用每一高频词以及该高频词的表示结果构成一个双语词典；则，所述输入单元，具体用于：确定所述至少一个样本文本中的属于所述双语词典的词，并将所确定的词的表示结果输入双向翻译模型。可选的，所述输出单元，具体用于：对于每一样本文本，利用所述双向翻译模型，生成所述样本文本的预测翻译文本，并且，根据所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果，生成所述样本文本的预测词袋。可选的，所述输出单元，包括：计算子单元，用于将所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果进行线性计算，得到线性计算结果；生成子单元，用于根据所述线性计算结果，生成所述样本文本对应的预测词袋。可选的，所述更新单元，具体用于：根据所述输出结果以及目标函数，对所述双向翻译模型进行参数更新；其中，所述目标函数包括第一概率分布和第二概率分布；所述第一概率分布包括在已知所述样本文本的情况下、得到所述样本文本的预测翻译文本中的每个词的概率；所述第二概率分布包括在已知所述样本文本和所述样本文本对应的实际词袋的情况下、得到所述样本文本对应的预测词袋中的每个词的概率。可选的，所述更新单元，包括：确定子单元，用于对于每一样本文本，确定该样本文本的预测翻译文本与实际翻译文本之间的差异、以及该样本文本对应的预测词袋与实际词袋之间的差异；更新子单元，用于根据确定的差异以及所述目标函数，对所述双向翻译模型的参数进行更新。本申请实施例提供了一种文本翻译装置，包括：翻译单元，用于利用预先构建的双向翻译模型，对待翻译的目标文本进行翻译，得到所述目标文本的预测翻译文本；其中，所述目标文本的语种类型为所述双向翻译模型支持的两个翻译方向上的任一语种类型，所述双向翻译模型为利用上述提供的翻译模型训练装置的任一实施方式训练得到的。本申请实施例提供了一种翻译模型训练设备，包括：处理器、存储器、系统总线；所述处理器以及所述存储器通过所述系统总线相连；所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述提供的翻译模型训练方法的任一实施方式。本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述提供的翻译模型训练方法的任一实施方式。本申请实施例提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述提供的翻译模型训练方法的任一实施方式。本申请实施例还提供了一种文本翻译设备，包括：处理器、存储器、系统总线；所述处理器以及所述存储器通过所述系统总线相连；所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理本文档来自技高网...

【技术保护点】
1.一种翻译模型训练方法，其特征在于，包括：将至少一个样本文本输入双向翻译模型，所述至少一个样本文本包括双向翻译方向中的至少一个语种类型下的文本数据；获取所述双向翻译模型的输出结果，所述输出结果包括每一样本文本的预测翻译文本以及每一样本文本对应的预测词袋，所述预测词袋是朝着对应样本文本的实际词袋的方向预测得到的，所述实际词袋包括对应样本文本的实际翻译文本中的各个不同词；根据所述输出结果对所述双向翻译模型进行参数更新，以完成本轮训练。

【技术特征摘要】
1.一种翻译模型训练方法，其特征在于，包括：将至少一个样本文本输入双向翻译模型，所述至少一个样本文本包括双向翻译方向中的至少一个语种类型下的文本数据；获取所述双向翻译模型的输出结果，所述输出结果包括每一样本文本的预测翻译文本以及每一样本文本对应的预测词袋，所述预测词袋是朝着对应样本文本的实际词袋的方向预测得到的，所述实际词袋包括对应样本文本的实际翻译文本中的各个不同词；根据所述输出结果对所述双向翻译模型进行参数更新，以完成本轮训练。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：收集所述双向翻译方向中的每一语种类型下的文本语料；从所述每一语种类型下的文本语料中提取高频词，利用每一高频词以及该高频词的表示结果构成一个双语词典；则，所述将至少一个样本文本输入双向翻译模型，包括：确定所述至少一个样本文本中的属于所述双语词典的词，并将所确定的词的表示结果输入双向翻译模型。3.根据权利要求1所述的方法，其特征在于，所述获取所述双向翻译模型的输出结果，包括：对于每一样本文本，利用所述双向翻译模型，生成所述样本文本的预测翻译文本，并且，根据所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果，生成所述样本文本的预测词袋。4.根据权利要求3所述的方法，其特征在于，所述根据所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果，生成所述样本文本的预测词袋，包括：将所述双向翻译模型的解码层输出的对应于所述样本文本的各个隐状态表示结果进行线性计算，得到线性计算结果；根据所述线性计算结果，生成所述样本文本对应的预测词袋。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述输出结果对所述双向翻译模型进行参数更新，包括：根据所述输出结果以及目标函数，对所述双向翻译模型进行参数更新；其中，所述目标函数包括第一概率分布和第二概率分布；所述第一概率分布包括在已知所述样本文本的情况下、得到所述样本文本的预测翻译文本中的每个词的概率；所述第二概率分布包括在已知所述样本文本和所述样本文本对应的实际词袋的情况下、得到所述样本文本对应的预测词袋中的每个词的概率。6.根据权利要求5所述的方法，其特征在于，所述根据所述输出结果以及目标函数，对所述双向翻译模型进行参数更新，包括：对于每一样本文本，确定该样本文本的预测翻译文本与实际翻译文本之间的差异、以及该样本文本对应的预测词袋与实际词袋之间的差异；根据确定的差异以及所述目标函数，对所述双向翻译模型的参数进行更新。7.一种文本翻译方法，其特征在于，包括：利用预先构建的双向翻译模型，对待翻译的目标文本进行翻译，得到所述目标文本的预测翻译文本；其中，所述目标文本的语种类型为所述双向翻译模型支持的两个翻译方向上的任一...

【专利技术属性】
技术研发人员：章杰，宋锐，张为泰，刘俊华，王智国，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34