一种基于Transformer模型优化的神经机器翻译方法技术

本发明专利技术提出了一种基于Transformer模型优化的神经机器翻译方法，建立翻译模型，获得WMT17中的News Commentary v12中的中英数据集，并对数据进行归一化处理；在翻译模型中引入句子结构信息，获取词向量，得到新的输入序列；利用融合位置信息和句法信息的序列对翻译模型进行训练，采用adam优化器进行优化迭代得到神经机器翻译模型；将测试集输入步骤S3优化的神经机器翻译模型，得到翻译结果；对翻译结果进行评价，结束翻译；使用BLEU值作为翻译模型的评判标准。该方法能够改善中英神经机器翻译的翻译准确率，提高翻译性能。提高翻译性能。提高翻译性能。

【技术实现步骤摘要】
一种基于Transformer模型优化的神经机器翻译方法


[0001]本专利技术属于机器翻译
，具体地，涉及一种基于Transformer模型优化的神经机器翻译方法。

技术介绍

[0002]在自然语言处理领域内，机器翻译是最早的研究课题。机器翻译(machine translation,MT)是指计算机将源语言翻译为与之语义相同的目标语言句子的过程，是自然语言处理领域的一个重要分支。从1954年美国乔治顿大学进行第一次实验以来，机器翻译已经发展了60余年，期间经历了几起几落的曲折历程。直到现在，人们对于机器翻译的看法仍然褒贬不一。随着我国经济的不断发展，语言服务行业也呈现出快速发展的态势，语言服务市场迅速扩大，传统的人工翻译模式已不能满足需要。机器翻译的发展成为必然。但与人工翻译相比，机器翻译虽然在效率上远远超过人工翻译，可以在短时间内翻译上万条语句。但是在准确率上却不尽人意。因此，机器翻译模型的改进优化对于语言的翻译效率和准确率是至关重要的。
[0003]机器翻译主要分为三种：基于规则的机器翻译(ruler/>‑
b本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer模型优化的神经机器翻译方法，其特征在于：所述方法具体包括以下步骤：步骤S1，建立翻译模型，获得WMT17中的News Commentary v12中的中英数据集，并对数据进行归一化处理；步骤S2，在翻译模型中引入句子结构信息，获取词向量，得到新的输入序列；步骤S3，利用融合位置信息和句法信息的序列对翻译模型进行训练，采用adam优化器进行优化迭代得到神经机器翻译模型；步骤S4，将测试集输入步骤S3优化的神经机器翻译模型，得到翻译结果；步骤S5，对翻译结果进行评价，结束翻译。2.根据权利要求1所述方法，其特征在于：所述步骤S1具体步骤为：步骤S101，下载的中英数据集来自新闻领域；抽取中英数据集中的50000对中英语言对作为训练集；使用newsdev2017作为验证集，使用newstest2017作为测试集；步骤S102，对数据集进行预处理，删除句子长度大于100的句子和重复的句子；步骤S103，根据训练集获取词典，未登录词用<UNK>表示。3.根据权利要求1所述方法，其特征在于：所述步骤S2具体包括：步骤S201，采用Stanford CoreNLP工具包获取每个句子的依存句法树，引入依存关系矩阵，抽取源语言句子结构信息并融合到翻译模型中；步骤S202，采用CBOW模型根据依存关系词和上下文词预测目标词获得词向量；步骤S203，使用Stanford CoreNLP工具包将源语言句子转化为依存句法树形式，转化为相应的依存关系矩阵；计算公式为：D(i,j)与步骤S202获得的词向量相乘得到新的输入序列；其中i为当前节点下标，j为其他节点下标，w
j
为其他节点，w
i
为当前节点；步骤S204，使用LSTM替换原Transformer模型获取位置编码的方式，获取LSTM每个时间步的输出作为每个词的位置信息。4.根据权利要求3所述方法，其特征在于：所述步骤S204具体包括：LSTM包括遗忘门，输入门和输出门；遗忘门：决定保留信息还是舍弃信息，f
t
＝σ(W
f
h
...

【专利技术属性】
技术研发人员：陈海龙，郑鑫，王青，马玉群，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：