一种基于生成对抗神经网络的机器翻译方法和系统技术方案

本发明专利技术属于计算机技术领域，公开了一种基于生成对抗神经网络的机器翻译方法和系统，方法包括：在原机器翻译生成网络的基础上，引入一个与原机器翻译生成网络对抗的判别网络；用于判断目标语言的译文，是来源于训练平行语料，还是原机器翻译生成网络机器翻译的结果；判别网络采用多层感知器前馈神经网络模型，实现二值分类；系统包括：判别网络、生成网络、单语语料、平行语料。本发明专利技术在充分利用人工标注的双语平行语料资源的同时，还能充分利用单语语料资源，进行半监督学习；单语语料资源十分丰富且容易获取，解决了神经网络机器翻译模型所需训练语料不充分这一难题。

A method and system of Machine Translation based on generating neural networks

The invention belongs to the technical field of computer, Machine Translation method and system based on neural network generated against the public methods include: Based on the original Machine Translation generation network, the introduction of a confrontation with the original Machine Translation generation network discrimination network; to determine the target language translation, is derived from the training Parallel Corpus, or the original Machine Translation Machine Translation generates the network results; discrimination network using multilayer perceptron feedforward neural network model, realize the value of two classification; system includes: the discrimination network, generation network, monolingual corpus and parallel corpus. The present invention in the full use of bilingual parallel corpus annotation resources at the same time, but also make full use of monolingual corpus resources, semi supervised learning; monolingual corpus resources is very rich and easy to obtain, solve the neural network model for Machine Translation training corpus is not fully this problem.

【技术实现步骤摘要】
一种基于生成对抗神经网络的机器翻译方法和系统
本专利技术属于计算机
，尤其涉及一种基于生成对抗神经网络的机器翻译方法和系统。
技术介绍
机器翻译是利用计算机算法自动地将一种源语言句子翻译成为另一种目标语言句子的过程。机器翻译是人工智能的一个研究方向，具有十分重要的科研价值和实用价值。伴随着全球化进程的不断深化和互联网的迅速发展，机器翻译技术在国内外政治、经济、社会、文化交流等方面发挥着越来越重要的作用。目前，基于深层神经网络的机器翻译方法是机器翻译领域效果最好的方法。主要采用“编码-解码”结构，由编码器和解码器两个部分组成，二者均采用循环神经网络(RecurrentNeuralNetwork,RNN)和长短时记忆(LongShort-TermMemory,LSTM)网络结构。翻译的流程包括：首先，编码器将输入的源语言句子转换成为一个词向量序列作为循环神经网络的输入，编码器会输出一个固定长度的密集向量，称为上下文向量。然后，解码器以上下文向量作为输入，利用另外一个循环神经网络结合一个Softmax分类器，输出目标语言的词向量序列。最后，利用词典把词向量逐个映射成为目标语言词，完成本文档来自技高网...

【技术保护点】
一种基于生成对抗神经网络的机器翻译方法，其特征在于，所述基于生成对抗神经网络的机器翻译方法，在原机器翻译生成网络的基础上，引入一个与原机器翻译生成网络对抗的判别网络；用于判断目标语言的译文，是来源于训练语料，还是原机器翻译生成网络机器翻译的结果；所述判别网络采用多层感知器前馈神经网络模型，实现二值分类。

【技术特征摘要】
1.一种基于生成对抗神经网络的机器翻译方法，其特征在于，所述基于生成对抗神经网络的机器翻译方法，在原机器翻译生成网络的基础上，引入一个与原机器翻译生成网络对抗的判别网络；用于判断目标语言的译文，是来源于训练语料，还是原机器翻译生成网络机器翻译的结果；所述判别网络采用多层感知器前馈神经网络模型，实现二值分类。2.如权利要求1所述的基于生成对抗神经网络的机器翻译方法，其特征在于，所述二值分类的方法包括：采用双曲正切函数的形式：其中，T(x)为隐含层的激活函数；h(x)为隐含层函数；整个多层感知器前馈神经网络模型函数f(x)可形式化表示为：f(x)＝S(W2·h(x)+b2)＝S(W2·T(W1x+b1)+b2)，其中，模型参数W2和b2分别表示隐含层到输出层的权重矩阵和输出层偏置向量；S(x)是隐含层的激活函数；所述激活函数采用sigmoid函数的形式：多层感知器前馈神经网络模型进行二值分类时，将输入层向量X代入f(x)中计算出输出向量Y，选择Y中数值较大维度所代表的类别，作为分类结果，指示译文是来源于训练语料，还是来源于生成网络。3.如权利要求1所述的基于生成对抗神经网络的机器翻译方法，其特征在于，所述生成网络由编码器和解码器两部分组成；所述编码器采用双向长短时记忆神经网络结构；所述编码器先将输入的源语言句子转换成为一个词向量的序列，作为长短时记忆网络的输入，网络会生成一个固定长度的密集向量，称之为上下文向量，为编码器的输出；然后，所述解码器利用另外一个单向长短时记忆神经网络，以编码器输出的上下文向量为输入；在神经网络机器翻译模型得输出层上叠加一个Softmax分类器，输出目标语言的词向量序列；通过词典把词向量逐个映射成为目标语言词，完成自动翻译过程。4.如权利要求3所述的基于生成对抗神经网络的机器翻译方法，其特征在于，所述神经网络机器翻译模型的输入Xt和ht-1分别表示输入词向量和t-1时刻LSTM神经网络单元的输出；输出ht表示当前时刻LSTM神经网络单元的输出；具体包括：it＝g(Wxixt+Whiht-1+bi)；ft＝g(Wxfxt+Whfht-1+bf)；ot＝g(Wxoxt+Whoht-1+bo)；ht＝ot·tanh(ct)；其中，it、ft、ot分别表示输入门、输出门、遗忘；ct-1表示t-1时刻神经元的状态，ct和表示神经元的状态和隐状态，ht为LSTM神经元的输出；参数W和b分别代表各层的连接权值和偏置量。5.如权利要求3所述的基于生成对抗神经网络的机器翻译方法，其特征在于，编码器采用两个LSTM网络，一个输入正向词向量序列，另一个输入反向词向量序列，形成双向LSTM网络，将两个网络输出的向量连接，形成上下文向量；解码器采用一个LSTM网络，输入上下文向量，输出一个状态序列；再通过Softma...

【专利技术属性】
技术研发人员：李世奇，程国艮，
申请(专利权)人：中译语通科技北京有限公司，
类型：发明
国别省市：北京,11