在神经机器翻译中使用元信息制造技术

本文提供了用于神经机器翻译的系统和方法。在一个示例中，神经机器翻译系统翻译文本并且包括处理器和存储指令的存储器，当处理器中的至少一个处理器执行指令时，使得系统执行操作，至少包括：获得文本作为神经网络系统的输入；用元信息作为神经网络系统的额外输入来补充输入文本；以及利用元信息进行翻译，将神经网络系统的输出作为输入文本的翻译传递给用户。

【技术实现步骤摘要】
【国外来华专利技术】在神经机器翻译中使用元信息要求优先权本专利申请要求于2016年5月6日提交的名称为“USINGMETA-INFORMATIONINNEURALMACHINETRANSLATION(在神经机器翻译中使用元信息)”的Matusov等人的序列号为62/332,608的美国临时专利申请的优先权，其通过引用整体并入本文。
本公开一般涉及用于在神经机器翻译中使用元信息的方法和系统，并且在一些示例中涉及特定算法。
技术介绍
传统的机器翻译在准确或在上下文中翻译文本时并不总是有效的。本公开教导了使用神经机器翻译(NMT)来解决这些技术问题的技术方案。附图说明为了更容易地识别对任何特定元件或动作的讨论，附图标记中的最高有效的一个或多个数位指的是首先引入该元件的图号。图1是示出根据一些示例实施例的联网系统的框图。图2是示出代表性软件架构的框图，其可以与本文描述的各种硬件架构结合使用。图3是示出根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的任何一种或多种方法的机器的组件的框图。图4示出了根据示例实施例的神经翻译架构，其中输入文本用元信息作为附加输入信号来增强。图5示出了根据示例实施例的编码器-解码器模型。图6示出了示例性神经编码器和基于注意力的解码器，示出了根据示例实施例的用于插入主题或类别或其他元信息作为影响机器翻译决策的附加输入的示例架构点。图7示出了根据示例实施例的解码器的主题感知读出层。图8在表800中描绘了根据示例实施例的某些翻译任务的语料库统计数据。图9在表900中描绘了根据示例实施例的用于主题感知神经机器翻译(NMT)的不同方法的评估。图10在表1000中描绘了根据示例实施例的当主题信息被用作(NMT)系统中的输入时的改进的翻译质量的示例。图11描绘根据示例实施例的用于主题嵌入的示例余弦距离。图12示出了根据示例实施例的方法的流程图。具体实施方式在此上下文中的“载波信号”指的是能够存储、编码或携带用于由机器执行的指令的任何无形机器可读介质，并且包括数字或模拟通信信号或其他无形介质以便于这种指令的通信。可以使用传输介质经由网络接口设备并使用许多众所周知的传输协议中的任何一个来通过网络发送或接收指令。在此上下文中的“客户端设备”指的是与通信网络接口以从一个或多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、台式计算机、膝上型电脑、便携式数字助理(PDA)、智能电话、平板电脑、超级书籍、上网本、笔记本电脑、多处理器系统、基于微处理器或可编程的消费电子产品、游戏控制台、机顶盒或用户可用于访问网络的任何其他通信设备。在此上下文中的“通信网络”是指网络的一个或多个部分，其可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另一种类型的网络或两个或更多这种网络的组合。例如，网络或网络的一部分可以包括无线或蜂窝网络，并且耦合可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦合。在该示例中，耦合可以实现各种类型的数据传输技术中的任何一种，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线服务(GPRS)技术、增强型数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织、其他远程协议或其他数据传输技术定义的其他标准。在此上下文中的“组件”是指具有由功能或子例程调用、分支点、应用程序接口(API)或提供特定处理或控制功能的分区或模块化的其他技术定义的边界的设备、物理实体或逻辑。组件可以经由它们的接口与其他组件组合以执行机器过程。组件可以是被设计用于与其他组件一起使用的封装功能硬件单元，以及通常执行相关功能的特定功能的程序的一部分。组件可以构成软件组件(例如，在机器可读介质上体现的代码)或硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件组件(例如，处理器或一组处理器)可以由软件(例如，应用程序或应用程序部分)将其配置为用于执行如本文所述的某些操作的硬件组件。硬件组件还可以机械地、电子地或其任何合适的组合来实现。例如，硬件组件可以包括永久配置为执行某些操作的专用电路或逻辑。硬件组件可以是专用处理器，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件组件还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。例如，硬件组件可以包括由通用处理器或其他可编程处理器执行的软件。一旦由这样的软件配置，硬件组件就成为特定的机器(或机器的特定组件)，其被独特地定制以执行配置的功能并且不再是通用处理器。应当理解，在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中机械地实现硬件组件的决定可以由成本和时间考虑来驱动。因此，短语“硬件组件”(或“硬件实现的组件”)应该被理解为包含有形实体，无论是物理构造、永久配置(例如，硬连线)还是临时配置(例如，编程的实体)以某种方式操作或执行本文所述的某些操作。考虑临时配置(例如，编程)硬件组件的实施例，不需要在任何一个时刻配置或实例化每个硬件组件。例如，在硬件组件包括由软件配置成为专用处理器的通用处理器的情况下，通用处理器可以在不同的时间被配置为分别不同的专用处理器(例如，包括不同的硬件组件)。软件相应地配置特定的一个或多个处理器，例如，在一个时刻构成特定的硬件组件，并在不同的时刻构成不同的硬件组件。硬件组件可以向其他硬件组件提供信息并从其接收信息。因此，所描述的硬件组件可以被视为通信地耦合。在同时存在多个硬件组件的情况下，可以通过在两个或更多个硬件组件之间或之中的信号传输(例如，通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件组件的实施例中，可以实现这些硬件组件之间的通信，例如，通过存储和检索多个硬件组件可访问的存储器结构中的信息。例如，一个硬件组件可以执行操作并将该操作的输出存储在与其通信耦合的存储器设备中。然后，另一硬件组件可以稍后访问存储器设备以检索和处理存储的输出。硬件组件还可以发起与输入或输出设备的通信，并且可以在资源(例如，信息集合)上操作。本文描述的示例方法的各种操作可以至少部分地由临时配置(例如，通过软件)或永久配置为执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久配置，这样的处理器可以构成处理器实现的组件，其用于执行本文描述的一个或多个操作或功能。如本文所使用的，“处理器实现的组件”指的是使用一个或多个处理器实现的硬件组件。类似地，本文描述的方法可以至少部分地由处理器实现，其中特定的一个或多个处理器是硬件的本文档来自技高网...

【技术保护点】
1.一种用于翻译文本的神经机器翻译系统，所述系统包括：至少一个处理器；以及存储指令的存储器，所述指令当由所述至少一个处理器中的至少一个处理器执行时，使得所述系统执行包括以下的操作：获得文本作为神经网络系统的输入；用元信息作为所述神经网络系统的额外输入来补充输入文本；以及利用所述元信息进行翻译，将所述神经网络系统的输出作为所述输入文本的翻译传递给用户。

【技术特征摘要】
【国外来华专利技术】2016.05.06 US 62/332,6081.一种用于翻译文本的神经机器翻译系统，所述系统包括：至少一个处理器；以及存储指令的存储器，所述指令当由所述至少一个处理器中的至少一个处理器执行时，使得所述系统执行包括以下的操作：获得文本作为神经网络系统的输入；用元信息作为所述神经网络系统的额外输入来补充输入文本；以及利用所述元信息进行翻译，将所述神经网络系统的输出作为所述输入文本的翻译传递给用户。2.根据权利要求1所述的神经机器翻译系统，其中所述元信息包括电子商务列表的产品类别或主题。3.根据权利要求1所述的神经机器翻译系统，其中所述神经机器翻译系统包括编码器-解码器架构，在所述编码器-解码器架构中，输入语句首先被编码为固定长度表示，并且所述解码器生成目标单词。4.根据权利要求1所述的神经机器翻译系统，其中利用注意力机制训练所述系统，所述注意力机制在每个解码器步骤提供与源语句单词的软对齐。5.根据权利要求1所述的神经机器翻译系统，其中所述操作还包括合并来自最后的递归神经网络解码器状态、最后的解码单词嵌入、当前上下文或注意力向量、以及输入特定元信息的向量表示的信息，以生成给所述用户的所述输出的至少一部分。6.根据权利要求1所述的神经机器翻译系统，其中所述操作还包括单独地或组合地使用训练算法训练所述神经网络系统，所述训练算法利用与以下之一相关联的元信息：源语言语句和相关联的目标语言人工翻译的训练对，以及这种训练对的文档或语料库。7.一种在神经机器翻译系统中的方法，包括：获得文本作为神经网络系统的输入；用元信息作为所述神经网络系统的额外输入来补充输入文本；以及利用所述元信息进行翻译，将所述神经网络系统的输出作为所述输入文本的翻译传递给用户。8.根据权利要求7所述的方法，其中所述元信息包括电子商务列表的产品类别或主题。9.根据权利要求7所述的方法，还包括将输入语句编码成固定长度表示并且生成目标单词。10...

【专利技术属性】
技术研发人员：叶夫根厄·马图索夫，陈文虎，沙赫拉姆·哈迪维，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：美国,US