【技术实现步骤摘要】
【国外来华专利技术】使用和积网络进行双向翻译的系统和方法
[0001]相关申请交叉引用
[0002]本申请要求于2020年6月20日提交的申请号为16/900,481、专利技术名称为“使用和积网络进行双向翻译的系统和方法”的美国专利申请的优先权的权益，其全部内容通过引用结合在本申请中。
[0003]本文中描述的实施例大体上涉及文本序列的机器翻译，更具体地涉及文本序列在至少两种语言之间进行双向翻译的系统和方法。
技术介绍
[0004]计算设备对人类语言(例如英语、法语、德语等)的文本序列的处理通常称为自然语言处理(Natural Language Processing，NLP)。在这种背景下，文本序列通常是构成句子或短语的一系列文本或单词，具有特定的语义意义或叙事概念。NLP的一个方面是机器翻译(machine translation，MT)，其采用专门配置的计算机系统(也称为MT系统)，该系统用于：接收第一(源)人类语言的文本序列，处理源语言的文本序列并预测第二(目标)人类语言的文本序列，其中，第二人类语言的文本序列表达的叙事概...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于文本序列在第一语言和第二语言之间进行双向翻译的机器翻译系统，其特征在于，所述机器翻译系统包括：第一自动编码器，用于接收所述第一语言的第一文本序列的向量表示，并且将所述第一文本序列的所述向量表示编码为第一句子嵌入；和积网络(sum
‑
product network，SPN)，用于接收所述第一句子嵌入，并且通过在已知所述第一句子嵌入的情况下最大化第二句子嵌入的第一条件概率，生成所述第二句子嵌入；第二自动编码器，用于接收所述第二句子嵌入，其中，训练所述第二自动编码器将所述第二句子嵌入解码为所述第二语言的第二文本序列的向量表示。2.根据权利要求1所述的系统，其特征在于，所述第二自动编码器还用于将所述第二语言的所述第二文本序列的所述向量表示编码为所述第二句子嵌入；所述SPN还用于通过在已知所述第二句子嵌入的情况下最大化所述第一句子嵌入的第二条件概率，生成所述第一句子嵌入；所述第一自动编码器还用于将所述第一句子嵌入解码为所述第一语言的所述第一文本序列的所述向量表示。3.根据权利要求1或2所述的系统，其特征在于，所述第一自动编码器包括第一编码器和第一解码器，所述第二自动编码器包括第二编码器和第二解码器，所述第一编码器、所述第一解码器、所述第二编码器和所述第二解码器都独立包括递归神经网络(recurrent neural network，RNN)、卷积神经网络(convolutional neural network，CNN)或变换(transformer)神经网络。4.根据权利要求1至3中任一项所述的系统，其特征在于，所述SPN包括多个层，每个层独立包括多个和节点或多个积节点。5.根据权利要求1至4中任一项所述的系统，其特征在于，所述第一自动编码器和所述第二自动编码器在第一训练阶段中一起训练，以执行以下操作：在所述第一自动编码器和所述第二自动编码器侧，将所述第一语言和所述第二语言的第一训练文本序列和第二训练文本序列的向量表示分别编码为相应的第一训练句子嵌入和第二训练句子嵌入；在所述第一自动编码器和所述第二自动编码器侧，将第一训练句子嵌入和第二训练句子嵌入分别解码为所述第一语言和所述第二语言的第一重建文本序列和第二重建文本序列的相应向量表示；调整所述第一自动编码器和所述第二自动编码器的参数，以最小化表示所述第一重建文本序列和所述第二重建文本序列与所述相应的第一训练文本序列和第二训练文本序列之间的重建损失的损失函数。6.根据权利要求5所述的系统，其特征在于，所述SPN在第二训练阶段中训练，以执行以下操作：调整所述SPN的权重，以最大化所述第一训练句子嵌入和所述第二训练句子嵌入的联合概率；使用所述联合概率来计算最大条件概率。
7.一种用于文本序列在第一语言和第二语言之间进行双向翻译的方法，其特征在于，所述方法包括：第一自动编码器将所述第一语言的第一文本序列的向量表示编码为第一句子嵌入；和积网络(sum
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。