一种文本翻译方法及装置制造方法及图纸

本申请实施例提供了一种文本翻译方法及装置，涉及人工智能中的机器学习技术领域，在对待翻译文本进行翻译时，采用编码器对待翻译文本进行编码，将编码器中每个隐藏层的处理结果进行融合，确定源端向量表示序列。之后解码器对源端向量表示序列进行解码，将解码器中每个隐藏层的处理结果进行融合确定翻译后的文本信息，以学习更好的隐层表示，减少有用信息的丢失，从而提高了翻译的准确性。编码器和解码器根据各隐藏层的输出结果确定各隐藏层的融合权重，然后基于融合权重对各隐藏层的输出结果进行融合，故针对不同的待翻译文本，编码器和解码器中各隐藏层的权重也不相同，从而提高了编码器和解码器的表达能力，提高了翻译的稳定性。

【技术实现步骤摘要】
一种文本翻译方法及装置本专利技术申请是申请日为2018年11月30日、申请号为201811459625.9专利技术名称为“一种文本翻译方法及装置”的专利技术申请的分案申请。
本申请实施例涉及人工智能中的机器学习
，尤其涉及一种文本翻译方法及装置。
技术介绍
机器翻译(MachineTranslation，MT)是指使用机器将文本或言语从一种语言转化为具有相同含义内容的另一种语言的过程。随着深度学习的兴起，最近几年深层神经网络技术在MT上也得到应用，神经网络机器翻译(NeuralMachineTranslation，NMT)成为新一代翻译技术。目前，NMT普遍使用的模型由一个多层神经网络的编码器和一个多层神经网络的解码器组成。然而，在使用该模型实现翻译时，仅仅利用了编码器最上层的信息和解码器最上层的信息，从而忽略了蕴含在其它层中的信息。
技术实现思路
由于现有技术中，NMT使用编码器-解码器模型翻译文本时，仅利用了编码器最上层的信息和解码器最上层的信息，从而忽略了蕴含在其它层中的信息的问题，本申请实施例提供了一种文本翻译方法及装置。一方面，本申请实施例提供了一种文本翻译方法，该方法包括：获得编码器各隐藏层对待翻译文本进行编码后的编码序列；根据所述编码器各隐藏层的编码权重将各个编码序列进行融合，获得源端向量表示序列，其中，所述编码器各隐藏层的编码权重是在训练所述编码器的过程中，学习不同翻译文本样本在两种语言之间进行翻译的过程而获得的；>获得解码器各隐藏层对所述源端向量表示序列进行解码后的解码序列；根据所述解码器各隐藏层的解码权重将各个解码序列进行融合，获得解码向量表示序列，其中，所述解码器各隐藏层的解码权重是在训练所述解码器的过程中，学习不同翻译文本样本在两种语言之间进行翻译的过程而获得的；根据所述解码向量表示序列，确定翻译后的文本信息。另一方面，本申请实施例提供了一种文本翻译装置，该装置包括：编码模块，用于获得编码器各隐藏层对待翻译文本进行编码后的编码序列；第一融合模块，用于根据所述编码器各隐藏层的编码权重将各个编码序列进行融合，获得源端向量表示序列，其中，所述编码器各隐藏层的编码权重是在训练所述编码器的过程中，学习不同翻译文本样本在两种语言之间进行翻译的过程而获得的；解码模块，用于获得解码器各隐藏层对所述源端向量表示序列进行解码后的解码序列；第二融合模块，用于根据所述解码器各隐藏层的解码权重将各个解码序列进行融合，获得解码向量表示序列，其中，所述解码器各隐藏层的解码权重是在训练所述解码器的过程中，学习不同翻译文本样本在两种语言之间进行翻译的过程而获得的；匹配模块，用于根据所述解码向量表示序列，确定翻译后的文本信息。另一方面，本申请实施例提供了一种终端设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述文本翻译方法的步骤。又一方面，本申请实施例提供了一种计算机可读存储介质，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述处理单元执行上述文本翻译方法的步骤。由于在对待翻译文本进行翻译时，采用编码器对待翻译文本进行编码，将编码器中每一个隐藏层的处理结果进行融合，确定源端向量表示序列，故源端向量表示序列融合了各隐藏层的语义信息以及语法信息，提高了源端向量表示序列与待翻译文本的相关性。之后解码器对源端向量表示序列进行解码，将解码器中每一个隐藏层的处理结果进行融合确定翻译后的文本信息，以学习更好的隐层表示，减少有用信息的丢失，从而提高了翻译的准确性。其次，编码器和解码器在对各个隐藏层的输出结果进行融合时，根据各隐藏层的输出结果动态确定各隐藏层的融合权重，然后基于融合权重对各隐藏层的输出结果进行融合，故针对不同的待翻译文本，编码器和解码器中各隐藏层的权重也不相同，从而提高了编码器和解码器的表达能力，提高了翻译的稳定性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例适用的应用场景图；图2a为本申请实施例提供的一种现有的编码器-解码器模型的结构示意图；图2b为本申请实施例提供的一种编码器-解码器模型的结构示意图；图3为本申请实施例提供的一种文本翻译方法的流程示意图；图4为本申请实施例提供的一种编码方法的流程示意图；图5为本申请实施例提供的一种编码方法的流程示意图；图6为本申请实施例提供的一种编码方法的流程示意图；图7为本申请实施例提供的一种解码方法的流程示意图；图8a为本申请实施例提供的一种解码方法的流程示意图；图8b为本申请实施例提供的一种解码方法的流程示意图；图9为本申请实施例提供的一种文本翻译装置的结构示意图；图10为本申请实施例提供的一种终端设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。为了方便理解，下面对本专利技术实施例中涉及的名词进行解释。人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。机器学习(MachineLearning,ML)：一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。例如，本申请实施例中采用机器学习技术学习不同翻译文本样本在两种语言之间进行翻译的过程，使得计本文档来自技高网...

【技术保护点】
1.一种文本翻译装置，其特征在于，包括：/n编码器、解码器以及匹配模块，所述编码器包括第一融合层和多个隐藏层，所述解码器包括第二融合层和多个隐藏层；/n所述编码器的多个隐藏层，用于对待翻译文本进行编码，获得所述编码器各隐藏层输出的编码序列；/n所述第一融合层，用于根据所述编码器各隐藏层的编码权重将各个编码序列进行融合，获得源端向量表示序列，其中，所述编码器各隐藏层的编码权重是在训练所述编码器的过程中，学习不同翻译文本样本在两种语言之间进行翻译的过程而获得的；/n所述解码器的多个隐藏层，用于对所述源端向量表示序列进行解码，获得所述解码器各隐藏层输出的解码序列；/n所述第二融合层，用于根据所述解码器各隐藏层的解码权重将各个解码序列进行融合，获得解码向量表示序列，其中，所述解码器各隐藏层的解码权重是在训练所述解码器的过程中，学习不同翻译文本样本在两种语言之间进行翻译的过程而获得的；/n所述匹配模块，用于根据所述解码向量表示序列，确定翻译后的文本信息。/n

【技术特征摘要】
1.一种文本翻译装置，其特征在于，包括：
编码器、解码器以及匹配模块，所述编码器包括第一融合层和多个隐藏层，所述解码器包括第二融合层和多个隐藏层；
所述编码器的多个隐藏层，用于对待翻译文本进行编码，获得所述编码器各隐藏层输出的编码序列；
所述第一融合层，用于根据所述编码器各隐藏层的编码权重将各个编码序列进行融合，获得源端向量表示序列，其中，所述编码器各隐藏层的编码权重是在训练所述编码器的过程中，学习不同翻译文本样本在两种语言之间进行翻译的过程而获得的；
所述解码器的多个隐藏层，用于对所述源端向量表示序列进行解码，获得所述解码器各隐藏层输出的解码序列；
所述第二融合层，用于根据所述解码器各隐藏层的解码权重将各个解码序列进行融合，获得解码向量表示序列，其中，所述解码器各隐藏层的解码权重是在训练所述解码器的过程中，学习不同翻译文本样本在两种语言之间进行翻译的过程而获得的；
所述匹配模块，用于根据所述解码向量表示序列，确定翻译后的文本信息。


2.如权利要求1所述的装置，其特征在于，所述第一融合层为第一前向神经网络；
所述第一前向神经网络具体用于：
根据所述编码器各隐藏层输出的编码序列，确定所述编码器各隐藏层的编码权重，并根据确定的编码权重将各个编码序列进行融合，获得源端向量表示序列，其中，所述编码器各隐藏层的编码权重，是在训练所述编码器过程中，学习不同翻译文本样本在两种语言之间进行翻译时产生的各个编码序列及其对应的源端向量表示序列之间的关系而获得的。


3.如权利要求1或2所述的装置，其特征在于，所述第二融合层为第二前向神经网络；
所述第二前向神经网络具体用于：
根据所述解码器各隐藏层输出的解码序列，确定所述解码器各隐藏层的解码权重，并根据确定的解码权重将各个解码序列进行融合，获得解码向量表示序列，其中，所述解码器各隐藏层的解码权重，是在训练所述解码器过程中，学习不同翻译文本样本在两种语言之间进行翻译时产生的各个解码序列及其对应的解码向量表示序列之间的关系而获得的。


4.如权利要求1所述的装置，其特征在于，所述第一融合层包括第一转换模型、第一动态路由、第一融合单元以及第一拼接单元；
所述第一转换模型，用于确定所述编码器各隐藏层输出的编码序列对应的转换序列，所述编码器各隐藏层输出的编码序列对应的转换序列，是在训练所述编码器过程中，学习多个翻译文本样本在两种语言之间进行翻译的过程中编码序列与转换序列之间的关系而获得的；
所述第一动态路由，用于根据所述编码器各隐藏层的转换序列，确定所述编码器各隐藏层的转换序列对应的编码权重；
所述第一融合单元，用于根据确定的编码权重将各个转换序列进行融合，获得多个融合转换序列；
所述第一拼接单元，用于将所述多个融合转换序列进行拼接，获...

【专利技术属性】
技术研发人员：涂兆鹏，窦子轶，王星，王龙跃，史树明，张潼，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44