【技术实现步骤摘要】
文本翻译方法、装置、可读存储介质和计算机设备
本申请涉及机器学习
,特别是涉及一种文本翻译方法、装置、计算机可读存储介质和计算机设备。
技术介绍
随着机器学习技术的发展,出现了机器翻译技术。在现有的机器翻译领域,通常采用深层神经网络来进行文本翻译,常用的深层神经网络比如,循环神经网络、卷积神经网络、以及自注意力机制网络等。传统的通过神经网络模型来进行文本翻译,通常会使用编码-解码框架,也就是根据由多层神经网络构成的编码器、以及由多层神经网络构成的解码器而组成的框架。然而,使用传统的神经网络翻译框架来进行文本翻译,通常仅仅利用了编码器和解码器中最上层神经网络的信息,使得文本翻译准确率不高。
技术实现思路
基于此,有必要针对文本翻译准确率低的技术问题,提供一种文本翻译方法、装置、计算机可读存储介质和计算机设备。一种文本翻译方法,包括:获取源文本的词序列;通过机器翻译模型中编码器的多层神经网络,逐层对所述词序列进行语义编码,得到源端融合向量序列;所述源端融合向量序列融合了各层神经网络所输出的源端向量序列;通过所述机器翻译模型的解码器,根据所述机器翻译模型前次输出的目标 ...
【技术保护点】
1.一种文本翻译方法,包括:获取源文本的词序列;通过机器翻译模型中编码器的多层神经网络,逐层对所述词序列进行语义编码,得到源端融合向量序列;所述源端融合向量序列融合了各层神经网络所输出的源端向量序列;通过所述机器翻译模型的解码器,根据所述机器翻译模型前次输出的目标词的词向量,对所述源端融合向量序列进行解码,得到当次的目标端向量序列;根据所述目标端向量序列,确定所述机器翻译模型当次输出的目标词;根据所述机器翻译模型输出的各目标词,生成所述源文本对应的目标文本。
【技术特征摘要】
1.一种文本翻译方法,包括:获取源文本的词序列;通过机器翻译模型中编码器的多层神经网络,逐层对所述词序列进行语义编码,得到源端融合向量序列;所述源端融合向量序列融合了各层神经网络所输出的源端向量序列;通过所述机器翻译模型的解码器,根据所述机器翻译模型前次输出的目标词的词向量,对所述源端融合向量序列进行解码,得到当次的目标端向量序列;根据所述目标端向量序列,确定所述机器翻译模型当次输出的目标词;根据所述机器翻译模型输出的各目标词,生成所述源文本对应的目标文本。2.根据权利要求1所述的方法,其特征在于,所述通过机器翻译模型中编码器的多层神经网络,逐层对所述词序列进行语义编码,得到源端融合向量序列,包括:向机器翻译模型中编码器的多层神经网络中的第一层神经网络,输入所述词序列,获得所述第一层神经网络所输出的源端向量序列;在从所述多层神经网络中的第二层神经网络起的当前层神经网络中,分别获取当前层神经网络中所述词序列中各词所对应的第一自注意力分配权重向量;根据所述词序列中各词所对应的第一自注意力分配权重向量、以及前一层神经网络所输出的源端向量序列,分别计算得到当前层神经网络中、所述词序列中各词所对应的源端向量;拼接当前层神经网络中、所述词序列中各词所对应的源端向量,得到当前层神经网络所输出的源端向量序列,直至得到各层神经网络分别输出的源端向量序列;融合所述源端向量序列,得到源端融合向量序列。3.根据权利要求1所述的方法,其特征在于,所述通过所述机器翻译模型的解码器,根据所述机器翻译模型前次输出的目标词的词向量,对所述源端融合向量序列进行解码,得到当次的目标端向量序列,包括:通过所述机器翻译模型中解码器的多层神经网络,根据所述机器翻译模型前次输出的目标词的词向量,逐层对所述源端融合向量序列进行解码,得到当次的目标端融合向量序列;所述目标端融合向量序列融合了各层神经网络所输出的目标端向量序列;所述根据所述目标端向量序列,确定所述机器翻译模型当前时刻输出的目标词,包括:根据当前时刻的目标端融合向量序列,确定所述机器翻译模型当前时刻输出的目标词。4.根据权利要求3所述的方法,其特征在于,所述通过所述机器翻译模型中解码器的多层神经网络,根据所述机器翻译模型前一时刻输出的目标词的词向量,逐层对所述源端融合向量序列进行解码,得到目标端融合向量序列,包括:将所述机器翻译模型历史输出的目标词的词向量,输入机器翻译模型中解码器的多层神经网络中的第一层神经网络,获得当次的第一层神经网络所输出的目标端向量序列;在从所述多层神经网络中的第二层神经网络起的当前层神经网络中,分别获取当次的、各目标词所对应的第二自注意力分配权重向量;根据各目标词所对应的第二自注意力分配权重向量、以及前一层神经网络所对应的目标端向量序列,分别计算得到当次的、当前层神经网络中各目标词所对应的第一目标端向量;在从所述多层神经网络中的第二层神经网络起的当前层神经网络中,分别获取当次的、各目标词所对应的注意力分配权重向量;所述注意力分类权重向量与所述源端融合向量序列对应;根据各目标词所对应的注意力分配权重向量、以及所述源端融合向量序列,分别计算得到当次的、当前层神经网络中各目标词所对应的第二目标端向量;融合所述第一目标端向量和所述第二目标端向量,得到当次的目标端向量;拼接当次的当前层神经网络中、各个目标词所对应的目标端向量,得到当次的、当前层神经网络输出的目标端向量序列,直至得到当次的各层神经网络分别输出的目标端向量序列;融合所述目标端向量序列,得到目标端融合向量序列。5.根据权利要求1至4中任一项所述的方法,其特征在于,所述多层神经网络为稠密连接网络;所述通过机器翻译模型中编码器的多层神经网络,逐层对所述词序列进行语义编码,得到源端融合向量序列包括:向机器翻译模型中编码器的多层神经网络中的第一层神经网络,输入所述词序列,获得所述第一层神经网络所输出的源端向量序列;在从所述多层神经网络中的第二层神经网络起的当前层神经网络中,获取当前层的所有前序层神经网络所分别对应的前序源端向量序列;对所述前序源端向量序列进行线性叠加,得到综合前序源端向量序列;根据所述综合前序源端向量序列和所述前一层神经网络所对应的源端向量序列,计算得到当前层神经网络所输出的源端向量序列,直到得到所述多层神经网络中最后一层神经网络所输出的源端向量序列;将所述最后一层神经网络所输出的源端向量序列作为源端融合向量序列。6.根据权利要求1至4中任一项所述的方法,其特征在于,所述通过机器翻译模型中编码器的多层神经网络,逐层对所述词序列进行语义编码,得到源端融合向量序列包括:通过机器翻译模型中编码器的多层神经网络,逐层对所述词序列进行语义编码,得到各层神经网络源所输出的源端向量序列;对各层神经网络所输出的源端向量序列进行线性叠加,得到源端融合向量序列;其中,通过以下公式进行线性叠加计算:其中,表示源端融合向量序列;Hi表示第i层神经网络输出的源端向量序列;Wi表示第i层神经网络对应的加权系数;表示将第一层至第l层神经...
【专利技术属性】
技术研发人员:涂兆鹏,窦子轶,王星,史树明,张潼,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。