语句翻译模型的训练方法及装置、语句翻译方法及装置制造方法及图纸

本申请提供语句翻译模型的训练方法及装置、语句翻译方法及装置，其中所述语句翻译模型包括编码器和解码器，所述语句翻译模型的训练方法包括：获取待翻译语句和所述待翻译语句对应的目标语句，根据所述待翻译语句获得待翻译向量并输入至所述编码器，获得每个所述编码层输出的编码向量，根据所述目标语句获得目标向量并输入至所述解码器；将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量；根据每个所述解码向量与所述目标向量分别计算对应的损失值，并确定目标损失值；根据所述目标损失值调整所述语句翻译模型的参数以训练所述语句翻译模型。

Training method and device of sentence translation model, sentence translation method and device

【技术实现步骤摘要】
语句翻译模型的训练方法及装置、语句翻译方法及装置
本申请涉及互联网
，特别涉及一种语句翻译模型的训练方法及装置、语句翻译方法及装置、计算设备和计算机可读存储介质。
技术介绍
随着互联网技术的提升，神经网络的应用越来越广泛，例如构建神经机器翻译模型，以实现待翻译语句到目标语句的转换。神经机器翻译模型是一种端到端的网络结构，架构包括：编码器（encoder）—解码器（decoder）。其中编码器对输入信息进行编码处理获得编码结果，然后解码器同时接收解码器的输入、编码器的编码结果进行解码，并将解码信息输入线性层、归一层，最终获取相应的翻译结果，编码器由6个编码层堆叠而成，由最底层的编码层接收输入，在其他编码层接收上一个编码层的输出，最后一个编码层的输出作为整个编码端的输出结果。目前，端到端的神经机器翻译模型在训练过程中构建损失函数时，编码器和解码器在后续的处理中仅依赖于编码器顶层的输出，在每一步做后向传播更新模型参数，编码器、解码器所有层的参数都会被更新，事实上，在后向传播过程中，模型所有参数的梯度大不相同，梯度较大的参数，更新频率应该较小，梯度较小的参数，更新频率应该较大，但当前的模型更新参数方法中编码器和解码器所有层的参数都会被更新，使得模型的训练速度较慢，不利于模型的迅速训练。因此，如何解决模型的训练速度缓慢问题，使翻译模型能更快被训练好，就成为技术人员亟待解决的问题。
技术实现思路
有鉴于此，本申请实施例提供了一种语句翻译模型的训练方法及装置、语句翻译方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。根据本申请实施例的第一方面，提供了一种语句翻译模型的训练方法，所述语句翻译模型包括编码器和解码器，其中，所述编码器包括n个编码层，所述解码器包括m个解码层，n和m均为大于等于2的正整数，所述方法包括：获取待翻译语句和所述待翻译语句对应的目标语句，根据所述待翻译语句获得待翻译向量并输入至所述编码器，获得每个所述编码层输出的编码向量，根据所述目标语句获得目标向量并输入至所述解码器；将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量；根据每个所述解码向量与所述目标向量分别计算对应的损失值，并确定目标损失值；根据所述目标损失值调整所述语句翻译模型的参数以训练所述语句翻译模型。可选的，对于第1个编码层；获得每个所述编码层输出的编码向量，包括：将所述待翻译向量输入至所述第1个编码层；获得所述第1个编码层输出的第一编码向量。可选的，对于第j个编码层，其中，1<j<=n；获得每个所述编码层输出的编码向量，包括：将第j-1个编码层输出的第j-1编码向量输入至所述第j个编码层；获得所述第j个编码层输出的第j编码向量。可选的，对于第1个解码层；将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量，包括：将每个所述编码层输出的编码向量和所述目标向量输入至所述第1个解码层；获得所述第1个解码层根据每个所述编码层输出的编码向量和所述目标向量生成的与每个所述编码向量对应的解码向量。可选的，对于第j个编码层和第k个解码层，其中，1<=j<=n，1<k<=m；基于输入的每个所述编码层对应的编码向量和所述目标向量，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量，包括：将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量，包括：将第j个编码层输出的第j编码向量和第k-1个解码层输出的与第j编码向量对应的解码向量输入至第k个解码层；获得所述第k个解码层根据第j编码向量和所述第j编码向量对应的解码向量生成的解码向量。可选的，确定目标损失值，包括：在每个所述损失值中选取最小损失值作为目标损失值。可选的，对于第j个编码层和第k个解码层，其中，1<=j<=n，1<=k<=m；根据所述目标损失值调整所述语句翻译模型的参数以训练所述语句翻译模型，包括：根据所述目标损失值确定所述目标损失值对应的第j个编码层和第k个解码层；调整第1-第j个编码层的参数和第1-第k个解码层的参数以训练所述语句翻译模型。根据本申请实施例的第二方面，提供了一种语句翻译方法，所述方法包括：获取待翻译语句；将所述待翻译语句输入至语句翻译模型中进行处理，其中，所述语句翻译模型是通过上述任意一项所述的训练方法训练得到的；所述语句翻译模型的编码器根据所述待翻译语句生成编码向量，并将所述编码向量输入至所述语句翻译模型的解码器中；所述语句翻译模型的解码器根据所述编码向量生成对应的解码向量，并根据所述解码向量生成并输出所述待翻译语句对应的目标语句。根据本申请实施例的第三方面，提供了一种语句翻译模型的训练装置，所述语句翻译模型包括编码器和解码器，其中，所述编码器包括n个编码层，所述解码器包括m个解码层，n和m均为大于等于2的正整数，所述装置包括：获取模块，被配置为获取待翻译语句和所述待翻译语句对应的目标语句，根据所述待翻译语句获得待翻译向量并输入至所述编码器，获得每个所述编码层输出的编码向量，根据所述目标语句获得目标向量并输入至所述解码器；解码器模块，被配置为将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量；选取损失值模块，被配置为根据每个所述解码向量与所述目标向量分别计算对应的损失值，并确定目标损失值；调参训练模块，被配置为根据所述目标损失值调整所述语句翻译模型的参数以训练所述语句翻译模型。可选的，对于第1个编码层；所述获取模块，进一步被配置为将所述待翻译向量输入至所述第1个编码层；获得所述第1个编码层输出的第一编码向量。可选的，对于第j个编码层，其中，1<j<=n；所述获取模块，进一步被配置为将第j-1个编码层输出的第j-1编码向量输入至所述第j个编码层；获得所述第j个编码层输出的第j编码向量。可选的，对于第1个解码层；所述解码器模块，进一步被配置为将每个所述编码层输出的编码向量和所述目标向量输入至所述第1个解码层；获得所述第1个解码层根据每个所述编码层输出的编码向量和所述目标向量生成的与每个所述编码向量对应的解码向量。可选的，对于第j个编码层和第k个解码层，其中，1<=j<=n，1<k<=m；所述解码器模块，进一步被配置为将第j个编码层输出的第j编码向量和第k-1个解码层输出的与第j编码向量对应的解码向量输入至第k个解码层；本文档来自技高网...

【技术保护点】
1.一种语句翻译模型的训练方法，其特征在于，所述语句翻译模型包括编码器和解码器，其中，所述编码器包括n个编码层，所述解码器包括m个解码层，n和m均为大于等于2的正整数，所述方法包括：/n获取待翻译语句和所述待翻译语句对应的目标语句，根据所述待翻译语句获得待翻译向量并输入至所述编码器，获得每个所述编码层输出的编码向量，根据所述目标语句获得目标向量并输入至所述解码器；/n将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量；/n根据每个所述解码向量与所述目标向量分别计算对应的损失值，并确定目标损失值；/n根据所述目标损失值调整所述语句翻译模型的参数以训练所述语句翻译模型。/n

【技术特征摘要】
1.一种语句翻译模型的训练方法，其特征在于，所述语句翻译模型包括编码器和解码器，其中，所述编码器包括n个编码层，所述解码器包括m个解码层，n和m均为大于等于2的正整数，所述方法包括：
获取待翻译语句和所述待翻译语句对应的目标语句，根据所述待翻译语句获得待翻译向量并输入至所述编码器，获得每个所述编码层输出的编码向量，根据所述目标语句获得目标向量并输入至所述解码器；
将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量；
根据每个所述解码向量与所述目标向量分别计算对应的损失值，并确定目标损失值；
根据所述目标损失值调整所述语句翻译模型的参数以训练所述语句翻译模型。


2.如权利要求1所述的语句翻译模型的训练方法，其特征在于，对于第1个编码层；
获得每个所述编码层输出的编码向量，包括：
将所述待翻译向量输入至所述第1个编码层；
获得所述第1个编码层输出的第一编码向量。


3.如权利要求1所述的语句翻译模型的训练方法，其特征在于，对于第j个编码层，其中，1<j<=n；
获得每个所述编码层输出的编码向量，包括：
将第j-1个编码层输出的第j-1编码向量输入至所述第j个编码层；
获得所述第j个编码层输出的第j编码向量。


4.如权利要求1所述的语句翻译模型的训练方法，其特征在于，对于第1个解码层；
将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量，包括：
将每个所述编码层输出的编码向量和所述目标向量输入至所述第1个解码层；
获得所述第1个解码层根据每个所述编码层输出的编码向量和所述目标向量生成的与每个所述编码向量对应的解码向量。


5.如权利要求1所述的语句翻译模型的训练方法，其特征在于，对于第j个编码层和第k个解码层，其中，1<=j<=n，1<k<=m；
将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量，包括：
将第j个编码层输出的第j编码向量和第k-1个解码层输出的与第j编码向量对应的解码向量输入至第k个解码层；
获得所述第k个解码层根据第j编码向量和所述第j编码向量对应的解码向量生成的解码向量。


6.如权利要求1所述的语句翻译模型的训练方法，其特征在于，确定目标损失值，包括：
在每个所述损失值中选取最小损失值作为目标损失值。


7.如权利要求1所述的语句翻译模型的训练方法，其特征在于，对于第j个编码层和第k个解码层，其中...

【专利技术属性】
技术研发人员：李长亮，李国良，郭馨泽，
申请(专利权)人：北京金山数字娱乐科技有限公司，
类型：发明
国别省市：北京;11