一种语音翻译模型的训练方法及装置制造方法及图纸

本申请公开了一种语音翻译模型的训练方法及装置，该方法包括：首先获取包括各个样本语音的模型训练数据，然后，利用当前的语音翻译模型对获取到的样本语音进行直接翻译，得到预测翻译文本，同时，利用当前的语音识别模型对获取到的样本语音进行识别，得到预测识别文本，接着，根据得到的预测翻译文本与预测识别文本，更新语音翻译模型和语音识别模型的参数。由于语音翻译模型与语音识别模型共享部分模型参数，所以，当更新语音识别模型的参数时，同样会对语音翻译模型中共享部分的模型参数进行更新，从而使得语音翻译模型的这部分模型参数更加准确，进而在利用该语音翻译模型进行语音翻译时，能够提升语音翻译模型的翻译性能。

A Training Method and Device for Speech Translation Model

This application discloses a training method and device for speech translation model. The method includes: firstly, acquiring model training data including each sample speech, then directly translating the acquired sample speech using the current speech translation model to obtain predictive translation text, at the same time, recognizing the acquired sample speech using the current speech recognition model. The predictive recognition text is obtained, and then the parameters of speech translation model and speech recognition model are updated according to the predictive translation text and predictive recognition text. Because the speech translation model shares part of the model parameters with the speech recognition model, when updating the parameters of the speech recognition model, the model parameters of the shared part of the speech translation model will also be updated, so that the model parameters of this part of the speech translation model can be more accurate, and then the voice translation model can be used to improve the voice translation. Translation performance of translation model.

【技术实现步骤摘要】
一种语音翻译模型的训练方法及装置
本申请涉及语音翻译
，尤其涉及一种语音翻译模型的训练方法及装置。
技术介绍
现有的语音翻译方法通常包括两个步骤，即，由语音翻译模型实现语音识别和文本翻译。具体地，首先，将一段语音经过语音识别技术，识别成与之同一语种的文本，然后，利用文本翻译技术将该识别文本翻译成另一语种的文本，从而实现语音翻译过程。但是，联合语音识别技术和文本翻译技术进行语音翻译，存在错误累积的缺点，例如，假设采用语音识别技术将某一个单词识别错误，而当采用文本翻译技术对该单词进行翻译时，将根据该错误的单词得到错误的翻译结果。可见，语音识别阶段的错误会累积到文本翻译阶段，从而导致翻译结果的不准确，也就是说，现有的语音翻译模型的翻译性能还有待提升。
技术实现思路
本申请实施例的主要目的在于提供一种语音翻译模型的训练方法及装置，能够提升语音翻译模型的翻译性能。本申请实施例提供了一种语音翻译模型的训练方法，包括：获取模型训练数据，所述模型训练数据包括各个样本语音；利用当前的语音翻译模型对所述样本语音进行直接翻译，得到预测翻译文本，其中，语音翻译模型与一个语音识别模型共享部分模型参数；利用当前的语音识别模型对所述样本语音进行识别，得到预测识别文本；根据所述预测翻译文本与所述预测识别文本，更新当前的语音翻译模型和语音识别模型的参数。可选的，所述根据所述预测翻译文本与所述预测识别文本，更新当前的语音翻译模型和语音识别模型的参数，包括：获取所述样本语音的真实翻译文本和真实识别文本；根据翻译差异信息和识别差异信息，更新当前的语音翻译模型和语音识别模型的参数；其中，所述翻译差异信息为所述预测翻译文本与所述真实翻译文本之间的差异，所述识别差异信息为所述预测识别文本与所述真实识别文本之间的差异。可选的，所述根据翻译差异信息和识别差异信息，更新当前的语音翻译模型和语音识别模型的参数，包括：根据所述翻译差异信息，对所述语音翻译模型进行参数更新；根据所述识别差异信息，对所述语音识别模型进行参数更新。可选的，所述语音识别模型与所述语音翻译模型共享一个编码器，所述语音识别模型包括一个识别解码器，所述语音翻译模型包括一个翻译解码器。本申请实施例还提供了一种语音翻译方法，包括：获取待翻译的目标语音；利用通过上述语音翻译模型的训练方法训练得到的语音翻译模型，对所述目标语音进行翻译。本申请实施例还提供了一种语音翻译模型的训练装置，包括：训练数据获取单元，用于获取模型训练数据，所述模型训练数据包括各个样本语音；翻译文本获得单元，用于利用当前的语音翻译模型对所述样本语音进行直接翻译，得到预测翻译文本，其中，语音翻译模型与一个语音识别模型共享部分模型参数；识别文本获得单元，用于利用当前的语音识别模型对所述样本语音进行识别，得到预测识别文本；模型参数更新单元，用于根据所述预测翻译文本与所述预测识别文本，更新当前的语音翻译模型和语音识别模型的参数。可选的，所述模型参数更新单元包括：真实文本获取子单元，用于获取所述样本语音的真实翻译文本和真实识别文本；模型参数更新子单元，用于根据翻译差异信息和识别差异信息，更新当前的语音翻译模型和语音识别模型的参数；其中，所述翻译差异信息为所述预测翻译文本与所述真实翻译文本之间的差异，所述识别差异信息为所述预测识别文本与所述真实识别文本之间的差异。可选的，所述模型参数更新子单元包括：翻译模型参数更新子单元，用于根据所述翻译差异信息，对所述语音翻译模型进行参数更新；识别模型参数更新子单元，用于根据所述识别差异信息，对所述语音识别模型进行参数更新。可选的，所述语音识别模型与所述语音翻译模型共享一个编码器，所述语音识别模型包括一个识别解码器，所述语音翻译模型包括一个翻译解码器。本申请实施例还提供了一种语音翻译装置，包括：目标语音获取单元，用于获取待翻译的目标语音；目标语音翻译单元，用于利用通过上述语音翻译模型的训练装置训练得到的语音翻译模型，对所述目标语音进行翻译。本申请实施例还提供了一种语音翻译模型的训练设备，包括：处理器、存储器、系统总线；所述处理器以及所述存储器通过所述系统总线相连；所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述语音翻译模型的训练方法中的任意一种实现方式。本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述语音翻译模型的训练方法中的任意一种实现方式。本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述语音翻译模型的训练方法中的任意一种实现方式。本申请实施例还提供了一种语音翻译设备，包括：处理器、存储器、系统总线；所述处理器以及所述存储器通过所述系统总线相连；所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述语音翻译方法的任意一种实现方式。本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述语音翻译方法的任意一种实现方式。本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述语音翻译方法的任意一种实现方式。本申请实施例提供的一种语音翻译模型的训练方法及装置，在对语音翻译模型进行训练时，首先获取包括各个样本语音的模型训练数据，然后，利用当前的语音翻译模型对获取到的样本语音进行直接翻译，得到预测翻译文本，同时，利用当前的语音识别模型对获取到的样本语音进行识别，得到预测识别文本，接着，可以根据得到的预测翻译文本与预测识别文本，更新当前的语音翻译模型和语音识别模型的参数。由于当前的语音翻译模型与语音识别模型共享部分模型参数，所以，当更新语音识别模型的参数时，同样会对语音翻译模型中共享部分的模型参数进行更新，从而使得训练得到的语音翻译模型的这部分模型参数更加准确，进而在利用该语音翻译模型进行语音翻译时，能够提升语音翻译模型的翻译性能。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的端对端语音翻译模型的结构示意图之一；图2为本申请实施例提供的端对端语音翻译模型的结构示意图之二；图3为本申请实施例提供的一种语音翻译模型的训练方法的流程示意图；图4为本申请实施例提供的语音翻译模型和语音识别模型的结构示意图之一；图5为本申请实施例提供的语音翻译模型和语音识别模型的结构示意图之二；图6为本申请实施例提供的根据预测翻译文本与预测识别文本更新当前的语音翻译模型和语音识别模型的参数的流程示意图；图7为本申请实施例提供的根据翻译差异信息和识别差异信息更新当前的语音翻译模型和语音识别模型的参数的流程示意图；图8为本申请实施例提供的一种语音翻译方法的流程示意图；图9为本申请实施例提供的一种语音翻译模型的训练装置的本文档来自技高网...

【技术保护点】
1.一种语音翻译模型的训练方法，其特征在于，包括：获取模型训练数据，所述模型训练数据包括各个样本语音；利用当前的语音翻译模型对所述样本语音进行直接翻译，得到预测翻译文本，其中，语音翻译模型与一个语音识别模型共享部分模型参数；利用当前的语音识别模型对所述样本语音进行识别，得到预测识别文本；根据所述预测翻译文本与所述预测识别文本，更新当前的语音翻译模型和语音识别模型的参数。

【技术特征摘要】
1.一种语音翻译模型的训练方法，其特征在于，包括：获取模型训练数据，所述模型训练数据包括各个样本语音；利用当前的语音翻译模型对所述样本语音进行直接翻译，得到预测翻译文本，其中，语音翻译模型与一个语音识别模型共享部分模型参数；利用当前的语音识别模型对所述样本语音进行识别，得到预测识别文本；根据所述预测翻译文本与所述预测识别文本，更新当前的语音翻译模型和语音识别模型的参数。2.根据权利要求1所述的方法，其特征在于，所述根据所述预测翻译文本与所述预测识别文本，更新当前的语音翻译模型和语音识别模型的参数，包括：获取所述样本语音的真实翻译文本和真实识别文本；根据翻译差异信息和识别差异信息，更新当前的语音翻译模型和语音识别模型的参数；其中，所述翻译差异信息为所述预测翻译文本与所述真实翻译文本之间的差异，所述识别差异信息为所述预测识别文本与所述真实识别文本之间的差异。3.根据权利要求2所述的方法，其特征在于，所述根据翻译差异信息和识别差异信息，更新当前的语音翻译模型和语音识别模型的参数，包括：根据所述翻译差异信息，对所述语音翻译模型进行参数更新；根据所述识别差异信息，对所述语音识别模型进行参数更新。4.根据权利要求1至3任一项所述的方法，其特征在于，所述语音识别模型与所述语音翻译模型共享一个编码器，所述语音识别模型包括一个识别解码器，所述语音翻译模型包括一个翻译解码器。5.一种语音翻译方法，其特征在于，包括：获取待翻译的目标语音；利用权利要求1至4任一项所述的方法训练得到的语音翻译模型，对所述目标语音进行翻译。6.一种语音翻译模型的训练装置，其特征在于，包括：训练数据获取单元，用于获取模型训练数据，所述模型训练数据包括各个样本语音；翻译文本获得单元，用于利用当前的语音翻译模型对所述样本语音进行直接翻译，得到预测翻译文本，其中，语音翻译模型与一个语音识别模型共享部分模型参数；识别文本获得单元，用于利用当前的语音识别模型对所述样本语音进行识别，得到预测识别文本；模型参数更新单元，用于根据所述预测翻译文本与所述预测识别文本，更新当前的语音翻译模型和语音识别模型的参数。7.根据权利要求6所述的装置，其特征在于，所述模型参数更新单元包括：真实文本获取子单元，用于获取所述样本语音的真实翻译文本和真...

【专利技术属性】
技术研发人员：马志强，刘俊华，魏思，胡国平，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34