同声翻译方法、装置和计算机设备制造方法及图纸

本申请提供一种同声翻译方法、装置和计算机设备，其中方法包括：获取待翻译的源语言语音信号；对源语言语音信号进行语音识别，生成源语言词汇序列和源语言拼音序列；将源语言词汇序列和源语言拼音序列分别输入对应的编码器，获取与源语言语音信号对应的词汇向量序列和拼音向量序列；将词汇向量序列和拼音向量序列输入解码器，生成源语言语音信号对应的目标语言序列，由于源语言拼音序列一般不会出错，结合源语言拼音序列来确定源语言语音信号对应的目标语言序列，能够校正源语言词汇序列中的部分错误，从而提高同声翻译效率，提高对语音识别错误的容错能力。

Simultaneous Translation Method, Device and Computer Equipment

【技术实现步骤摘要】
同声翻译方法、装置和计算机设备
本申请涉及同声翻译
，尤其涉及一种同声翻译方法、装置和计算机设备。
技术介绍
目前的同声翻译方法中，对待翻译的源语言语音信号进行语音识别，获取源语言词汇序列，对源语言词汇序列进行机器翻译，获取目标语言序列。然而上述方案中，当语音识别错误时，例如将“发言”识别为“发炎”时，会导致后续的翻译错误，降低了同声翻译效率，降低了对语音识别错误的容错能力。
技术实现思路
为克服相关技术中存在的问题，本申请提供一种同声翻译方法、装置和计算机设备。为达到上述目的，本申请的实施例采用如下技术方案：第一方面，本申请实施例提供一种同声翻译方法，包括：获取待翻译的源语言语音信号；对所述源语言语音信号进行语音识别，生成源语言词汇序列和源语言拼音序列；将所述源语言词汇序列和所述源语言拼音序列分别输入对应的编码器，获取与源语言语音信号对应的词汇向量序列和拼音向量序列；将所述词汇向量序列和所述拼音向量序列输入解码器，生成所述源语言语音信号对应的目标语言序列。其中在一种具体的实施方式中，所述将所述词汇向量序列和所述拼音向量序列输入解码器，生成所述源语言语音信号对应的目标语言序列，包括：针对所述目标语言序列中待生成的当前目标词语，将所述词汇向量序列、所述拼音向量序列以及当前目标词语的前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列和拼音上下文向量序列；将所述词汇上下文向量序列和所述拼音上下文向量序列输入解码神经网络，确定与所述当前目标词语对应的解码器状态；将所述词汇上下文向量序列、所述拼音上下文向量序列以及所述当前目标词语对应的解码器状态输入输出层神经网络，生成所述当前目标词语。其中在另一种具体的实施方式中，所述将所述词汇向量序列、所述拼音向量序列以及当前目标词语的前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列和拼音上下文向量序列，包括：针对所述词汇向量序列中的各个词汇向量，获取所述拼音向量序列中对应位置的拼音向量，将所述词汇向量与所述拼音向量进行拼接，得到组合向量；根据所述词汇向量序列中各个词汇向量对应的组合向量，生成组合向量序列；将所述组合向量序列以及所述前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的组合上下文向量序列。其中在另一种具体的实施方式中，所述注意力模型包括：词汇注意力模型和拼音注意力模型；所述将所述词汇向量序列、所述拼音向量序列以及当前目标词语的前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列和拼音上下文向量序列，包括：将所述词汇向量序列以及所述前一目标词语对应的解码器状态输入词汇注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列；将所述拼音向量序列以及所述前一目标词语对应的解码器状态输入拼音注意力模型，确定与所述当前目标词语对应的拼音上下文向量序列。其中在另一种具体的实施方式中，所述将所述源语言词汇序列和所述源语言拼音序列分别输入对应的编码器，获取与源语言语音信号对应的词汇向量序列和拼音向量序列之前，还包括：获取训练数据；所述训练数据中包括：超过预设数量阈值的训练样本；所述训练样本中包括：目标语言序列样本，以及与所述目标语言序列样本对应的源语言词汇序列样本和源语言拼音序列样本；采用所述训练数据对所述编码器和所述解码器进行训练。其中在另一种具体的实施方式中，所述采用所述训练数据对所述编码器和所述解码器进行训练之前，还包括：针对所述源语言词汇序列样本中的词汇，获取所述词汇对应的同音词汇；根据所述源语言词汇序列样本，以及所述词汇对应的同音词汇，生成与所述源语言词汇序列样本对应的扩展词汇序列样本；根据所述扩展词汇序列样本，以及所述源语言词汇序列样本对应的源语言拼音序列样本和目标语言序列样本，生成扩展训练样本；将所述扩展训练样本添加到所述训练数据中。本申请实施例提供的技术方案可以包括以下有益效果：通过获取待翻译的源语言语音信号；对源语言语音信号进行语音识别，生成源语言词汇序列和源语言拼音序列；将源语言词汇序列和源语言拼音序列分别输入对应的编码器，获取与源语言语音信号对应的词汇向量序列和拼音向量序列；将词汇向量序列和拼音向量序列输入解码器，生成源语言语音信号对应的目标语言序列，由于源语言拼音序列一般不会出错，结合源语言拼音序列来确定源语言语音信号对应的目标语言序列，能够校正源语言词汇序列中的部分错误，从而提高同声翻译效率，提高对语音识别错误的容错能力。第二方面，本申请实施例提供一种同声翻译装置，包括：获取模块，用于获取待翻译的源语言语音信号；识别模块，用于对所述源语言语音信号进行语音识别，生成源语言词汇序列和源语言拼音序列；所述获取模块，还用于将所述源语言词汇序列和所述源语言拼音序列分别输入对应的编码器，获取与源语言语音信号对应的词汇向量序列和拼音向量序列；所述获取模块，还用于将所述词汇向量序列和所述拼音向量序列输入解码器，生成所述源语言语音信号对应的目标语言序列。其中在一种具体的实施方式中，所述获取模块具体用于，针对所述目标语言序列中待生成的当前目标词语，将所述词汇向量序列、所述拼音向量序列以及当前目标词语的前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列和拼音上下文向量序列；将所述词汇上下文向量序列和所述拼音上下文向量序列输入解码神经网络，确定与所述当前目标词语对应的解码器状态；将所述词汇上下文向量序列、所述拼音上下文向量序列以及所述当前目标词语对应的解码器状态输入输出层神经网络，生成所述当前目标词语。其中在另一种具体的实施方式中，所述获取模块具体用于，针对所述词汇向量序列中的各个词汇向量，获取所述拼音向量序列中对应位置的拼音向量，将所述词汇向量与所述拼音向量进行拼接，得到组合向量；根据所述词汇向量序列中各个词汇向量对应的组合向量，生成组合向量序列；将所述组合向量序列以及所述前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的组合上下文向量序列。其中在另一种具体的实施方式中，所述注意力模型包括：词汇注意力模型和拼音注意力模型；对应的，所述获取模块具体用于，将所述词汇向量序列以及所述前一目标词语对应的解码器状态输入词汇注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列；将所述拼音向量序列以及所述前一目标词语对应的解码器状态输入拼音注意力模型，确定与所述当前目标词语对应的拼音上下文向量序列。其中在另一种具体的实施方式中，所述的装置还包括：训练模块；所述获取模块，还用于获取训练数据；所述训练数据中包括：超过预设数量阈值的训练样本；所述训练样本中包括：目标语言序列样本，以及与所述目标语言序列样本对应的源语言词汇序列样本和源语言拼音序列样本；所述训练模块，用于采用所述训练数据对所述编码器和所述解码器进行训练。其中在另一种具体的实施方式中，所述的装置还包括：生成模块和添加模块；所述获取模块，还用于针对所述源语言词汇序列样本中的词汇，获取所述词汇对应的同音词汇；所述生成模块，用于根据所述源语言词汇序列样本，以及所述词汇对应的同音词汇，生成与所述源语言词汇序列样本对应本文档来自技高网...

【技术保护点】
1.一种同声翻译方法，其特征在于，包括：获取待翻译的源语言语音信号；对所述源语言语音信号进行语音识别，生成源语言词汇序列和源语言拼音序列；将所述源语言词汇序列和所述源语言拼音序列分别输入对应的编码器，获取与源语言语音信号对应的词汇向量序列和拼音向量序列；将所述词汇向量序列和所述拼音向量序列输入解码器，生成所述源语言语音信号对应的目标语言序列。

【技术特征摘要】
1.一种同声翻译方法，其特征在于，包括：获取待翻译的源语言语音信号；对所述源语言语音信号进行语音识别，生成源语言词汇序列和源语言拼音序列；将所述源语言词汇序列和所述源语言拼音序列分别输入对应的编码器，获取与源语言语音信号对应的词汇向量序列和拼音向量序列；将所述词汇向量序列和所述拼音向量序列输入解码器，生成所述源语言语音信号对应的目标语言序列。2.根据权利要求1所述的方法，其特征在于，所述将所述词汇向量序列和所述拼音向量序列输入解码器，生成所述源语言语音信号对应的目标语言序列，包括：针对所述目标语言序列中待生成的当前目标词语，将所述词汇向量序列、所述拼音向量序列以及当前目标词语的前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列和拼音上下文向量序列；将所述词汇上下文向量序列和所述拼音上下文向量序列输入解码神经网络，确定与所述当前目标词语对应的解码器状态；将所述词汇上下文向量序列、所述拼音上下文向量序列以及所述当前目标词语对应的解码器状态输入输出层神经网络，生成所述当前目标词语。3.根据权利要求2所述的方法，其特征在于，所述将所述词汇向量序列、所述拼音向量序列以及当前目标词语的前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列和拼音上下文向量序列，包括：针对所述词汇向量序列中的各个词汇向量，获取所述拼音向量序列中对应位置的拼音向量，将所述词汇向量与所述拼音向量进行拼接，得到组合向量；根据所述词汇向量序列中各个词汇向量对应的组合向量，生成组合向量序列；将所述组合向量序列以及所述前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的组合上下文向量序列。4.根据权利要求2所述的方法，其特征在于，所述注意力模型包括：词汇注意力模型和拼音注意力模型；所述将所述词汇向量序列、所述拼音向量序列以及当前目标词语的前一目标词语对应的解码器状态输入注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列和拼音上下文向量序列，包括：将所述词汇向量序列以及所述前一目标词语对应的解码器状态输入词汇注意力模型，确定与所述当前目标词语对应的词汇上下文向量序列；将所述拼音向量序列以及所述前一目标词语对应的解码器状态输入拼音注意力模型，确定与所述当前目标词语对应的拼音上下文向量序列。5.根据权利要求1所述的方法，其特征在于，所述将所述源语言词汇序列和所述源语言拼音序列分别输入对应的编码器，获取与源语言语音信号对应的词汇向量序列和拼音向量序列之前，还包括：获取训练数据；所述训练数据中包括：超过预设数量阈值的训练样本；所述训练样本中包括：目标语言序列样本，以及与所述目标语言序列样本对应的源语言词汇序列样本和源语言拼音序列样本；采用所述训练数据对所述编码器和所述解码器进行训练。6.根据权利要求5所述的方法，其特征在于，所述采用所述训练数据对所述编码器和所述解码器进行训练之前，还包括：针对所述源语言词汇序列样本中的词汇，获取所述词汇对应的同音词汇；根据所述源语言词汇序列样本，以及所述词汇对应的同音词汇，生成与所述源语言词汇序列样本对应的扩展词汇序列样本；根据所述扩展词汇序列样本，以及所述源语言词汇序列样本对应的源语言拼音序列样本和目标语言序列样本，生成扩展训练样本；将所述扩展训练样本添加...

【专利技术属性】
技术研发人员：孟凡东，翟俊杰，杨月奎，王迪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44