双向语音翻译系统、双向语音翻译方法和程序技术方案

提供了双向语音翻译系统、双向语音翻译方法和程序，用于通过使用适合于接收到的语音或接收到的语音的语言的语音识别引擎、翻译引擎、和语音合成引擎的组合来执行语音翻译。双向语音翻译系统(1)，执行用于通过将第一说话者输入的第一语言语音翻译成第二语言来合成语音的处理、以及用于通过将第二说话者输入的第二语言语音翻译成第一语言来合成语音的处理。引擎确定单元(46)，基于第一语言、第一说话者输入的第一语言语音、第二语言、和第二说话者输入的第二语言语音中的至少一个，确定第一语音识别引擎(22)、第一翻译引擎(28)、和第一语音合成引擎(34)的组合，以及第二语音识别引擎(22)、第二翻译引擎(28)、和第二语音合成引擎(34)的组合。

Two-way Speech Translation System, Two-way Speech Translation Method and Procedure

【技术实现步骤摘要】
【国外来华专利技术】双向语音翻译系统、双向语音翻译方法和程序
本公开涉及双向语音翻译系统，双向语音翻译方法和程序。
技术介绍
专利文献1描述了具有增强的单手的可操作性的翻译器。专利文献1中描述的翻译器将包括输入声学模型、语言模型和输出声学模型的翻译程序和翻译数据存储在包括在设置在壳体上的翻译单元中的存储器中。在专利文献1中描述的翻译器中，包括在翻译单元中的处理单元使用输入声学模型和语言模型，将通过麦克风接收到的第一语言的语音转换为第一语言的文本信息。处理单元使用翻译模型和语言模型将第一语言的文本信息翻译或转换为第二语言的文本信息。处理单元使用输出声学模型将第二语言的文本信息转换为语音，并且通过扬声器输出第二语言的语音。专利文献1中描述的翻译器对每个翻译器预先确定第一语言和第二语言的组合。引文列表专利文献专利文献1：JP2017-151619A
技术实现思路
技术问题然而，在讲第一语言的第一说话者和讲第二语言的第二说话者之间的双向对话中，在专利文献1中描述的翻译器不能顺利地交替将第一说话者的语音翻译成第二语言并且将第二说话者的语音翻译成第一语言。专利文献1中描述的翻译器使用存储的给定翻译数据来翻译任何接收到的语音。因此，例如，即使存在更适用于翻译前语言或翻译后语言的语音识别引擎或翻译引擎，也不可能使用这样的引擎执行语音识别或翻译。此外，例如，即使存在适于再现诸如年龄和性别的说话者属性的翻译引擎或语音合成引擎，也不可能使用这样的引擎执行翻译或语音合成。鉴于上述情况做出了本公开，并且本公开的目的是提供一种双向语音翻译系统、双向语音翻译方法和程序，其通过使用适合于接收的语音或该语音的语言的语音识别引擎、翻译引擎和语音合成引擎的组合，来执行语音翻译。解决问题的方案为了解决上述问题，根据本公开的双向语音翻译系统，执行用于响应于由第一说话者输入第一语言语音，通过将第一语言语音翻译成第二语言来合成语音的处理、以及用于响应于第二说话者输入第二语言语音，通过将第二语言语音翻译成第一语言来合成语音的处理。所述双向语音翻译系统包括：第一确定单元，其基于第一语言、第一说话者输入的第一语言语音、第二语言、和第二说话者输入的第二语言语音中的至少一个，确定第一语音识别引擎、第一翻译引擎、和第一语音合成引擎的组合，第一语音识别引擎是多个语音识别引擎的一个，第一翻译引擎是多个翻译引擎的一个，第一语音合成引擎是多个语音合成引擎的一个；第一语音识别单元，其响应于由第一说话者输入第一语言语音，执行由第一语音识别引擎实现的语音识别处理，以生成作为第一语言语音的识别结果的文本；第一翻译单元，其执行由第一翻译引擎实现的翻译处理，以通过将由第一语音识别单元生成的文本翻译成第二语言来生成文本；第一语音合成单元，其执行由第一语音合成引擎实现的语音合成处理，以合成表示由第一翻译单元翻译的文本的语音；第二确定单元，其基于第一语言、第一说话者输入的第一语言语音、第二语言、和第二说话者输入的第二语言语音中的至少一个，确定第二语音识别引擎、第二翻译引擎、和第二语音合成引擎的组合，第二语音识别引擎是多个语音识别引擎的一个，第二翻译引擎是多个翻译引擎的一个，第二语音合成引擎是多个语音合成引擎的一个；第二语音识别单元，其响应于由第二说话者输入第二语言语音，执行由第二语音识别引擎实现的语音识别处理，以生成作为第二语言语音的识别结果的文本；第二翻译单元，其执行由第二翻译引擎实现的翻译处理，以通过将由第二语音识别单元生成的文本翻译成第一语言来生成文本；以及第二语音合成单元，其执行由第二语音合成引擎实现的语音合成处理，以合成表示由第二翻译单元翻译的文本的语音。在本公开的一个方面中，第一语音合成单元根据基于由第一说话者输入的语音的特征量估计的第一说话者的年龄、世代、和性别中的至少一个来合成语音。在本公开的一个方面中，第一语音合成单元根据基于由第一说话者输入的语音的特征量估计的第一说话者的情绪来合成语音。在本公开的一个方面中，第二语音合成单元根据基于由第一说话者输入的语音的特征量估计的第一说话者的年龄、世代、和性别中的至少一个来合成语音。在本公开的一个方面中，第二翻译单元，确定包括在由第二语音识别单元生成的文本中的翻译目标词的多个翻译候选，检查多个翻译候选以查看每个翻译候选是否被包括在由第一翻译单元生成的文本中，以及将翻译目标词翻译成被确定为包括在由第一翻译单元生成的文本中的词。在本公开的一个方面中，第一语音合成单元合成具有根据第一说话者的第一语言语音的输入速度的速度的语音，或具有根据第一说话者的第一语言语音的音量的音量的语音。在本公开的一个方面中，第二语音合成单元合成具有根据第一说话者的第一语言语音的输入速度的速度的语音，或具有根据第一说话者的第一语言语音的音量的音量的语音。在本公开的一个方面中，双向语音翻译系统包括终端，该终端接收由第一说话者进行的第一语言语音的输入，输出通过将第一语言语音翻译成第二语言获得的语音，接收由第二说话者进行的第二语言语音的输入，并输出通过将第二语言翻译成第一语言获得的语音。第一确定单元基于终端的位置确定第一语音识别引擎、第一翻译引擎、和第一语音合成引擎的组合。第二确定单元基于终端的位置确定第二语音识别引擎、第二翻译引擎、和第二语音合成引擎的组合。根据本公开的双向语音翻译方法，执行用于响应于由第一说话者输入第一语言语音，通过将第一语言语音翻译成第二语言来合成语音的处理、以及用于响应于第二说话者输入第二语言语音，通过将第二语言语音翻译成第一语言来合成语音的处理。所述双向语音翻译方法包括：第一确定步骤，其基于第一语言、第一说话者输入的第一语言语音、第二语言、和第二说话者输入的第二语言语音中的至少一个，确定第一语音识别引擎、第一翻译引擎、和第一语音合成引擎的组合，第一语音识别引擎是多个语音识别引擎的一个，第一翻译引擎是多个翻译引擎的一个，第一语音合成引擎是多个语音合成引擎的一个；第一语音识别步骤，其响应于由第一说话者输入第一语言语音，执行由第一语音识别引擎实现的语音识别处理，以生成作为第一语言语音的识别结果的文本；第一翻译步骤，其执行由第一翻译引擎实现的翻译处理，以通过将在第一语音识别步骤中生成的文本翻译成第二语言来生成文本；第一语音合成步骤，其执行由第一语音合成引擎实现的语音合成处理，以合成表示在第一翻译步骤中翻译的文本的语音；第二确定步骤，其基于第一语言、第一说话者输入的第一语言语音、第二语言、和第二说话者输入的第二语言语音中的至少一个，确定第二语音识别引擎、第二翻译引擎、和第二语音合成引擎的组合，第二语音识别引擎是多个语音识别引擎的一个，第二翻译引擎是多个翻译引擎的一个，第二语音合成引擎是多个语音合成引擎的一个；第二语音识别步骤，其响应于由第二说话者输入第二语言语音，执行由第二语音识别引擎实现的语音识别处理，以生成作为第二语言语音的识别结果的文本；第二翻译步骤，其执行由第二翻译引擎实现的翻译处理，以通过将在第二语音识别步骤中生成的文本翻译成第一语言来生成文本；以及第二语音合成步骤，其执行由第二语音合成引擎实现的语音合成处理，以合成表示在第二翻译步骤中翻译的文本的语音。根据本公开的程序，使计算机执行用于响应于由第一说话者输入第一语言语音，通过将第一语言语音翻译成第本文档来自技高网...

【技术保护点】
1.一种双向语音翻译系统，执行用于响应于由第一说话者输入第一语言语音，通过将所述第一语言语音翻译成第二语言来合成语音的处理、以及用于响应于第二说话者输入第二语言语音，通过将所述第二语言语音翻译成第一语言来合成语音的处理，所述双向语音翻译系统包括：第一确定单元，其基于所述第一语言、所述第一说话者输入的所述第一语言语音、所述第二语言、和所述第二说话者输入的所述第二语言语音中的至少一个，确定第一语音识别引擎、第一翻译引擎、和第一语音合成引擎的组合，所述第一语音识别引擎是多个语音识别引擎的一个，所述第一翻译引擎是多个翻译引擎的一个，所述第一语音合成引擎是多个语音合成引擎的一个；第一语音识别单元，其响应于由所述第一说话者输入所述第一语言语音，执行由所述第一语音识别引擎实现的语音识别处理，以生成作为所述第一语言语音的识别结果的文本；第一翻译单元，其执行由所述第一翻译引擎实现的翻译处理，以通过将由所述第一语音识别单元生成的所述文本翻译成所述第二语言来生成文本；第一语音合成单元，其执行由所述第一语音合成引擎实现的语音合成处理，以合成表示由所述第一翻译单元翻译的所述文本的语音；第二确定单元，其基于所述第一语言、所述第一说话者输入的所述第一语言语音、所述第二语言、和所述第二说话者输入的所述第二语言语音中的至少一个，确定第二语音识别引擎、第二翻译引擎、和第二语音合成引擎的组合，所述第二语音识别引擎是所述多个语音识别引擎的一个，所述第二翻译引擎是所述多个翻译引擎的一个，所述第二语音合成引擎是所述多个语音合成引擎的一个；第二语音识别单元，其响应于由所述第二说话者输入所述第二语言语音，执行由所述第二语音识别引擎实现的语音识别处理，以生成作为所述第二语言语音的识别结果的文本；第二翻译单元，其执行由所述第二翻译引擎实现的翻译处理，以通过将由所述第二语音识别单元生成的所述文本翻译成所述第一语言来生成文本；以及第二语音合成单元，其执行由所述第二语音合成引擎实现的语音合成处理，以合成表示由所述第二翻译单元翻译的所述文本的语音。...

【技术特征摘要】
【国外来华专利技术】1.一种双向语音翻译系统，执行用于响应于由第一说话者输入第一语言语音，通过将所述第一语言语音翻译成第二语言来合成语音的处理、以及用于响应于第二说话者输入第二语言语音，通过将所述第二语言语音翻译成第一语言来合成语音的处理，所述双向语音翻译系统包括：第一确定单元，其基于所述第一语言、所述第一说话者输入的所述第一语言语音、所述第二语言、和所述第二说话者输入的所述第二语言语音中的至少一个，确定第一语音识别引擎、第一翻译引擎、和第一语音合成引擎的组合，所述第一语音识别引擎是多个语音识别引擎的一个，所述第一翻译引擎是多个翻译引擎的一个，所述第一语音合成引擎是多个语音合成引擎的一个；第一语音识别单元，其响应于由所述第一说话者输入所述第一语言语音，执行由所述第一语音识别引擎实现的语音识别处理，以生成作为所述第一语言语音的识别结果的文本；第一翻译单元，其执行由所述第一翻译引擎实现的翻译处理，以通过将由所述第一语音识别单元生成的所述文本翻译成所述第二语言来生成文本；第一语音合成单元，其执行由所述第一语音合成引擎实现的语音合成处理，以合成表示由所述第一翻译单元翻译的所述文本的语音；第二确定单元，其基于所述第一语言、所述第一说话者输入的所述第一语言语音、所述第二语言、和所述第二说话者输入的所述第二语言语音中的至少一个，确定第二语音识别引擎、第二翻译引擎、和第二语音合成引擎的组合，所述第二语音识别引擎是所述多个语音识别引擎的一个，所述第二翻译引擎是所述多个翻译引擎的一个，所述第二语音合成引擎是所述多个语音合成引擎的一个；第二语音识别单元，其响应于由所述第二说话者输入所述第二语言语音，执行由所述第二语音识别引擎实现的语音识别处理，以生成作为所述第二语言语音的识别结果的文本；第二翻译单元，其执行由所述第二翻译引擎实现的翻译处理，以通过将由所述第二语音识别单元生成的所述文本翻译成所述第一语言来生成文本；以及第二语音合成单元，其执行由所述第二语音合成引擎实现的语音合成处理，以合成表示由所述第二翻译单元翻译的所述文本的语音。2.根据权利要求1所述的双向语音翻译系统，其中，所述第一语音合成单元根据基于由所述第一说话者输入的语音的特征量估计的所述第一说话者的年龄、世代、和性别中的至少一个来合成语音。3.根据权利要求1或2所述的双向语音翻译系统，其中，所述第一语音合成单元根据基于由所述第一说话者输入的语音的特征量估计的所述第一说话者的情绪来合成语音。4.根据权利要求1所述的双向语音翻译系统，其中，所述第二语音合成单元根据基于由所述第一说话者输入的语音的特征量估计的所述第一说话者的年龄、世代、和性别中的至少一个来合成语音。5.根据权利要求1至4中任一项所述的双向语音翻译系统，其中，所述第二翻译单元：确定包括在由所述第二语音识别单元生成的所述文本中的翻译目标词的多个翻译候选，检查所述多个翻译候选以查看每个所述翻译候选是否被包括在由所述第一翻译单元生成的所述文本中，以及将所述翻译目标词翻译成被确定为包括在由所述第一翻译单元生成的所述文本中的词。6.根据权利要求1至5中任一项所述的双向语音翻译系统，其中，所述第一语音合成单元合成具有根据所述第一说话者的所述第一语言语音的输入速度的速度的语音，或具有根据所述第一说话者的所述第一语言语音的音量的音量的语音。7.根据权利要求1至5中任一项所述的双向语音翻译系统，其中，所述第二语音合成单元合成具有根据所述第一说话者的所述第一语言语音的输入速度的速度的语音，或具有根据所述第一说话者的所述第一语言语音的音量的音量的语音。8.根据权利要求1至7中任一项所述的双向语音翻译系统，包括终端，该终端接收由所述第一说话者进行的第一语言语音的输入，输出通过将所述第一语言语音翻译成所述第二语言获得的语音，接收由所述第二说话者进行的第二语言语音的输入，并输出通过将所述第二语言语音翻译成所述第一语言获得的语音，其中，所述第一确定单元基于所述终端的位置确定所述第一语音识别引擎、所述第一翻译引擎、和所述第一语音合成引擎的所述组合，以及所述第二确定单元基于所述终端的位置确定所述第二语音识别引擎、所述第二翻译引擎、和所述第二语音合成...

【专利技术属性】
技术研发人员：川竹一，
申请(专利权)人：创次源股份有限公司，
类型：发明
国别省市：日本,JP