一种混合式语音翻译系统，借此，无线启动客户端计算设备可以在离线模式下将输入语音话语本地地从一种语言翻译成另一种，并且还在存在无线网络连通性时的在线模式下，使远程计算机执行翻译并且将其经由无线网络发送回到客户端计算设备以便由客户端计算设备可听地输出。客户端计算设备的用户可以在模式之间转换，或者转换可以是基于用户偏好或设置自动的。后端语音翻译服务器系统可以基于随时间的用户数据的分析适配由客户端计算设备在离线模式下使用的各个识别和翻译模型，从而利用比后端语音翻译服务器系统更小的，但是更高效和更快速的模型配置客户端计算设备，同时仍然适合于用户的领域。
【技术实现步骤摘要】
【国外来华专利技术】【专利说明】
技术介绍
语音到语音翻译(STS)系统通常以两个不同的形式中的一个递送:通过互联网在线地或者嵌入用户的设备上离线地(例如，智能手机或者其他合适的计算设备)。在线版本具有以下优势，其可以得益于大型服务器(云)上的重要处理资源，并且提供馈送至服务供应商的数据使得改进和用户化成为可能。然而，在线处理需要持续的网络连通性，由于漫游成本或者隐私/安全性担忧使得不能在所有地点保证网络连通性或者在有些情况下不希望存在网络连通性。如可替换的配置，语音到语音翻译器，诸如Jibbig0语音翻译应用，可以在嵌入在智能手机本身上的软件本地运行时递送，并且在翻译app的初始下载之后不需要网络连通性。这样的离线嵌入语音翻译能力对于以下许多情形是优选的配置，即如果大部分实际情况不需要语言支持，当网络不可用、间歇性的或者过于昂贵时。大部分旅行者会经历这样的间歇性的或者不存在的连通性，例如，在航线飞行期间、远距离的地理位置、建筑物、或者仅仅因为数据漫游被关闭以避免在外国旅行时的相关联的漫游费用。这样的语音翻译服务或软件递送的方式还具有以下含义，即软件可以/必须以领域相关或者领域独立的方式操作的程度以及其是否可以适应于用户的环境。STS系统通常将对于一个领域相当好地工作，但是对于另一个领域不太好(领域相关的)，如果它们已紧密优化并且调谐为特定使用领域，或者它们通过对于所有领域不相上下地良好地工作来试图领域独立。任何一个解决方案都限制所有特定情况的性能。用户通常在他的/她的计算设备上运行在线客户端程序。这个设备通常数字化并且能编码语音，然后将样本或者系数通过通信线路发送至服务器。然后服务器执行繁重的计算的语音识别和/或翻译并且将结果经由通信线路发送回用户，并且结果显示在用户设备上。不同的在线设计已建议将处理链的不同的部分移出至服务器并且在设备上进行或多或少的计算工作。在语音识别、翻译和翻译系统中，用户的设备可以简单到仅为麦克风，或者模数转换器，或者提供更复杂的功能，诸如噪声抑制、编码为系数、一个或多个语音识别途径、或者一个或多个语言处理步骤。相反离线设计的全部应用在设备本身上作为嵌入式应用运行。所有的计算在设备本地完成并且在使用期间不需要客户端和服务器之间的传输。通常，在线设计具有以下优势，即其仅需要非常简单的客户端并且因此应用可以在非常简单的计算设备或者移动电话上运行，同时所有繁重的计算和处理在大型计算服务器上完成。对于语音和机器翻译，这意味着可以使用更高级的但是计算密集的算法，并且可以使用最新的背景信息。其还具有以下优势，即服务的开发者或操作者可以在服务器上维护/改善服务或能力，不需要用户下载或升级新系统版本。在线设计的缺点是其关键取决于网络连通性的事实。然而，当用户移动和旅行至远距离的地点时，连接性会是间歇性的和/或非常昂贵的(漫游)，并且因此在许多方面不可用。对于语音和语音翻译系统，这个需要经常是不可接受的。与文本或电子邮件传输不同，语音不允许连通性的临时失效，因为其不允许在没有丢失信息或者实时性能的情况下的语音流的相应的中断。因此在线设计必须确保连续的、实时的传输并且因此必须确保使用期间的连续的连通性。
技术实现思路
在一个总体方面中，本专利技术针对一种混合式语音翻译系统，借此无线启动客户端计算设备(例如，智能手机或平板电脑)可以将输入单词短语(例如，输入语音话语或输入文本)本地地从一种语言翻译成另一种，例如，在“离线”模式，以及在有无线网络连通性时的“在线”模式下，使远程计算机(例如，后端语音翻译服务器系统)执行翻译并且将其经由无线网络发送回到客户端计算设备以便由客户端计算设备输出(例如，经由扬声器和/或经由文本显示字段能听见地)。在各种实施方式中，客户端计算设备的用户可以在模式之间转换或者转换可以是基于用户偏好或设置对于用户自动的和显而易见的。此外，后端语音翻译服务器系统可以基于随时间的用户数据的分析适配由客户端计算设备在离线模式下使用的各个识别和翻译模型，从而利用比后端语音翻译服务器系统更小的，但是更高效和更快速的同时还要适合于用户的领域的模型配置客户端计算设备。根据本专利技术的实施方式具体地在针对语音翻译系统和语音翻译方法的所附权利要求中公开，其中一个权利要求种类中提到的任何特征，例如，方法，可以在另一个权利要求种类中被要求保护并且以下列出的实施方式是仅出于形式原因选择的。然而从慎重参考回任何先前的权利要求或实施方式得到的任何主题(具体地，多个从属关系)同样可以被要求保护，使得公开权利要求和其特征的任何组合并且可以与所附权利要求中选择的从属关系无关地要求保护。还公开了以下列出的实施方式的特征的任何组合，与在其中提到的反向引用无关。在根据本专利技术的实施方式中，一种语音翻译系统包括:-后端语音翻译服务器系统；以及-客户端计算设备，被配置为经由无线网络与后端语音翻译服务器系统通信，其中客户端计算设备包括:-麦克风；-处理器，连接至麦克风；-存储器，连接至处理器，存储由处理器执行的指令；以及-扬声器，连接至处理器，其中:-客户端计算设备用于经由扬声器输出输入单词短语从第一语言至第二语言的翻译；并且-存储器存储指令使得:在第一操作模式下，当处理器执行指令时，处理器将输入单词短语翻译成第二语言以便输出至用户；并且在第二操作模式下:-客户端计算设备经由无线网络将有关由客户端计算设备接收的第一语言的输入单词短语的数据发送至后端语音翻译服务器系统；-后端语音翻译服务器系统基于经由无线网络从客户端计算设备接收的数据确定第一语言的输入单词短语的第二语言的翻译；并且-后端语音翻译系统经由无线网络发送有关第一语言的输入单词短语的第二语言的翻译的数据到客户端计算系统，使得客户端计算设备输出第一语言的输入单词短语的第二语言的翻译。客户端计算设备可具有允许用户在第一操作模式和第二操作模式之间切换的用户界面。客户端计算设备可以基于无线网络的连接状态自动选择使用第一操作模式或第二操作模式。可替换地，客户端计算设备可以基于客户端计算设备的用户的用户偏好设置自动选择使用第一操作模式或第二操作模式。在根据本专利技术的另一实施方式中，输入单词短语通过以下中的一个被输入至客户端计算:-由客户端计算设备的麦克风获取的输入语音话语；或者在客户端计算设备的用户界面上经由文本输入字段输入的文本。客户端计算设备可以经由扬声器能听见地输出翻译。在本专利技术的语音翻译系统中，在第一操作模式下，客户端计算设备可以将用于识别第一语言的语音话语并且将识别的语音话语翻译成第二语言以便经由客户端计算设备的扬声器输出的本地声音模型、本地语言模型、本地翻译模型和本地语音合成模型存储在存储器中。在第二操作模式下，后端语音翻译服务器系统可包括用于基于经由无线网络从客户端计算设备接收的数据确定第一语言的语音话语的第二语言的翻译的后端声音模型、后端语言模型、后端翻译模型和后端语音合成模型。优选地，本地声音模型可以不同于后端声音模型；本地语言模型可以不同于后端语言模型；本地翻译模型可以不同于后端翻译模型；并且本地语音合成模型可以不同于所述后端语音合成模型。此外，后端语音翻译服务器系统可以被编程为:随时间检测由客户端计算设备接收的用于从第一语言翻译成第二语言的语音话语，并且基于随时间监测的由客户端本文档来自技高网...
【技术保护点】
一种语音翻译系统，包括：后端语音翻译服务器系统；以及客户端计算设备，被配置为经由无线网络与所述后端语音翻译服务器系统通信，其中，所述客户端计算设备包括：麦克风；处理器，连接至所述麦克风；存储器，连接至所述处理器，存储由所述处理器执行的指令；以及扬声器，连接至所述处理器，其中：所述客户端计算设备用于经由所述扬声器输出输入单词短语从第一语言至第二语言的翻译；并且所述存储器存储指令使得：在第一操作模式下，当所述处理器执行所述指令时，所述处理器将所述输入单词短语翻译成所述第二语言以便输出至用户；并且在第二操作模式下：所述客户端计算设备经由所述无线网络将有关由所述客户端计算设备接收的所述第一语言的所述输入单词短语的数据发送至所述后端语音翻译服务器系统；所述后端语音翻译服务器系统基于经由所述无线网络从所述客户端计算设备接收的数据确定所述第一语言的所述输入单词短语的所述第二语言的翻译；并且所述后端语音翻译系统经由所述无线网络发送有关所述第一语言的所述输入单词短语的所述第二语言的翻译的数据到所述客户端计算设备，使得所述客户端计算设备输出所述第一语言的所述输入单词短语的所述第二语言的翻译；其中，所述客户端计算设备具有允许用户在所述第一操作模式和所述第二操作模式之间切换的用户界面和/或其中，所述客户端计算设备基于所述无线网络的连接状态或者基于所述客户端计算设备的所述用户的用户偏好设置自动选择使用所述第一操作模式或所述第二操作模式。...
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：娜奥米·奥基·魏贝尔，亚历山大·魏贝尔，克里斯蒂安·菲根，凯·罗特曼，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。