通话中翻译制造技术

本公开内容涉及用于实现至少在讲源语言的源用户与讲目标语言的目标用户之间的话音通话或视频通话的通信系统。对通话的通话音频执行翻译流程以生成用于输出到目标用户的采用目标语言的源用户的语音的音频翻译。向目标用户输出通知以通知目标用户翻译流程的行为的变化，该变化与翻译的生成有关。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
通信系统允许用户在通信网络上(例如经由在网络上进行通话)与彼此进行通信。网络可以例如为互联网或公共交换电话网络(PSTN)。在通话期间，音频和/或视频信号能够在网络的节点之间被传输，由此允许用户在通信网络上的通信会话中与彼此发送和接收音频数据(例如语音)和/或视频数据(例如网络摄像头视频)。这样的通信系统包括互联网协议话音或视频(VoIP)系统。为了使用VoIP系统，用户将客户端软件安装在用户设备上并且在用户设备上运行该客户端软件。客户端软件建立VoIP连接以及提供例如登记和用户认证的其他功能。除了语音通信，客户端还可以建立针对通信模式的连接，例如以向用户提供即时通讯(“IM”)、SMS通讯、文件传输和话音信箱服务。
技术实现思路
提供本
技术实现思路
从而以简化的形式介绍下面在具体实施方式中进一步描述的一系列构思。本
技术实现思路
不旨在标识要求保护的主题的关键特征或必要特征，也不旨在用于限制要求保护的主题的范围。根据第一方面，公开了一种在通信系统中执行的计算机实现的方法。该通信系统用于实现至少在讲源语言的源用户与讲目标语言的目标用户之间的话音通话或视频通话。接收通话的通话音频，通话音频包括采用源语言的源用户的语音。对通话音频执行翻译流程以生成用于输出到目标用户的采用目标语言的源用户的语音的音频翻译。信号通知翻译流程的行为的变化，该变化与翻译的生成有关，由此使得通知被输出到目标用户以通知目标用户该变化。根据第二方面，公开了一种用于在通信系统中使用的计算机系统。该通信系统用于实现至少在讲源语言的源用户与讲目标语言的目标用户之间的话音通话或视频通话。计算机系统包括对目标用户可用的一个或多个音频输出组件、翻译输出组件和通知输出组件。翻译输出组件被配置为经由音频输出组件将采用目标语言的源用户的语音的音频翻译输出到目标用户。通过对包括采用源语言的源用户的语音的通话的通话音频执行自动翻译流程来生成翻译。通知输出组件被配置为向目标用户输出通知以通知目标用户翻译流程的行为的变化，该变化与翻译的生成有关。根据第三方面，公开了一种计算机程序产品，其包括被存储在计算机可读存储介质上的计算机代码，该计算机代码被配置为当运行时实现本文中公开的方法或系统中的任何。附图说明为了更好地理解本主题并且示出可以如何实现本主题，现在仅将通过举例的方式对以下附图进行参考，在附图中：图1是通信系统的示意图图示；图2是用户设备的示意图框图；图3是服务器的示意图框图；图4A是示出了通信系统功能的功能框图；图4B是示出了图4A的组件中的一些的功能框图；图5是针对作为通话的部分的支持在用户之间的通信的方法的流程图；图6是针对操作翻译器化身以在客户端用户界面处被显示的方法的流程图；图7A至图7E示意性地图示了各种示例性情景中的翻译器化身行为。图8是基于通知的翻译系统的功能框图。具体实施方式现在将仅通过举例的方式来描述实施例。首先参考图1，图1图示了通信系统100，通信系统100在该实施例中是基于分组的通信系统，但是通信系统100在其他实施例中可以不是基于分组的。通信系统的第一用户102a(用户A或“Alice”)操作用户设备104a，用户设备104a被示出为连接到通信网络106。出于将变得显而易见的原因，第一用户(Alice)在下面也被称为“源用户”。通信网络106可以例如为互联网。用户设备104a被布置为从设备的用户102a接收信息并且将信息输出到设备的用户102a。用户设备104a运行由与通信系统100相关联的软件提供者提供的通信客户端118a。通信客户端118a是运行在用户设备104a的本地处理器上的软件程序，其允许用户设备104a在网络106上建立通信事件，例如音频通话、音频和视频通话(等同地被称为视频通话)、即时通讯通信会话、等等。图1还示出了第二用户102b(用户B或“Bob”)，第二用户102b具有用户设备104b，用户设备104b运行客户端118b以便以与用户设备104a运行客户端118a以在网络106上进行通信相同的方式在网络106上进行通信。因此，用户A和用户B(102a和102b)能够在通信网络106上与彼此进行通信。出于将同样变得显而易见的原因，第二用户(Bob)在下面也被称为“目标用户”。可以存在连接到通信网络106的更多的用户，但是为清楚起见，仅示出了连接到图1中的网络106的两个用户102a和102b。注意，在备选实施例中，用户设备104a和/或104b能够经由未示出在图1中的额外的中间网络连接到通信网络106。例如，例如，如果用户设备之一是特定类型的移动设备，则其可以经由(未示出在图1中的)蜂窝移动网络连接到通信网络106，例如GSM或UMTS网络。在Alice与Bob之间的通信事件能够以各种方式使用客户端118a、118b来建立。例如，能够通过Alice和Bob中的一个(直接地或间接地借助于例如服务器或控制器的中介网络实体)发起另一个接受的到另一个的通话邀请来建立通话，并且能够通过Alice和Bob中的一个选择在他们的客户端处结束通话来终止通话。备选地，如下面更详细地所解释的，通话能够通过请求系统100中的另一实体建立与作为参与者的Alice和Bob的通话来建立，通话为在Alice、Bob和该事件中的该实体之间的多方(具体为3路)通话。每个通信客户端实例118a、118b具有登录/认证设施，其例如通过用户在客户端处输入用户名(或传达该用户在系统100内的身份的其他适当的用户标识符)和密码，并且作为认证流程的部分针对存储在通信系统100的服务器(或类似物)处的用户账户数据进行验证，来将用户设备104a、104b与它们相应的用户102a、102b相关联。用户由此在通信系统100内由相关联的用户标识符(例如，用户名)唯一地标识，其中每个用户名被映射到针对该标识的用户的数据(例如，通话音频/视频)能够被发送到的(多个)相应的客户端实例。用户能够具有运行在其他设备上的与相同的登录/登记细节相关联的通信客户端实例。在具有特定用户名的相同的用户能够同时被登录到不同设备上的相同的客户端应用的多个实例的情况下，服务器(或类似物)被布置为将用户名(用户ID)映射到那些多个实例中的全部，而且将单独的子标识符(子ID)映射到每个特定个体实例。因此，通信系统能够在不同实例之间进行区分，同时仍然在通信系统内维持针对用户的一致身份。用户102a(Alice)在设备104a的客户端118a处被登录(认证)为“用户1”。用户102b(Bob)在设备104b的客户端118b处被登录(认证)为“用户2”。图2图示了通信客户端实例118(例如，118a、118b)运行在其上的用户设备104(例如，104a、104b)的详细视图。用户设备104包括用于存储数据的存储器(计算机存储)214连接到的形式为一个或多个中央处理单元(“CPU”)的至少一个处理器202、形式为具有例如显示屏幕的可用显示区域的显示器222(例如，222a、222b)的输出设备、小键盘(或键盘)218以及用于捕获视频数据(其是输入设备的示例)的相机216。显示器222可以包括用于将数据输入到处理器202的触摸屏，并且因此也构成用户设备104的输入设备。输出音频设备210(例如，本文档来自技高网...

【技术保护点】
一种在通信系统中执行的计算机实现的方法，所述通信系统用于实现至少在讲源语言的源用户与讲目标语言的目标用户之间的话音通话或视频通话，所述方法包括：接收所述通话的通话音频，所述通话音频包括采用所述源语言的所述源用户的语音；对所述通话音频执行翻译流程，以生成采用所述目标语言的所述源用户的语音的音频翻译，以用于输出到所述目标用户；以及信号通知所述翻译流程的行为的变化，所述变化与所述翻译的所述生成有关，并且由此使得通知被输出到所述目标用户以通知所述目标用户所述变化。

【技术特征摘要】
【国外来华专利技术】2014.05.27 US 62/003,400;2015.02.13 US 14/622,3111.一种在通信系统中执行的计算机实现的方法，所述通信系统用于实现至少在讲源语言的源用户与讲目标语言的目标用户之间的话音通话或视频通话，所述方法包括：接收所述通话的通话音频，所述通话音频包括采用所述源语言的所述源用户的语音；对所述通话音频执行翻译流程，以生成采用所述目标语言的所述源用户的语音的音频翻译，以用于输出到所述目标用户；以及信号通知所述翻译流程的行为的变化，所述变化与所述翻译的所述生成有关，并且由此使得通知被输出到所述目标用户以通知所述目标用户所述变化。2.根据权利要求1所述的方法，其中所述行为的所述变化是以下之一：所述翻译流程进入倾听状态，在所述倾听状态中所述翻译流程当前在由所述源用户的语音不活动的当前间隔期间等待由所述源用户的未来语音活动；所述翻译流程响应于所述源用户开始语音活动的时间段而进入被动翻译状态，在所述被动翻译状态中所述翻译流程正在监视所述通话音频中的由所述源用户的当前语音活动；所述翻译流程响应于所述源用户完成语音活动的间隔而进入主动翻译状态，在所述主动翻译状态中所述翻译流程当前正在生成在所述间隔中的所述源用户的语音的音频翻译，所述音频翻译当所述生成完成时要被输出；所述翻译流程响应于所述翻译流程完成在源用户语音活动的之前的间隔期间的所述源用户的语音的音频翻译的生成而进入输出状态，在所述输出状态中生成的所述音频翻译当前正在通过所述翻译流程被输出，以用于输出到所述目标用户；所述翻译流程响应于所述流程在生成所述翻译中遇到错误而进入错误状态。3.根据前述权利要求中的任一项所述的方法，其中翻译的所述音频当其被生成时经由通信网络被发送到所述目标用户的目标设备，以用于当翻译的所述音频被接收到时经由所述设备的一个或多个音频输出组件输出。4.根据前述权利要求中的任一项所述的方法，包括根据所述行为的信号通知的所述变化来生成合成视频，所述合成视频用于在所述目标用户的目标用户设备处显示并且实施所述通知。5.根据权利要求4所述的方法，其中所述合成视频具有执行视觉动作的动画化身，所述通知由所述化身实施为视觉动作。6.根据前述权利要求中的任一项所述的方法，其中所述通知包括用于在所述目标用户的目标用户设备处显示的视觉通知，和/或用于在所述目标用户设备处播出的音频通知，和/或通过致动所述目标用户设备的机械组件被输出的触觉通知。7.一种计算机程序产品，包括存储在计算机可读存储装置上的计算机代码，所述计算机代码当被运行在处理器上时引起以下操作：建立至少在讲源语言的源用户与讲目标语言的目标用户之间的话音通话或视频通话；将采用所...

【专利技术属性】
技术研发人员：A·奥伊，A·A·米恩泽斯，J·N·林布洛姆，F·弗雷斯杰，P·P·N·格雷博里奥，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US