语音翻译方法及系统技术方案

本申请实施例提供一种语音翻译方法及系统。语音翻译方法包括：捕获第一用户的脸部图像；根据脸部图像与各人种之间的匹配度，确定候选人种；根据候选人种使用的语种，设置输入语种为第一语种；将第一用户以第一语种输入的语音信号，翻译为第二语种的内容，第二语种为输出语种。本申请实施例可以自动设置输入语种，有利于提高语音翻译的效率。

Speech translation method and system

The embodiment of the invention provides a method and a system for speech translation. Including speech translation methods: facial image capture of the first user; according to the matching degree between the facial image with various races, determine the candidate race; according to the candidate race using language, language is the first language input set; the first user to first language input speech signal, translated into second languages, second languages for output language. The embodiment of the invention can automatically set the input language, which is beneficial to improve the efficiency of the speech translation.

【技术实现步骤摘要】

本申请涉及互联网
，尤其涉及一种语音翻译方法及系统。
技术介绍
近年来随着语音处理和自然语言处理的发展，出现了语音翻译技术。在不同语种的交流中，语音翻译技术可以将一语种的语音信号翻译成另一语种的语音信号。在语音翻译过程中，需要明确输入使用的语种和输出使用的语种，以便于进行语音翻译。但是，不同用户进行输入使用的语种可能不同，故需要输入用户手动设置进行语音输入使用的语种，以便于进行语音翻译。这种语音翻译的效率较低。
技术实现思路
本申请的多个方面提供一种语音翻译方法及系统，用以提高语音翻译效率。本申请实施例提供一种语音翻译方法，包括：捕获第一用户的脸部图像；根据所述脸部图像与各人种之间的匹配度，确定候选人种；根据所述候选人种使用的语种，设置输入语种为第一语种；将所述第一用户以所述第一语种输入的语音信号，翻译为第二语种的内容，所述第二语种为输出语种。在一可选实施方式中，所述根据所述脸部图像与各人种之间的匹配度，确定候选人种，包括：从所述脸部图像中，提取多个脸部特征；根据所述多个脸部特征与各人种脸部特征之间的相似度，获得所述脸部图像与各人种之间的匹配度。在一可选实施方式中，所述根据所述候选人种使用的语种，设置输入语种为第一语种，包括：按照与所述脸部图像的匹配度由高到低的顺序，顺序展示所述候选人种使用的语种；响应于所述第一用户选择语种的操作，确定所述候选人种使用的语种中被选择的语种作为所述第一语种；设置所述输入语种为所述第一语种。在一可选实施方式中，所述将所述第一用户以所述第一语种输入的语音信号，翻译为第二语种的内容，包括：将所述第一用户以所述第一语种输入的语音信号，识别为所述第一语种的文本信号；将所述第一语种的文本信号上传至服务端，以供所述服务端将所述第一语种的文本信号翻译为所述第二语种的文本信号；接收所述服务端返回的所述第二语种的文本信号，并将所述第二语种的文本信号，语音合成为所述第二语种的语音信号。在一可选实施方式中，所述将所述第一用户以所述第一语种输入的语音信号，识别为所述第一语种的文本信号之前，还包括：在语音输入界面上，展示语音输入图标；响应于所述第一用户对所述语音输入图标的点击操作，启动语音识别功能。在一可选实施方式中，所述方法还包括：向第二用户的客户端发送通知消息，以指示所述第二用户的客户端将其输出语种设置为所述第一语种；所述第二用户是所述第一用户的互动用户。在一可选实施方式中，所述方法还包括：所述第二用户的客户端根据所述通知消息，设置其输出语种为所述第一语种，并将所述第二用户以所述第二语种输入的语音信号，翻译为所述第一语种的内容。在一可选实施方式中，所述第二用户的客户端将所述第二用户以所述第二语种输入的语音信号，翻译为所述第一语种的内容，包括：所述第二用户的客户端将所述第二用户以所述第二语种输入的语音信号，识别为所述第二语种的文本信号；所述第二用户的客户端将所述第二语种的文本信号上传至服务端，以供所述服务端将所述第二语种的文本信号翻译为所述第一语种的文本信号；所述第二用户的客户端接收所述服务端返回的所述第一语种的文本信号，并将所述第一语种的文本信号，语音合成为所述第一语种的语音信号。本申请实施例还提供一种语音翻译系统，包括：第一用户的客户端以及服务端；所述第一用户的客户端，用于捕获第一用户的脸部图像；根据所述脸部图像与各人种之间的匹配度，确定候选人种，根据所述候选人种使用的语种，设置输入语种为第一语种；将所述第一用户以所述第一语种输入的语音信号的相关信息上传至所述服务端，并根据所述服务端返回的翻译结果，输出第二语种的内容，所述第二语种为所述第一用户的客户端的输出语种；所述服务端，用于翻译所述第一用户以所述第一语种输入的语音信号的相关信息，并将所述翻译结果返回给所述第一用户的客户端。在一可选实施方式中，所述系统还包括：第二用户的客户端；所述第一用户的客户端还用于：向所述第二用户的客户端发送通知消息，以指示所述第二用户的客户端将其输出语种设置为所述第一语种；所述第二用户的客户端，用于根据所述通知消息，设置其输出语种为所述第一语种，并将第二用户以所述第二语种输入的语音信号，翻译为所述第一语种的内容；所述第二用户是所述第一用户的互动用户。在本申请实施例中，通过捕获用户的脸部图像，根据捕获到的脸部图像与各人种之间的匹配度，确定候选人种，根据候选人种使用的语种，设置输入语种为第一语种，进而将用户以第一语种输入的语音信号，翻译为第二语种的内容，完成语音翻译。在本申请实施例的语音翻译过程中，无需用户手动设置输入语种，可基于用户的脸部图像自动设置输入语种，输入语种的设置效率较高，进而有利于提高语音翻译效率。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请一实施例提供的语音翻译方法的流程示意图；图2为本申请另一实施例提供的语音翻译方法的流程示意图；图3为本申请又一实施例提供的语音翻译方法的流程示意图；图4为本申请又一实施例提供的语音翻译系统的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为本申请一实施例提供的语音翻译方法的流程示意图。如图1所示，所述方法包括：101、捕获第一用户的脸部图像。102、根据所述脸部图像与各人种之间的匹配度，确定候选人种。103、根据所述候选人种使用的语种，设置输入语种为第一语种。104、将第一用户以第一语种输入的语音信号，翻译为第二语种的内容，所述第二语种为输出语种。在一些应用场景中，第一用户需要与其它用户(例如第二用户)进行互动。第一用户与第二用户可能使用不同的语种，故需要将第一用户的语音信号转换为第二用户可以理解的内容。第一用户的客户端需要将第一用户输入的语音信号翻译为第二用户能够理解的内容。其中，第一用户的客户端可运行于第一用户的终端设备上，具有语音翻译功能。第一用户的客户端对第一用户的语音信号进行翻译的过程如下：参见步骤101，第一用户的客户端捕获第一用户的脸部图像。可选的，第一用户的客户端可调用第一用户的终端设备上的拍摄模块(例如相机系统)侦测第一用户的脸部，当侦测到满足预设条件的脸部区域时，对侦测到的脸部区域进行静态拍摄或动态截图，以获得第一用户的脸部图像。根据应用场景的不同，上述预设条件可能有所不同。例如，当侦测到第一用户的脸部占据镜头面积的百分比达到设定百分比时，对占据镜头的脸部区域进行静态拍摄或动态截图，以获得第一用户的脸部图像。继续参见步骤102，第一用户的客户端根据第一用户的脸部图像与各人种之间的匹配度，确定候选人种。其中，候选人种是指第一用户可能属于的人种，例如可能是美国、日本、中国等。候选人种可以是一个或多个。在一可选实施方式中，可以预先存储各人种的脸部特征。基于此，确定候选人种的步骤，可以为：从第一用户的脸部图像中，提取多个脸部特征；根据所提取的多个本文档来自技高网...

【技术保护点】
一种语音翻译方法，其特征在于，包括：捕获第一用户的脸部图像；根据所述脸部图像与各人种之间的匹配度，确定候选人种；根据所述候选人种使用的语种，设置输入语种为第一语种；将所述第一用户以所述第一语种输入的语音信号，翻译为第二语种的内容，所述第二语种为输出语种。

【技术特征摘要】
1.一种语音翻译方法，其特征在于，包括：捕获第一用户的脸部图像；根据所述脸部图像与各人种之间的匹配度，确定候选人种；根据所述候选人种使用的语种，设置输入语种为第一语种；将所述第一用户以所述第一语种输入的语音信号，翻译为第二语种的内容，所述第二语种为输出语种。2.根据权利要求1所述的方法，其特征在于，所述根据所述脸部图像与各人种之间的匹配度，确定候选人种，包括：从所述脸部图像中，提取多个脸部特征；根据所述多个脸部特征与各人种脸部特征之间的相似度，获得所述脸部图像与各人种之间的匹配度。3.根据权利要求1所述的方法，其特征在于，所述根据所述候选人种使用的语种，设置输入语种为第一语种，包括：按照与所述脸部图像的匹配度由高到低的顺序，顺序展示所述候选人种使用的语种；响应于所述第一用户选择语种的操作，确定所述候选人种使用的语种中被选择的语种作为所述第一语种；设置所述输入语种为所述第一语种。4.根据权利要求1所述的方法，其特征在于，所述将所述第一用户以所述第一语种输入的语音信号，翻译为第二语种的内容，包括：将所述第一用户以所述第一语种输入的语音信号，识别为所述第一语种的文本信号；将所述第一语种的文本信号上传至服务端，以供所述服务端将所述第一语种的文本信号翻译为所述第二语种的文本信号；接收所述服务端返回的所述第二语种的文本信号，并将所述第二语种的文本信号，语音合成为所述第二语种的语音信号。5.根据权利要求4所述的方法，其特征在于，所述将所述第一用户以所述第一语种输入的语音信号，识别为所述第一语种的文本信号之前，还包括：在语音输入界面上，展示语音输入图标；响应于所述第一用户对所述语音输入图标的点击操作，启动语音识别功能。6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：向第二用户的客户端发送通知消息，以指示所述第二用户的客户端将其输出语种设置为所述第一语种；所述第...

【专利技术属性】
技术研发人员：蒋化冰，马晨星，张俊杰，谭舟，王振超，梁兰，徐志强，严婷，郦莉，
申请(专利权)人：上海木爷机器人技术有限公司，
类型：发明
国别省市：上海;31