在语音识别仲裁中使用的神经网络制造技术

一种在客户端设备处执行语音仲裁的系统和方法，该客户端设备包括神经网络语音仲裁应用，其中该神经网络语音仲裁应用被配置为实现神经网络语音仲裁过程，并且其中该方法包括：在客户端设备处接收语音信号；生成和/或获得要在语音仲裁神经网络过程中使用的成组的输入，其中语音仲裁神经网络过程使用适合于语音仲裁并且可以用于确定是否和/或在何种程度上应该在客户端设备处进行所接收到的语音信号的语音识别处理的神经网络模型；接收语音仲裁输出，该语音仲裁输出指示在客户端设备或远程服务器处是否和/或在何种程度上执行所接收到的语音信号的语音识别处理。

Neural Network Used in Speech Recognition Arbitration

A system and method for executing voice arbitration at a client device, which includes a neural network voice arbitration application, wherein the neural network voice arbitration application is configured to implement a neural network voice arbitration process, and the method includes: receiving voice signals at a client device; generating and/or obtaining voice signals to be used in the voice arbitration neural network process. Group input, in which the speech arbitration neural network process uses a neural network model suitable for speech arbitration and can be used to determine whether and/or to what extent speech recognition processing of the received speech signal should be performed at the client device; receives the speech arbitration output indicating whether and at the client device or the remote server./ Or to what extent the speech recognition processing of the received speech signal is performed.

【技术实现步骤摘要】
在语音识别仲裁中使用的神经网络引言本专利技术涉及语音仲裁，并且更具体地涉及使用神经网络模型来确定是否和/或在何种程度上在客户端处使用第一自动语音识别(ASR)系统以及在服务器端处使用第二ASR系统来实现语音仲裁过程。可以使用自动语音识别(ASR)在车辆或其他客户端语音识别设备处控制或获得各种车辆功能。例如，车辆包括能够从车辆乘员接收语音、处理该语音以理解语音内容，然后基于语音内容执行某些动作的硬件和软件。车辆或其他客户端设备可以使用硬件和软件仅在车辆处处理所接收到的语音。或者，车辆可以将接收到的语音作为分组数据发送到发生语音识别处理的远程设施。然后，远程设施可以通过语音识别分析来响应车辆。在每个位置处执行语音识别具有其优点，并且当将语音发送到远程设施而不是在车辆处执行语音识别更有利时识别条件将是有帮助的。
技术实现思路
根据本专利技术的一个方面，提供了一种在客户端设备处执行语音仲裁的方法，该客户端设备包括神经网络语音仲裁应用，其中该神经网络语音仲裁应用被配置为实现神经网络语音仲裁过程，并且其中该方法包括：在客户端设备处接收语音信号；生成和/或获得要在语音仲裁神经网络过程中使用的成组的输入，其中语音仲裁神经网络过程使用适合于语音仲裁并且可以用于确定是否和/或在何种程度上应该在客户端设备或远程服务器上进行所接收到的语音信号的语音识别处理的神经网络模型；以及接收语音仲裁输出，该语音仲裁输出指示在客户端设备或远程服务器处是否和/或在何种程度上执行所接收到的语音信号的语音识别处理。根据各种实施例，该方法还可包括以下特征中或这些特征的任何技术上可行的组合中的任何一个：·该组输入包括基于接收来自语音仲裁神经网络过程的一个或多个先前迭代的反馈而生成的条件输入；·该组输入还包括连接质量度量，该连接质量度量指示客户端设备与远程服务器之间的服务质量和/或连接质量；·该组输入还包括基于所接收到的语音信号生成并指示与客户端设备成功识别在所接收到的语音信号中传送的口头语言的能力有关的置信度水平的置信度分数；·该组输入还包括发动机偏置度量，该发动机偏置度量用于偏置语音仲裁神经网络过程，使得客户端设备或远程服务器更可能用于所接收到的语音信号的语音识别处理；·语音仲裁神经网络过程基于深度神经网络模型，该模型包括多个用于将该组输入映射到语音仲裁输出的隐藏的神经网络层；·语音仲裁神经网络过程最初使用语音识别输出进行训练，该语音识别输出作为基于规则的语音仲裁过程的结果而获得；和/或·语音仲裁神经网络过程使用语音仲裁输出来训练语音仲裁神经网络过程，以便改进神经网络语音仲裁过程以用于将来的迭代。根据本专利技术的另一方面，提供了一种在客户端设备处执行语音仲裁的方法，该客户端设备包括神经网络语音仲裁应用，该方法包括：使用作为基于规则的语音仲裁过程的结果而获得的训练数据来训练神经网络语音仲裁应用；在客户端设备处执行神经网络语音仲裁应用的迭代，以便执行语音仲裁，其中神经网络语音仲裁应用使用人工神经网络模型来解析对语音仲裁输出的成组的输入，并且其中语音仲裁输出指示在包括自动语音识别(ASR)系统的远程服务器处是否和/或在何种程度上对接收到的语音进行语音识别处理；并且基于神经网络语音仲裁应用的先前迭代，调整神经网络语音仲裁应用。根据各种实施例，该方法还可包括以下特征中或这些特征的任何技术上可行的组合中的任何一个：·该组输入包括置信度分数、连接质量度量、发动机偏置度量和条件输入，并且其中条件输入基于神经网络语音仲裁应用的先前迭代；·条件输入至少部分地基于作为神经网络语音仲裁应用的先前迭代的一部分使用或获得的语音仲裁输入和输出；·调整步骤还包括基于成组的输入、语音仲裁输出和神经网络语音仲裁应用的测量成功来调整神经网络语音仲裁应用；·客户端设备基于一个或多个性能指标来自动确定神经网络语音仲裁过程的测量成功；·训练步骤还包括使用作为基于规则的语音仲裁处理的结果而获得的训练数据来对神经网络语音仲裁应用执行监督训练；·在安装神经网络语音仲裁应用并将其配置为在客户端设备中使用之前执行训练步骤；和/或·通过从位于远程的服务器在客户端设备接收信息来偶尔更新网络语音仲裁应用。根据本专利技术的又一方面，提供了一种在客户端设备处执行语音仲裁的方法，该客户端设备包括神经网络语音仲裁应用，其中该方法由包括第一自动语音识别(ASR)系统的车辆执行，并且其中该方法包括：使用训练数据来训练神经网络语音仲裁应用；在客户端设备处执行神经网络语音仲裁应用的多次迭代，以便执行语音仲裁，其中多次迭代的每次迭代包括：(i)在车辆处接收语音信号；(ii)生成和/或获得用于语音仲裁神经网络过程的成组的输入；以及(iii)接收语音仲裁输出，该语音仲裁输出指示在车辆上或在包括第二ASR系统的远程服务器上是否和/或在何种程度上执行所接收到的语音信号的语音识别处理；并且基于神经网络语音仲裁应用的多次迭代来调整神经网络语音仲裁应用。根据各种实施例，该方法还可包括以下特征中或这些特征的任何技术上可行的组合中的任何一个：·该组输入包括置信度分数、连接质量度量、发动机偏置度量和条件输入，其中条件输入基于神经网络语音仲裁应用的先前迭代；·训练数据作为基于规则的语音仲裁过程的结果而获得；和/或训练步骤还包括使用作为基于规则的语音仲裁过程的结果而获得的训练数据对神经网络语音仲裁应用执行监督训练，并且其中训练步骤在神经网络语音仲裁应用安装好并配置为在客户端设备中使用之前执行。附图说明在下文中将结合附图来描述本专利技术的一个或多个实施例，其中相同的标号表示相同的元件，并且其中：图1是描绘能够利用本文公开的方法的通信系统的实施例的框图；图2是描绘自动语音识别(ASR)系统的实施例的框图；图3是在客户端设备处执行语音仲裁的方法的实施例的流程图，该客户端设备包括神经网络语音仲裁应用；以及图4是描绘可以在神经网络语音仲裁过程或应用中使用的神经网络模型的实施例的框图。具体实施方式下面描述的系统和方法涉及在客户端设备处接收语音并根据神经网络模型执行语音仲裁以确定是否在客户端设备或远程语音处理服务器处执行语音识别。例如，包括在客户端设备中或位于客户端设备处的设备可以被配置为根据特定的神经网络模型进行操作，该特定的神经网络模型被定制为执行语音仲裁，以便确定所接收到的语音的语音处理是否和/或在何种程度上应该使用“车载”或“客户端”语音处理系统在客户端设备处执行，或者是否和/或在何种程度上应该在远程语音处理服务器上执行所接收语音的语音处理，比如，可以通过互连网络(例如，互联网)访问的那些。如本文所使用的，“语音仲裁”是指确定是否和/或在何种程度上在客户端设备处还是在远程语音处理设施处执行语音处理。如本文所使用的，“神经网络模型”指的是人工神经网络，该人工神经网络包括使用至少一个隐藏层将包括各种因素(或输入)的输入映射到输出，该隐藏层将变化的输入值和/或条件互连或映射到输出。下面的方法和系统实现用于语音仲裁的神经网络模型。在许多实施例中，可以获得各种因素并将其输入到专门定制的语音仲裁神经网络模型中，以便确定是否和/或在何种程度上应该在客户端设备处或在远程语音处理服务器处执行所接收到的语音的语音处理。在一个实施例中，客户端设备可以使用麦克风来接收语音。此后，客户端设本文档来自技高网...

【技术保护点】
1.一种在客户端设备处执行语音仲裁的方法，所述客户端设备包括神经网络语音仲裁应用，其中所述神经网络语音仲裁应用被配置为实现神经网络语音仲裁过程，并且其中所述方法包括：在客户端设备处接收语音信号；生成和/或获得要在语音仲裁神经网络过程中使用的成组的输入，其中所述语音仲裁神经网络过程使用适合于语音仲裁并且可以用于确定是否和/或在何种程度上应该在所述客户端设备或远程服务器上进行所接收到的语音信号的语音识别处理的神经网络模型；以及接收语音仲裁输出，所述语音仲裁输出指示在所述客户端设备或所述远程服务器处是否和/或在何种程度上执行所述所接收到的语音信号的所述语音识别处理。

【技术特征摘要】
2017.11.13 US 15/8110221.一种在客户端设备处执行语音仲裁的方法，所述客户端设备包括神经网络语音仲裁应用，其中所述神经网络语音仲裁应用被配置为实现神经网络语音仲裁过程，并且其中所述方法包括：在客户端设备处接收语音信号；生成和/或获得要在语音仲裁神经网络过程中使用的成组的输入，其中所述语音仲裁神经网络过程使用适合于语音仲裁并且可以用于确定是否和/或在何种程度上应该在所述客户端设备或远程服务器上进行所接收到的语音信号的语音识别处理的神经网络模型；以及接收语音仲裁输出，所述语音仲裁输出指示在所述客户端设备或所述远程服务器处是否和/或在何种程度上执行所述所接收到的语音信号的所述语音识别处理。2.如权利要求1所述的方法，其中所述成组的输入包括基于接收来自所述语音仲裁神经网络过程的一个或多个先前迭代的反馈而生成的条件输入。3.如权利要求2所述的方法，其中所述成组的输入还包括连接质量度量，所述连接质量度量指示所述客户端设备与所述远程服务器之间的服务质量和/或连接质量。4.如权利要求3所述的方法，其中所述成组的输入还包括基于所述所接收到的语音信号生成并指示与所述客户端设备的成功识别在所述所接收到的语音信号中传送的口头语言的能力有关的置信度水平的置信度分数。5.如权利要求4所述的方法，其中所述成组的输入还包括发动机偏置度量，所述发动机偏置度量用于偏置所述语音仲裁神经网络过程，使得所述客户端设备或所述远程服务器更可能用于所述所接收到的语音信号的所述语音识别处理。6.如权利要求1所述的方法，其中所述语音仲裁神经网络过程基于深度神经网络模型，所述深度神经网络模型包括多个用于将所述成组的输入映射到所述语音仲裁输出的隐...

【专利技术属性】
技术研发人员：X·F·赵，G·塔瓦尔，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US