热词组制造技术

技术编号:38927669 阅读:22 留言:0更新日期:2023-09-25 09:34
本发明专利技术涉及一种方法(600),包括第一助理启用设备(AED)(104)接收将热词组(50g)分配给包括第一AED和一个或多个其他AED的AED的选定组对分配指令。每个AED被配置为当热词组在流式音频中被至少一个AED检测到时,从低功耗状态唤醒。该方法还包括接收对应于由用户(102)说出的话语的音频数据(20)和包括指定要执行的操作的查询(128)。响应于在音频数据中检测到热词组,该方法还包括触发第一AED从低功耗状态唤醒并且执行协作例程(150)以使得AED的选定组中的第一AED和每个其他AED相互协作,以完成由查询指定的操作的执行。完成由查询指定的操作的执行。完成由查询指定的操作的执行。

【技术实现步骤摘要】
【国外来华专利技术】热词组


[0001]本公开涉及热词组。

技术介绍

[0002]支持语音的环境(例如,家庭、工作场所、学校、汽车等)允许用户对基于计算机的系统大声说出查询或命令,该系统处理并回答查询和/或基于命令执行功能。可以使用分布在环境的各种房间或区域的连接的麦克风设备的网络来实施支持语音的环境。这些设备可以使用热词来帮助识别什么时候给定的话语是针对系统的,而不是针对环境中存在的另一个人的话语。因此,仅当被检测的话语包含热词时,设备可以在睡眠状态或休眠状态下操作并唤醒。一旦唤醒,设备可以继续执行更昂贵的处理,如完全设备上的自动语音识别(ASR)或基于服务器的ASR。

技术实现思路

[0003]本公开的一个方面提供了一个方法,用于将一个热词组启用并分配给两个或更多个助理启用设备的选定组。所述方法包括在第一助理启用设备(AED)的数据处理硬件处,接收将热词组分配给与用户相关联的AED的选定组的分配指令。所述AED的选定组包括所述第一AED和一个或多个其他AED。所述AED的选定组中的每个AED被配置为当所述热词组在流式音频中被所述AED的选定组中的至少一个所述AED检测到时,从低功耗状态唤醒。所述方法还包括在所述数据处理硬件处接收与所述用户说出的语音相对应的音频数据,所述音频数据包括指定要执行的操作的查询。响应于在所述音频数据中检测到所述热词组,所述方法包括由所述数据处理硬件触发所述第一AED从所述低功耗状态唤醒。所述方法还包括由所述数据处理硬件执行协作例程,以使所述AED的选定组中的所述第一AED和每个其他AED相互协作,从而完成由所述查询指定的所述操作的执行。
[0004]本公开的实施方式可以包括所述下列可选特征中的一个或多个。在一些实施方式中,所述方法还包括由所述数据处理硬件执行领导选举过程,以基于与所述AED的选定组中的每个AED相关联的相应的设备属性,从所述AED的选定组选举出一个或多个AED,以代表所述AED的选定组在所述流式音频中侦听所述热词组的存在。这里,所述AED的选定组中的至少所述第一AED通过所述领导选举过程被选择,以在所述流式音频中侦听所述热词组的存在。在这些实施方式中,所述方法可以还包括响应于以下中的至少一个,由所述数据处理硬件重新执行所述领导选举过程:对被分配所述热词组的所述AED的选定组的更新,添加一个或多个额外的AED到所述AED的选定组和/或从所述AED的选定组中删除一个或多个所述AED;或在所述AED的选定组中的一个所述AED处,发生设备状态变化。可选地,与所述AED的选定组中的每个AED相关联的所述相应的设备属性可以包括处理能力、设备类型、用户可配置的设备设置、用电量、电池电量、所述AED的物理位置或网络功能中的至少一个。
[0005]响应于在所述音频数据中检测到所述热词组,所述方法可以进一步包括由所述数据处理硬件调用所述AED的选定组中没有在所述音频数据中检测到所述热词组的每个其他
AED,以从所述低功耗状态唤醒,并与所述AED的选定组中的所有所述AED协作,以完成由所述查询所指定的所述操作的执行。在一些实施方式中,响应于在所述音频数据中检测到所述热词组,所述方法进一步包括由所述数据处理硬件通过访问热词注册表,识别被分配所述热词组的所述AED的选定组中所述一个或多个其他AED中的每一个。所述热词注册表包含一个或多个热词的列表,每个热词分配给与所述用户(或用户组)相关联的一个或多个AED,并且所述一个或多个热词的所述列表包括所述热词组。在这些实施方式中,调用所述AED的选定组中的每个其他AED是基于通过访问所述热词注册表所识别的被分配所述热词组的所述一个或多个其他AED中的每一个AED。在一些示例中,所述热词注册表存储在以下中的至少一个:所述第一AED,与所述用户相关联的至少一个其他AED,或者与所述第一AED通信的服务器。
[0006]可选地,接收将所述热词组分配到所述AED的选定组的所述分配指令可以包括:接收来自所述用户的请求数字助理的语音输入,以启用所述热词组并且将所述热词组分配给所述AED的选定组,指示语音识别器对所述音频数据进行语音识别,以生成用于所述语音输入的自动语音识别(ASR)结果,并且对用于所述语音输入的所述ASR结果执行查询解释以识别热词组查询,所述热词组查询指定了要启用的所述热词组以及要被分配所述热词组的所述AED的选定组中的每个AED的名称。在一些实施方式中,接收将所述热词组分配给所述AED的选定组的所述分配指令包括:接收用户输入指示,所述用户输入指示指示与图形用户界面中显示的一个或多个对象的用户交互,以指令数字助理启用所述热词组,并且选择要被分配所述热词组的所述AED组。
[0007]所述方法可以进一步包括,在所述数据处理硬件处接收先前音频数据,所述先前音频数据由所述用户所说、并且对应于数字助理对与所述用户相关联的两个或更多个AED执行长期动作的命令。所述数字助理被配置为自动创建所述热词组,用于与所述长期动作相关的后续查询。这里,接收将所述热词组分配给所述AED的选定组的所述分配指令包括:接收由所述数字助理自动创建的所述热词组。被分配所述热词组的所述AED的选定组包括执行长期动作的所述两个或更多个AED。在一些实施方式中,所述方法进一步包括,由所述数据处理硬件,为来自所述第一AED的可听播放,输出与来自所述数字助理的响应相对应的合成语音,以指示正在执行所述长期动作,以及所述自动创建的热词组用于与所述长期动作相关的后续查询。在这些实施方式中,所述数字助理在所述长期动作结束时撤销对所述自动创建的热词组的使用。在一些示例中,在所述AED的选定组中的每个AED与相同的设备类型相关联或共享通用属性,分配给所述AED的选定组的所述热词组包括含蓄的热词,所述含蓄的热词唯一地标识与所述AED的选定组相关联的所述设备类型或所述通用属性,并且所述热词检测模型被预训练,以检测在流式音频中所述热词组的存在,而不用对所述音频数据执行语音识别。
[0008]在一些实施方式中,分配给所述AED的选定组的所述热词组包括基于接近度的热词,所述基于接近度的热词仅寻址所述AED的选定组中当前最接近所述用户的一个或多个AED的子集,而不明确地识别在所述一个或多个AED的所述子集中的任意特定AED。所述所述热词检测模型被预训练,以检测在流式音频中所述热词组的存在,而不用对所述音频数据执行语音识别,并且执行所述协作例程使所述AED的选定组中的所述第一AED和每个其他AED分别确定相对于所述用户的相应的接近值,并且在所述AED的选定组中使用所述相应的
接近值执行仲裁,以选举所述一个或多个AED的所述子集来完成所述查询指定的所述操作的执行。可选地,所述热词组可以包括下列之一:由所述用户创建的自定义热词或从一个或多个可用热词组的列表中选择的预定义热词。在执行所述协作例程期间,在所述AED的选定组中的所述第一AED和每个其他AED通过在所述AED的选定组中指定一个所述AED执行以下内容来相互协作:生成用于所述音频数据的语音识别结果;对所述语音识别结果执行查询解释,以确定所述语音识别结本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法(600),其特征在于,包括:在第一助理启用设备(AED)(104)的数据处理硬件(10)处,接收将热词组(50g)分配给与用户(102)相关联的AED(104)的选定组的分配指令,所述AED(104)的选定组包括所述第一AED(104)和一个或多个其他AED(104),在所述AED(104)的选定组中的每个AED(104)被配置为当所述热词组(50g)在流式音频中被所述AED(104)的选定组中的至少一个所述AED(104)检测到时,从低功耗状态唤醒;在所述数据处理硬件(10)处,接收与所述用户(102)说出的话语(106)相对应的音频数据(20),所述音频数据(20)包括指定要执行的操作的查询(128);由所述数据处理硬件(10)使用热词检测模型(114),在所述音频数据(20)中检测所述热词组(50g);以及响应于在所述音频数据(20)中检测到所述热词组(50g):由所述数据处理硬件(10)触发所述第一AED(104)从所述低功耗状态唤醒;以及由所述数据处理硬件(10)执行协作例程(150),以使所述AED(104)的选定组中的所述第一AED(104)和每个其他AED(104)相互协作,从而完成由所述查询(128)指定的所述操作的执行。2.根据权利要求1所述的方法(600),其特征在于,在接收所述分配指令之后,进一步包括:由所述数据处理硬件(10)执行领导选举过程(300),以基于与所述AED(104)的选定组中的每个AED(104)相关联的相应的设备属性(302),从所述AED(104)的选定组中选举出一个或多个AED(104),以代表所述AED(104)的选定组在所述流式音频中侦听所述热词组(50g)的存在,其中,所述AED(104)的选定组中的至少所述第一AED(104)通过所述领导选举过程(300)被选举,以在所述流式音频中侦听所述热词组(50g)的存在。3.根据权利要求2所述的方法(600),其特征在于,进一步包括,响应于以下中的至少一个,由所述数据处理硬件(10)重新执行所述领导选举过程(300):对被分配所述热词组(50g)的所述AED(104)的选定组的更新,添加一个或多个额外的AED(104)到所述AED(104)的选定组和/或从所述AED(104)的选定组中删除一个或多个所述AED(104);或在所述AED(104)的选定组中的一个所述AED(104)处,发生设备状态变化(304)。4.根据权利要求2或3所述的方法(600),其特征在于,与所述AED(104)的选定组中的每个AED(104)相关联的所述相应的设备属性(302)包括处理能力、设备类型、用户可配置的设备设置、用电量、电池电量、所述AED(104)的物理位置、或网络能力中的至少一个。5.根据权利要求1

4中任一项所述的方法(600),其特征在于,进一步包括,响应于在所述音频数据(20)中检测到所述热词组(50g),由所述数据处理硬件(10)调用所述AED(104)的选定组中没有在所述音频数据(20)中检测到所述热词组(50g)的每个其他AED(104),以从所述低功耗状态唤醒,并与所述AED(104)的选定组中的所有所述AED(104)协作,以完成由所述查询(128)指定的所述操作的执行。6.根据权利要求5所述的方法(600),其特征在于,响应于在所述音频数据(20)中检测到所述热词组(50g),进一步包括:
由所述数据处理硬件(10)通过访问热词注册表(500),识别被分配所述热词组(50g)的所述AED(104)的选定组中所述一个或多个其他AED(104)中的每一个AED(104),所述热词注册表(500)包含一个或多个热词(50)的列表,每个热词被分配给与所述用户(102)相关联的一个或多个AED(104),所述一个或多个热词(50)的所述列表包括所述热词组(50g),其中,调用所述AED(104)的选定组中的每个其他AED(104)是基于通过访问所述热词注册表(500)所识别的被分配所述热词组(50g)的所述一个或多个其他AED(104)中的每一个AED(104)。7.根据权利要求6所述的方法(600),其特征在于,所述热词注册表(500)存储在以下中的至少一个:所述第一AED(104);与所述用户(102)相关联的至少一个其他AED(104);或与所述第一AED(104)通信的服务器(120)。8.根据权利要求1

7中任一项所述的方法(600),其特征在于,接收将所述热词组(50g)分配到所述AED(104)的选定组的所述分配指令包括:接收来自所述用户(102)的请求数字助理(105)的语音输入,以启用所述热词组(50g)并且将所述热词组(50g)分配给所述AED(104)的选定组;指示语音识别器(116)对所述音频数据(20)执行语音识别,以生成用于所述语音输入的自动语音识别(ASR)结果;以及对用于所述语音输入的所述ASR结果执行查询解释以识别热词组查询(118),所述热词组查询(118)指定了要启用的所述热词组(50g)以及要被分配所述热词组(50g)的所述AED(104)的选定组中的每个AED(104)的名称。9.根据权利要求1

8中任一项所述的方法(600),其特征在于,接收将所述热词组(50g)分配给所述AED(104)的选定组的所述分配指令包括:接收用户输入指示,所述用户输入指示指示与图形用户界面中显示的一个或多个对象(210)的用户交互,以指令数字助理(105)启用所述热词组(50g)并且选择要被分配所述热词组(50g)的所述AED(104)组。10.根据权利要求1

9中任一项所述的方法(600),其特征在于,进一步包括:在所述数据处理硬件(10)处接收先前音频数据(20),所述先前音频数据(20)由所述用户(102)所说、并且对应于数字助理对与所述用户(102)相关联两个或更多个AED(104)执行长期动作的命令,所述数字助理被配置为自动创建所述热词组(50g),用于与所述长期动作相关的后续查询(128),其中接收将所述热词组(50g)分配给所述AED(104)的选定组的所述分配指令包括:接收由所述数字助理(105)自动创建的所述热词组(50g),被分配所述热词组(50g)的所述AED(104)的选定组包括执行所述长期动作的所述两个或更多个AED(104)。11.根据权利要求10所述的方法(600),其特征在于,进一步包括:由所述数据处理硬件(10),为来自所述第一AED(104)的可听回放,输出与来自所述数字助理(105)的响应相对应的合成语音,以指示正在执行所述长期动作,以及所述自动创建的热词组(50g)用于与所述长期动作相关的后续查询,其中,所述数字助理(105)在所述长期动作结束时撤销对所述自动创建的热词组(50g)的使用。
12.根据权利要求1

11中任一项所述的方法(600),其特征在于,在所述AED(104)的选定组中的每个AED(104)与相同的设备类型相关联或共享通用属性;分配给所述AED(104)的选定组的所述热词组(50g)包括含蓄的热词,所述含蓄的热词唯一地标识与所述AED(104)的选定组相关联的所述设备类型或所述通用属性;以及所述热词检测模型(114)被预训练,以检测在流式音频中所述热词组(50g)的存在,而不用对所述音频数据(20)执行语音识别。13.根据权利要求1

12中任一项所述的方法(600),其特征在于,分配给所述AED(104)的选定组的所述热词组(50g)包括基于接近度的热词,所述基于接近度的热词仅寻址所述AED(104)的选定组中当前最接近所述用户(102)的一个或多个AED(104)的子集,而不明确地识别在所述一个或多个AED(104)的所述子集中的任意特定AED(104);所述热词检测模型(114)被预训练,以检测在流式音频中所述热词组(50g)的存在,而不用对所述音频数据(20)执行语音识别;以及执行所述协作例程(150)使所述AED(104)的选定组中的所述第一AED(104)和每个其他AED(104)分别确定相对于所述用户(102)的相应的接近值,并在所述AED(104)的选定组中使用所述相应的接近值执行仲裁,以选举所述一个或多个AED(104)的所述子集来完成由所述查询(128)指定的所述操作的执行。14.根据权利要求1

13中任一项所述的方法(600),其特征在于,所述热词组(50g)包括下列之一:由所述用户(102)创建的自定义热词;或从一个或多个可用热词组(50g)的列表中选择的预定义热词。15.根据权利要求1

14中任一项所述的方法(600),其特征在于,在执行所述协作例程(150)期间,在所述AED(104)的选定组中的所述第一AED(104)和每个其他AED(104)通过在所述AED(104)的选定组中指定一个所述AED(104)执行以下内容来相互协作:生成用于所述音频数据(20)的语音识别结果;对所述语音识别结果执行查询解释,以确定所述语音识别结果识别指定要执行所述操作的所述查询(128);以及与所述AED(104)的选定组中的所述其他AED(104)共享对所述语音识别结果执行的所述查询解释。16.根据权利要求1

15中任一项所述的方法(600),其特征在于,指定要执行的所述操作的所述查询(128)包括针对所述AED(104)的选定组执行长期操作的查询(128);以及在所述协作例程(150)的执行期间,所述AED(104)的选定组中的每个AED(104)通过以下方式相互协作:在所述长期操作持续期间互相配对;以及协调与所述长期操作相关的子动作的执行。17.根据权利要求1

16中任一项所述的方法(600),其特征在于,由所述查询(128)指定的所述操作包括在所述AED(104)的选定组中的每个AED(104)上
执行的设备级操作;以及在所述协作例程(150)的执行期间,所述AED(104)的选定组中的每个AED(104)通过独立完成所述设备级操作的执行来相互协作。18.一种第一助理启用设备(AED)(104),其特征...

【专利技术属性】
技术研发人员:马修
申请(专利权)人:谷歌有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1