多命令单一话语输入方法技术

本公开涉及多命令单一话语输入方法。本发明专利技术公开了一种用于处理虚拟助理的多部分语音命令的系统和过程。可从用户接收语音输入，该语音输入包括单一话语内的多个可执行命令。可使用语音转录过程从语音输入生成文本串。可基于域关键字、祈使动词、预先确定的子串长度等来将该文本串解析成多个候选子串。针对每个候选子串，可确定用于指示候选子串是否对应于可执行命令的概率。可基于语义连贯、与用户请求模板的相似性、用于确定可管理性的查询服务等来确定此类概率。如果该概率超过阈值，则可确定每个子串的用户意图、可执行与用户意图相关联的过程，并且可将确认提供至用户。

Multi command single utterance input method

【技术实现步骤摘要】
多命令单一话语输入方法相关申请的交叉引用本申请是国际申请号为PCT/US2015/033051、国际申请日为2015年5月28日、进入中国国家阶段日期为2016年11月29日、中国国家申请号为201580028468.4、专利技术名称为“多命令单一话语输入方法”的专利技术专利申请的分案申请。本申请要求提交于2014年5月30日的名称为“MULTI-COMMANDSINGLEUTTERANCEINPUTMETHOD”的美国临时专利申请No.62/005,556以及提交于2015年3月8日的标题为“MULTI-COMMANDSINGLEUTTERANCEINPUTMETHOD”的美国临时专利申请No.62/129,851的优先权。这些专利申请的内容据此全文以引用方式并入。
本专利技术总体涉及用于虚拟助理的语音处理，更具体地讲，涉及处理单一话语，所述单一话语具有用于虚拟助理的多个可执行命令。
技术介绍
智能自动化助理(或虚拟助理)提供用户与电子设备之间的直观接口。这些助理可允许用户使用自然语言以语音形式和/或文本形式与设备或系统交互。例如，用户可通过将语音用户输入以自然语言形式提供至与电子设备相关联的虚拟助理来访问电子设备的服务。虚拟助理可对语音用户输入执行自然语言处理，以推断用户意图并且将用户意图操作化成任务。随后可通过执行电子设备的一项或多项功能来执行任务，并且相关的输出可以自然语言形式返回给用户。然而，在电子用户设备继续提供增强功能的同时，一些用户可能会被通知、播报、消息、提醒等淹没。此外，对于用户而言，单独处理每个通知、播报、消息或提醒可能低效且耗时。例如，使用语音与虚拟助理交互，用户通常一次只提出单个项目、功能或活动。此外，在转换到另一任务之前，用户可能需要等待虚拟辅助任务完成。除了限制效率之外，这种延迟也可分散用户的注意力，从而可使用户忘记他们可能想到过的其他项目。因此，在一些实例中，对于用户而言，使用语音与虚拟助理交互来处理多个任务(一次一个)可能耗时、低效并且令人沮丧。
技术实现思路
本文公开了用于处理多部分语音命令的系统和过程。在一个示例中，可从用户接收语音输入，所述语音输入包括具有一个或多个可执行命令的单一话语。基于语音输入使用语音转录过程可生成文本串。可将文本串解析成多个候选子串。可针对候选子串中的每一者确定用于指示它们是否可能对应于可执行命令的概率。响应于概率超出阈值，可针对候选子串中的每一者确定用户意图。随后可执行与用户意图相关联的过程。确认也可提供至与各种用户意图相关联的用户。在一些示例中，可通过识别域关键字来解析文本串。在其他示例中，可通过识别祈使动词来解析文本串。可通过确定子串的语义连贯来确定子串对应于可执行命令的概率。也可通过将子串与用户请求模板进行比较来确定概率。也可通过将子串提交到服务并接收该服务可转换来自子串的可执行命令的可能性来确定概率。此外，在一些示例中，可基于先前子串中的字词来确定子串的用户意图。也可基于显示的信息来确定用户意图。显示的信息可包括列表，并且可基于与列表中的项目相关联的顺序描述符来确定用户意图。显示的信息可包括通知和电子邮件。也可基于显示的信息，通过确定潜在用户请求来确定用户意图。此外，在一些示例中，确认可包括可听确认或触觉反馈。提供确认也可包括提供与用户意图相关联的任务，包括显示所述任务。提供确认也可包括提供完成指示符，包括显示完成指示符，如复选标记。提供确认也可包括提供状态指示符，包括显示状态指示符，如沙漏或状态条。在其他示例中，提供确认可包括使用不同形式的强调来显示不同的候选子串，诸如粗体文本、斜体文本、带下划线的文本、圈出的文本、勾出的文本、彩色文本和/或群集的文本。附图说明为了更好地理解本专利技术的各种所描述的实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。图1是示出根据各种示例的用于实现数字助理的系统和环境的框图。图2A是示出根据一些实施方案的实现数字助理的客户端侧部分的便携式多功能设备的框图。图2B是示出根据各种示例的用于事件处理的示例性部件的框图。图3示出根据各种示例的实现数字助理的客户端侧部分的便携式多功能设备。图4是根据各种示例的具有显示器和触敏表面的示例性多功能设备的框图。图5A示出了根据各种示例的便携式多功能设备上的应用程序菜单的示例性用户界面。图5B示出了根据各种示例的具有与显示器分开的触敏表面的多功能设备的示例性用户界面。图6A示出根据各种示例的个人电子设备。图6B是示出根据各种示例的个人电子设备的框图。图7A是示出根据各种示例的数字助理系统或其服务器部分的框图。图7B示出根据各种示例的图7A所示数字助理的功能。图7C示出根据各种示例的知识本体的一部分。图8示出用于处理单一用户话语中的多个可执行命令的示例性过程。图9示出示例性解析的多部分语音命令。图10示出具有用于解译多部分语音命令的上下文的示例性显示器。图11示出具有各种类型的多个通知的示例性显示器，所述多个通知可用作用于解译多部分语音命令的上下文。图12示出具有邮件应用程序的示例性显示器，所述邮件应用程序可用作用于解译多部分语音命令的上下文。图13示出用于传送多部分语音命令的状态的示例性用户界面。图14A和图14B示出用于传送多部分语音命令的识别的示例性用户界面。图15示出根据各种示例的被配置为处理多部分语音命令的电子设备的功能框图。具体实施方式在以下对示例的描述中将引用附图，在附图中以例示的方式示出了可被实施的特定示例。应当理解，在不脱离各个示例的范围的情况下，可使用其他示例并且可作出结构性变更。下面，图2A至图2B、图3、图4、图5A至5B和图6A至图6B提供了用于执行处理多部分语音命令的技术的示例性设备的描述。图10至图14B示出了示例性用户界面。附图中的用户界面还被用于示出下文描述的过程，包括图8中的过程800。尽管以下描述使用术语“第一”、“第二”等来描述各种元件，但这些元件不应受术语的限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一输入可被命名为第二输入并且类似地第二输入可被命名为第一输入，而不脱离各种所述示例的范围。第一输入和第二输入可都是输出，并且在一些情况下可为独立且不同的输入。在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”,“an”)和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”,“including”,“comprises”和/或“compri本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在电子设备处：/n接收语音输入，其中所述语音输入包括具有两个或更多个可执行命令的单一话语；/n使用语音转录过程、基于所述语音输入来生成文本串，其中使用一个或多个语音识别模型来执行所述语音转录过程；/n识别所述文本串中的第一关键字；/n识别所述文本串中的第二关键字；/n至少部分地基于所述第一关键字与所述第二关键字之间的连接词的位置，将所述文本串至少解析为第一候选子串和第二候选子串；/n确定与所述第一候选子串相关联的第一意图以及与所述第二候选子串相关联的第二意图，其中所述第一意图对应于所述语音输入中的第一可执行命令，并且所述第二意图对应于所述语音输入中的第二可执行命令，其中所述第一意图和所述第二意图基于知识本体的一个或多个节点而被确定；以及/n执行由所述第一意图识别的第一过程以及由所述第二意图识别的第二过程。/n

【技术特征摘要】
20140530 US 62/005,556;20150308 US 62/129,8511.一种方法，包括：
在电子设备处：
接收语音输入，其中所述语音输入包括具有两个或更多个可执行命令的单一话语；
使用语音转录过程、基于所述语音输入来生成文本串，其中使用一个或多个语音识别模型来执行所述语音转录过程；
识别所述文本串中的第一关键字；
识别所述文本串中的第二关键字；
至少部分地基于所述第一关键字与所述第二关键字之间的连接词的位置，将所述文本串至少解析为第一候选子串和第二候选子串；
确定与所述第一候选子串相关联的第一意图以及与所述第二候选子串相关联的第二意图，其中所述第一意图对应于所述语音输入中的第一可执行命令，并且所述第二意图对应于所述语音输入中的第二可执行命令，其中所述第一意图和所述第二意图基于知识本体的一个或多个节点而被确定；以及
执行由所述第一意图识别的第一过程以及由所述第二意图识别的第二过程。


2.根据权利要求1所述的方法，其中所述第一关键字对应于第一域，并且所述第二关键字对应于第二域。


3.根据权利要求1至2中任一项所述的方法，其中所述第一关键字是第一祈使动词，并且所述第二关键字是第二祈使动词。


4.根据权利要求1至2中任一项所述的方法，其中确定与所述第一候选子串相关联的所述第一意图以及与所述第二候选子串相关联的所述第二意图包括：
基于所述第一候选子串中的至少一个字词来确定所述第二意图。


5.根据权利要求1至2中任一项所述的方法，其中确定与所述第一候选子串相关联的所述第一意图以及与所述第二候选子串相关联的所述第二意图包括：
基于被显示在与所述电子设备相关联的显示器上的信息来确定所述第一意图或所述第二意图。


6.根据权利要求5所述的方法，其中所述信息包括列表；以及
其中确定与所述第一候选子串相关联的所述第一意图以及与所述第二候选子串相关联的所述第二意图包括：
基于所述第一候选子串或所述第二候选子串中的顺序描述符来确定所述第一意图或所述第二意图，其中所述顺序描述符与所述列表中的一个或多个项目相关联。


7.根据权利要求5所述的方法，其中所述信息包括一个或多个通知。


8.根据权利要求5所述的方法，其中所述信息包括一个或多个电子邮件。


9.根据权利要求5所述的方法，其中确定与所述第一候选子串相关联的所述第一意图以及与所述第二候选子串相关联的所述第二意图包括：
基于被显示在所述显示器上的所述信息来确定一个或多个潜在用户请求；以及
基于所述一个或多个潜在用户请求来确定所述第一意图或所述第二意图。


10.根据权利要求1至2中任一项所述的方法，还包括：
提供对所述第一过程和所述第二过程至少已开始被执行的确认。


11.根据权利要求10所述的方法，其中提供与所述第一意图和所述第二意图相关联的所述确认包括：
提供与所述第一意图相关联的第一任务以及与所述第二意图相关联的第二任务。


12.根据权利要求11所述的方法，还包括：
响应于完成所述第一过程，提供与所述第一任务相关联的第一指示符；以及
响应于完成所述第二过程，提供与所述第二任务相关联的第二指示符。


13.根据权利要求11所述的方法，还包括：
在完成所述第一过程之前，提供与所述第一任务相关联的第一处理状态指示符；以及
在完成所述第二过程之前，提供与所述第二任务相关联的第二处理状态指示符。


14.根据权利要求10所述的方法，其中提供与所述第一意图和所述第二意图相关联的所述确认包括：
使用第一强调来显示所述第一候选子串，以及使用与所述第一强调不同的第二强调来显示所述第二候选子串。


15.根据权利要求14所述的方法，其中所述第一强调和所述第二强调中的每个强调包括以下各项中的一项或多项：粗体文本、斜体文本、带下划线的文本、圈出的文本、勾出的文本、彩色文本和群集的文本。


16.一种计算机可读存储介质，存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于进行以下操作的指令：
接收语音输入，其中所述语音输入包括具有两个或更多个可执行命令的单一话语；
使用语音转录过程、基于所述语音输入来生成文本串，其中使用一个或多个语音识别模型来执行所述语音转录过程；
识别所述文本串中的第一关键字；
识别所述文本串中的第二关键字；
至少部分地基于所述第一关键字与所述第二关键字之间的连接词的位置，将所述文本串至少解析为第一候选子串和第二候选子串；
确定与所述第一候选子串相关联的第一意图以及与所述第二候选子串相关联的第二意图，其中所述第一意图对应于所述语音输入中的第一可执行命令，并且所述第二意图对应于所述语音输入中的第二可执行命令，其中所述第一意图和所述第二意图基于知识本体的一个或多个节点而被确定；以及
执行由所述第一意图识别的第一过程以及由所述第二意图识别的第二过程。


17.根据权利要求16所述的计算机可读存储介质，其中所述第一关键字对应于第一域，并且所述第二关键字对应于第二域。


18.根据权利要求16至17中任一项所述的计算机可读存储介质，其中所述第一关键字是第一祈使动词，并且所述第二关键字是第二祈使动词。


19.根据权利要求16至17中任一项所述的计算机可读存储介质，其中确定与所述第一候选子串相关联的所述第一意图以及与所述第二候选子串相关联的所述第二意图包括：
基于所述第一候选子串中的至少一个字词来确定所述第二意图。


20.根据权利要求16至17中任一项所述的计算机可读存储介质，其中确定与所述第一候选子串相关联的所述第一意图以及与所述第二候选子串相关联的所述第二意图包括：
基于被显示在与所述电子设备相关联的显示器上的信息来确定所述第一意图或所述第二意图。


21.根据权利要求20所述的计算机可读存储介质，其中所述信息包括列表；以及
其中确定与所述第一候选子串相关联的所述第一意图以及与所述第二候选子串相关联的所述第二意图包括：
基于所述第一候选子串或所述第二候选子串中的顺序描述符来确定所述第一意图或所述第二意图，其中所述顺序描述符与所述列表中的一个或多个项目相关联。


22.根据权利要求20所述的计算机可读存储介质，其中所述信息包括一个或多个通知。

【专利技术属性】
技术研发人员：T·R·格鲁伯，H·J·萨德勒，J·R·贝勒加达，B·H·奈根，A·萨巴特利，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US