基于设备间对话通信的主动协助制造技术

本发明专利技术提供了用于基于设备间对话通信的主动协助的系统和过程。在一个示例过程中，当建立电子设备与第二电子设备之间的语音通信时，可接收与第二电子设备相关联的音频数据流。响应于检测到用户输入，可生成包含在音频数据流的一部分中的语音的文本表示。该过程可确定文本表示是否包含对应于多种类型信息中的一种类型信息的信息。响应于确定文本表示包含对应于多种类型信息中的一种类型信息的信息，可执行基于该信息的一个或多个任务。

Active assistance based on inter device dialogue communication

The invention provides a system and process for active assistance based on inter device dialogue communication. In one example, when the voice communication between the electronic device and the second electronic device is established, the audio data stream associated with the second electronic device can be received. In response to detecting user input, a text representation of the voice contained in a part of the audio data stream can be generated. The process can determine whether the text representation contains information corresponding to one type of information in a variety of types of information. In response to determining that the text represents information that contains one type information corresponding to a variety of types of information, one or more tasks can be executed based on the information.

【技术实现步骤摘要】
【国外来华专利技术】基于设备间对话通信的主动协助相关申请的交叉引用本申请要求2015年12月23日提交的名称为“PROACTIVEASSISTANCEBASEDONdialogcommunicationBETWEENDEVICES”的美国临时申请62/387,547和2016年5月31日提交的名称为“PROACTIVEASSISTANCEBASEDONdialogcommunicationBETWEENDEVICES”的美国非临时申请15/169,348的优先权，出于所有目的，这两个申请据此全文以引用方式并入本文。
本申请总体涉及智能自动化助理，更具体地讲，涉及基于设备间对话通信的主动协助。
技术介绍
智能自动化助理(或数字助理)可在人类用户和电子设备之间提供有利界面。此类助理可允许用户使用自然语言以口语形式和/或文本形式与设备或系统进行交互。例如，用户可向正在电子设备上运行的数字助理提供包含用户请求的言语输入。数字助理可从该言语输入解译用户意图并且将用户意图操作化成任务。随后可通过执行电子设备的一个或多个服务来执行这些任务，并且可将响应于用户请求的相关输出返回给用户。通常，可使用电子设备的专用用户界面来实现数字助理。为了获取来自数字助理的协助，用户可能需要导航到专用用户界面并向数字助理提供用户请求。此类动作可能很麻烦，尤其是当用户已经将电子设备用于其他功能时(例如，打电话或对文本消息做出响应)。这可能限制数字助理的应用和效用，从而限制了数字助理的广泛采用。
技术实现思路
本专利技术提供了用于基于设备间对话通信的主动协助的系统和过程。在一个示例过程中，当建立电子设备与第二电子设备之间的语音通信时，可接收与第二电子设备相关联的音频数据流。响应于检测到用户输入，可生成包含在音频数据流的一部分中的语音的文本表示。该过程可确定文本表示是否包含对应于多种类型信息中的一种类型信息的信息。响应于确定文本表示包含对应于多种类型信息中的一种类型信息的信息，可执行基于该信息的一个或多个任务。在另一个示例过程中，可接收与第二电子设备的用户相关联的文本。可检测用户输入。响应于检测到用户输入，该过程可确定文本的一部分是否包含对应于多种类型信息中的一种类型信息的信息。响应于确定该文本的该部分包含对应于多种类型信息中的一种类型信息的信息，可基于该信息执行一个或多个任务。附图说明图1是示出了根据各种示例的用于实现数字助理的系统和环境的框图。图2A是示出了根据各种示例的实现数字助理的客户端侧部分的便携式多功能设备的框图。图2B是示出了根据各种示例的用于事件处理的示例性部件的框图。图3示出了根据各种示例的实现数字助理的客户端侧部分的便携式多功能设备。图4是根据各种示例的具有显示器和触敏表面的示例性多功能设备的框图。图5A示出了根据各种示例的用于便携式多功能设备上的应用的菜单的示例性用户界面。图5B示出了根据各种示例的用于具有与显示器分开的触敏表面的多功能设备的示例性用户界面。图6A示出了根据各种示例的个人电子设备。图6B是示出了根据各种示例的个人电子设备的框图。图7A是示出了根据各种示例的数字助理系统或其服务器部分的框图。图7B示出了根据各种示例的图7A所示的数字助理的功能。图7C示出了根据各种示例的知识本体的一部分。图8A-图8B示出了根据各种示例的用于基于设备间对话通信的主动协助的过程。图9A-图9D示出了根据各种示例的用于基于设备间对话通信的主动协助的电子设备的示例性用户界面。图10示出了根据各种示例的电子设备的功能框图。具体实施方式在以下对示例的描述中将引用附图，在附图中以例示的方式示出了可被实践的特定示例。应当理解，在不脱离各种示例的范围的情况下，可使用其他示例并且可作出结构性变更。在用户的电子设备和第二电子设备之间的对话通信(例如，电话呼叫、即时消息、视频电话呼叫等)期间，用户在电子设备上查找信息或执行其他任务(例如，创建日历事件)可能不便利。这可能是因为电子设备正在显示对话通信所需的信息(例如，在即时消息期间)，或者因为电子设备被定位成靠着用户的面部(例如，在电话呼叫期间)。此外，电子设备的用户可能需要将其注意力集中于与对话通信的其他一个或多个参与者的通信而不是在电子设备上执行其他任务。本文描述了用于基于设备间对话通信提供主动协助的技术。该技术使得能够基于设备间对话通信来预计和执行相关任务。在一个示例过程中，可在电子设备和第二电子设备之间建立对话通信。可接收与第二电子设备相关联的对话。可以确定该对话是否包含对应于多种类型信息中的一种类型信息的信息。该多种类型的信息可为用户可能感兴趣的信息(例如，联系人信息、位置、媒体项等)。响应于确定该对话包含对应于多种类型信息中的一种类型信息的信息，可执行基于该信息的一个或多个任务。通过基于所接收的对话主动执行相关任务，用户的注意力可集中于与对话通信的其他一个或多个参与者通信，而不是在电子设备上执行其他任务(例如，查找联系人信息或日历信息)。此外，用户将不需要导航到与数字助理相关联的独立界面以在对话通信期间获取协助。这样可以改善用户体验，并且还改善利用电子设备进行人际沟通的质量。尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一个元素与另一个元素区分开。例如，在不脱离各种所述示例的范围的情况下，第一用户输入可被称为第二用户输入，并且类似地，第二用户输入可被称为第一用户输入。第一用户输入和第二用户输入两者都可以是输入，并且在一些情况下可为独立且不同的输入。在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还应当理解，本文中所使用的术语“和/或”是指并且涵盖相关联地列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”“including”“comprises”和/或“comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。根据上下文，术语“如果”可被解释为意指“当......时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定......”或“如果检测到[所陈述的条件或事件]”可以被解释为意指“在确定......时”或“响应于确定......”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。1.系统和环境图1示出了根据各种示例的系统100的框图。在一些示例中，系统100可实现数字助理。术语“数字助理”、“虚拟助理”、“智能自动化助理”或“自动数字助理”可指解译语音形式和/或文本形式的自然语言输入以推断用户意图并且基于推断出的用户意图来执行动作的任何信息处理系统。例如，为了遵循所推断的用户意图，系统可执行以下中的一者或多者：标识具有被设计用于实现所推断的用户意图的步骤和参数的任务流，将来自所推断的用户意图的特定要求输入到任务流中；通过调用程序、方本文档来自技高网...

【技术保护点】
1.一种用于基于设备间的对话通信提供主动协助的方法，所述方法包括：在电子设备处：在所述电子设备和第二电子设备之间建立语音通信时：接收与所述第二电子设备相关联的音频数据流；检测用户输入；响应于检测到所述用户输入，生成语音的文本表示，所述语音的文本表示包含在所述音频数据流的一部分中；确定所述文本表示是否包含对应于多种类型信息中的一种类型信息的信息；以及响应于确定所述文本表示包含对应于多种类型信息中的一种类型信息的信息，基于所述信息执行一个或多个任务。

【技术特征摘要】
【国外来华专利技术】2015.12.23 US 62/387,547;2016.05.31 US 15/169,3481.一种用于基于设备间的对话通信提供主动协助的方法，所述方法包括：在电子设备处：在所述电子设备和第二电子设备之间建立语音通信时：接收与所述第二电子设备相关联的音频数据流；检测用户输入；响应于检测到所述用户输入，生成语音的文本表示，所述语音的文本表示包含在所述音频数据流的一部分中；确定所述文本表示是否包含对应于多种类型信息中的一种类型信息的信息；以及响应于确定所述文本表示包含对应于多种类型信息中的一种类型信息的信息，基于所述信息执行一个或多个任务。2.根据权利要求1所述的方法，其中所述用户输入由所述电子设备的物理传感器检测。3.根据权利要求1所述的方法，其中所述电子设备的接近传感器被定位成距表面小于阈值距离，并且其中所述用户输入包括改变所述电子设备的位置，使得所述接近传感器被定位成距所述表面大于所述阈值距离。4.根据权利要求1所述的方法，其中所述用户输入由所述电子设备的加速度计检测，并且其中所述用户输入包括定位所述电子设备以供用户查看所述电子设备的显示器。5.根据权利要求1所述的方法，其中所述用户输入包括选择所述电子设备上的示能表示。6.根据权利要求1所述的方法，其中检测所述用户输入使得将在所述电子设备的显示器上显示用户界面。7.根据权利要求6所述的方法，还包括经由所述用户界面显示所述信息。8.根据权利要求1所述的方法，其中所述用户输入包括用户话语，并且其中检测所述用户输入包括检测所述用户话语中的一个或多个触发字。9.根据权利要求1所述的方法，其中所述用户输入包括语音命令，并且其中检测所述用户输入包括：确定所述语音命令对应于从所述音频数据流提取信息的用户意图。10.根据权利要求1所述的方法，还包括：确定所述信息是否完整；响应于确定所述信息不完整，生成语音的文本表示，所述语音的文本表示包含在与所述音频数据流的所述第一部分不同的所述音频数据流的第二部分中；以及从所述音频数据流的所述第二部分获取第二信息，其中所述一个或多个任务基于所述第二信息。11.根据权利要求1所述的方法，其中所述一个或多个任务包括：存储所述信息；以及提供与所述信息相关联的标记。12.根据权利要求11所述的方法，其中与所述信息相关联的所述标记被提供于第三电子设备上。13.根据权利要求11所述的方法，其中在所述电子设备处于锁定状态时显示第二用户界面，并且其中提供与所述信息相关联的所述标记包括在所述电子设备处于锁定状态时在所述第二用户界面上显示所述标记。14.根据权利要求13所述的方法，还包括：响应于检测到用户选择所述第二用户界面上的所述标记，在所述电子设备上显示所述信息。15.根据权利要求1所述的方法，其中所述一个或多个任务包括显示所述信息。16.根据权利要求15所述的方法，其中经由所述电子设备的第三用户界面显示所述信息。17.根据权利要求16所述的方法，其中在结束所述电子设备和所述第二电子设备之间的所述语音通信之后，所述信息保持在所述电子设备的所述第三用户界面上。18.根据权利要求17所述的方法，其中在结束所述电子设备和所述第二电子设备之间的所述语音通信之后的预先确定的时间，从所述电子设备的所述第三用户界面移除所述信息。19.根据权利要求1所述的方法，其中所述一个或多个任务包括：基于所述信息识别所述电子设备的应用程序；以及在所述应用程序的用户界面上显示所述信息。20.根据权利要求19所述的方法，还包括：响应于检测到与所述应用程序的所述用户界面上的所述信息相关联的第二用户输入，执行使用所述应用程序的相应动作。21.根据权利要求1所述的方法，其中所述一个或多个任务包括将所述信息存储在数据库中，所述数据库与在所述电子设备上实现的数字助理相关联，其中在接收与所述信息相关联的语音命令时，所述电子设备使得从所述数据库检索所述信息。22.根据权利要求1所述的方法，其中所述信息包括电话号码，并且其中所述一个或多个任务包括显示所述电话号码。23.根据权利要求22所述的方法，还包括：响应于检测到用户选择所显示的电话号码，基于所述电话号码发起语音呼叫。24.根据权利要求22所述的方法，还包括：响应于检测到用户选择所显示的电话号码，与所述电子设备的地址簿相关联地存储所述电话号码。25.根据权利要求22所述的方法，还包括：响应于检测到用户选择所显示的电话号码，发起文本消息的撰写，其中所述文本消息的接收人基于所述电话号码。26.根据权利要求1所述的方法，其中所述信息包括电子邮件地址，并且其中所述一个或多个任务包括显示所述电子邮件地址。27.根据权利要求26所述的方法，还包括：响应于检测到用户选择所显示的电子邮件地址，发起电子邮件消息的撰写，其中所述电子邮件消息的接收人基于所述电子邮件地址。28.根据权利要求1所述的方法，其中所述信息包括位置，并且其中所述一个或多个任务包括显示指示所述位置的地图。29.根据权利要求28所述的方法，其中所述一个或多个任务还包括：获取所述电子设备的当前位置；确定从所述电子设备的所述当前位置到所述信息中的所述位置的方向；以及在所述地图上显示所述方向。30.根据权利要求28所述的方法，其中所述一个或多个任务还包括：确定与所述信息中的所述位置相关联的一个或多个兴趣点；以及在所述地图上显示所述一个或多个兴趣点。31.根据权利要求28所述的方法，其中所述一个或多个任务还包括：确定所述电子设备的当前位置和所述信息中的所述位置之间的估计行进时间；以及显示所述估计的行进时间。32.根据权利要求1所述的方法，其中所述信息包括时间信息，其中所述一个或多个任务包括显示对应于所述时间信息的用户时间表，并且其中将所述用户时间表与所述电子设备的日历应用程序相关联地存储于所述电子设备上。33.根据权利要求1所述的方法，其中所述信息包括与时间信息相关联的事件信息，并且其中所述一个或多个任务包括显示所述事件信息。34.根据权利要求33所述的方法，还包括：响应于检测到用户选择所显示的事件信息，在所述电子设备的日历应用程序中生成日历事件，其中所述日历事件基于所述事件信息和所述时间信息。35.根据权利要求1所述的方法，其中所述信息包括交通信息，其中所述一个或多个任务包括获取与所述交通信息相关联的附加信息，并且其中与所述交通信息相关联的所述附加信息包括时间表信息、路线信息、交通工具信息或座位布置信息。36.根据权利要求1所述的方法，其中所述信息包括对应于所述电子设备的地址簿中的联系人的名称，并且其中所述一个或多个任务包括显示所述联系人的联系人信息。37.根据权利要求36所述的方法，还包括：响应于接收到与所显示的联系人信息相关联的第三用户输入，将所述联系人信息发送到所述第二电子设备。38.根据权利要求1所述的方法，其中所述信息包括媒体项的属性，其中所述一个或多个任务包括显示所述媒体项的所述属性。39.根据权利要求38所述的方法，还包括：获取与所述媒体项相关联的媒体信息；以及显示与所述媒体项相关联的所述媒体信息。40.根据权利要求1所述的方法，还包括：确定所述音频数据流的所述一部分是否包括留下语音邮件消息的提示；以及响应于确定所述音频数据流的所述一部分包括留下语音邮件消息的提示：发起地址指向所述第二电子设备的文本消息的撰写。41.根据权利要求40所述的方法，其中基于电话号码在所述电子设备和所述第二电子设备之间建立所述语音通信，并且其中将所述文本消息地址指向所述电话号码。42.根据权利要求1所述的方法，还包括：确定所述音频数据流的所述一部分是否包括自动语音菜单的一部分；以及响应于确定所述音频数据流的所述一部分包括自动语音菜单的一部分，显示所述自动语音菜单的视觉表示。43.根据权利要求1所述的方法，还包括：基于所述音频数据流的所述一部分识别商业实体；以及响应于识别所述商业实体：检索与所述商业实体相关联的用户数据；以及在所述电子设备和所述第二电子设备之间建立语音通信时显示所述用户数据。44.根据权利要求1所述的方法，还包括：确定对应于所述文本表示的域，其中所述域是知识本体的部分，并且其中所述一个或多个任务基于所述域。45.根据权利要求1所述的方法，还包括：将所述音频数据流的所述一部分和所述文本表示存储在所述电子设备的存储器中；以及在执行所述一个或多个任务之后从所述存储器中删除所述音频数据流的所述一部分和所述文本表示。46.根据权利要求1所述的方法，其中所述音频数据流的所述一部分小于整个所述音频数据流。47.根据权利要求1所述的方法，其中所述音频数据流的所述一部分包括在检测所述用户输入之前的所述音频数据流的预先确定的持续时间。48.根据权利要求1所述的方法，还包括：确定所述音频数据流中的句子边界，其中所述音频数据流的所述一部分基于所述句子边界。49.根据权利要求1所述的方法，其中所述音频数据流包括所述第二电子设备的用户的语音数据且不包括所述电子设备的用户的语音数据。50.根据权利要求1所述的方法，还包括：确定所述音频数据流的音频质量是否大于阈值，其中响应于确定所述音频数据流的所述音频质量大于所述阈值来生成所述文本表示。51.根据权利要求1所述的方法，其中使用语音识别模型来生成所述文本表示，所述语音识别模型是利用GSM编码的数字语音数据训练的。52.根据权利要求1所述的方法，其中使用语音识别模型来生成所述文本表示，所述语音识别模型是利用存储在所述电子设备上的用户数据训练的。53.根据权利要求1所述的方法，其中使用经优化以识别地址、电话号码、人名或日期的第二语音识别模型来生成所述文本表示。...

【专利技术属性】
技术研发人员：M·J·马特尔，T·德尼奥，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US