确定用于执行动作的代理的方法、计算设备和存储介质技术

本公开涉及确定用于执行动作的代理的方法、计算设备和存储介质。描述了一种助理，该助理至少部分地基于从计算设备的相机接收的图像数据来从多个代理中选择推荐的代理以执行与图像数据相关联的一个或多个动作。助理确定是推荐助理还是推荐的代理执行与图像数据相关联的一个或多个动作，并且响应于确定推荐推荐的代理执行与图像数据相关联的一个或多个动作，输出对推荐的代理的指示。响应于接收到确认推荐的代理的用户输入，助理使推荐的代理至少发起与图像数据相关联的一个或多个动作的执行。的执行。的执行。

Determine the method, computing device, and storage medium of the agent used to perform the action

【技术实现步骤摘要】
确定用于执行动作的代理的方法、计算设备和存储介质
[0001]分案说明
[0002]本申请属于申请日为2018年5月16日的中国专利技术专利申请201880033175.9的分案申请。


[0003]本公开涉及确定用于执行动作的代理的方法、计算设备和存储介质。

技术介绍

[0004]一些计算平台可以提供用户接口，用户从所述用户接口可与虚拟的计算助理(例如，也称为“智能个人助理”或简称为“助理”)聊天、讲话或者以其它方式进行通信以使该助理输出有用的信息，对用户的需要做出响应或者以其它方式执行某些操作以帮助用户完成各种真实世界的或虚拟的任务。例如，计算设备可以用麦克风或相机来接收对应于用户发言或用户环境的用户输入(例如，音频数据、图像数据等)。至少部分地在计算设备处执行的助理可以分析用户输入并且试图通过基于该用户输入输出有用的信息、对由该用户输入所指示的用户的需要做出响应来“协助”用户，或者以其它方式执行某些操作以基于用户输入来帮助用户完成各种真实世界的或虚拟的任务。

技术实现思路

[0005]通常，本公开的技术可以使得助理能够至少部分地基于由助理获得的图像数据来管理用于采取动作或者执行操作的多个代理。多个代理可以包括在助理内包括的和/或与助理共享共同发布者的一个或多个第一方(1P)代理和/或与计算设备的不是助理的部分的或不与助理共享共同发布者的应用或组件相关联的一个或多个第三方(3P)代理。在接收到来自用户的利用、存储和/或分析用户的个人信息的显式和不含糊的许可之后，计算设备可以用图像传感器(例如，相机)接收对应于用户环境的图像数据。代理选择模块可以分析图像数据以至少部分地基于图像数据中的内容来确定给定用户环境下用户可能想要执行的一个或多个动作。动作可以由助理或者由来自由助理管理的多个代理中的一个或多个代理的组合来执行。助理可以确定是推荐助理还是推荐的代理执行一个或多个动作并且输出对推荐的指示。响应于接收到确认或者改变推荐的用户输入，助理可以执行、发起、邀请或者使代理执行一个或多个动作。以这种方式，助理被配置成不仅确定可以适于用户的环境的动作，而且还推荐用于执行动作的适当的行动者。因此，所描述的技术可以通过减少用户发现各种动作并使助理执行各种动作所要求的用户输入的量来改进使用助理的可用性。
[0006]在一个示例中，本公开涉及一种方法，所述方法包括：通过可由计算设备访问的助理从计算设备的相机接收图像数据；通过助理基于图像数据并从可由计算设备访问的多个代理中选择推荐的代理以执行与图像数据相关联的一个或多个动作；并且通过助理确定是推荐助理还是推荐的代理执行与图像数据相关联的一个或多个动作。所述方法还包括：响应于确定推荐推荐的代理执行与图像数据相关联的一个或多个动作，通过助理使推荐的代
理至少发起与图像数据相关联的一个或多个动作的执行。
[0007]在另一示例中，本公开涉及一种系统，所述系统包括用于以下的装置：从计算设备的相机接收图像数据；基于图像数据并从可从计算设备访问的多个代理中选择推荐的代理以执行与图像数据关联的一个或多个动作；以及确定是推荐助理还是推荐的代理执行与图像数据相关联的一个或多个动作。所述系统还包括用于以下的装置：响应于确定推荐推荐的代理执行与图像数据相关联的一个或多个动作，使推荐的代理至少发起与图像数据相关联的一个或多个动作的执行。
[0008]在另一示例中，本公开涉及一种计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令当由计算设备的一个或多个处理器执行时，使计算设备从计算设备的相机接收图像数据；基于图像数据并从可从计算设备访问的多个代理中选择推荐的代理以执行与图像数据相关联的一个或多个动作；以及确定是推荐助理还是推荐的代理执行与图像数据相关联的一个或多个动作。所述指令当被执行时，进一步使一个或多个处理器响应于确定推荐推荐的代理执行与图像数据相关联的一个或多个动作，使推荐的代理至少发起与图像数据相关联的一个或多个动作的执行。
[0009]在另一示例中，本公开涉及一种计算设备，所述计算设备包括相机；输入设备；输出设备；一个或多个处理器以及存储与助理相关联的指令的存储器。所述指令当由一个或多个处理器执行时使一个或多个处理器从计算设备的相机接收图像数据；基于图像数据并从可从计算设备访问的多个代理中选择推荐的代理以执行与图像数据相关联的一个或多个动作；以及确定是推荐助理还是推荐的代理执行与图像数据相关联的一个或多个动作。所述指令当被执行时，进一步使一个或多个处理器响应于确定推荐推荐的代理执行与图像数据相关联的一个或多个动作，使推荐的代理至少发起与图像数据相关联的一个或多个动作的执行。
[0010]在下面的附图和描述中阐述一个或多个示例的细节。根据说明书和附图并根据权利要求书，本公开的其它特征、目的和优点将是显而易见的。
附图说明
[0011]图1是图示依照本公开的一个或多个方面的执行示例助理的示例系统的概念图。
[0012]图2是图示依照本公开的一个或多个方面的被配置成执行示例助理的示例计算设备的框图。
[0013]图3是图示依照本公开的一个或多个方面的由执行示例助理的一个或多个处理器执行的示例操作的流程图。
[0014]图4是图示依照本公开的一个或多个方面的被配置成执行示例助理的示例计算系统的框图。
具体实施方式
[0015]图1是图示依照本公开的一个或多个方面的执行示例助理的示例系统的概念图。图1的系统100包括经由网络130与搜索服务器系统180、第三方(3P)代理服务器系统170A
‑
170N(统称为“3P代理服务器系统170”)和计算设备110通信的数字助理服务器160。尽管系统100被示出为分布在数字助理服务器160、3P代理服务器系统170、搜索服务器系统180和
计算设备110之间，但是在其它示例中，归属于系统100的特征和技术可以由计算设备110的本地组件在内部执行。类似地，数字助理服务器160和/或3P代理服务器系统170可以包括某些组件并且执行在以下描述中原本归属于搜索服务器系统180和/或计算设备110的各种技术。
[0016]网络130表示用于在计算系统、服务器和计算设备之间传输数据的任何公用或专用通信网络，例如，蜂窝、Wi
‑
Fi和/或其它类型的网络。当计算设备110连接到网络130时，数字助理服务器160可以经由网络130与计算设备110交换数据以提供计算设备110可访问的虚拟协助服务。类似地，当计算设备110连接到网络130时3P代理服务器系统170可以经由网络130与计算设备110交换数据以提供计算设备110可访问的虚拟代理服务。数字助理服务器160可以经由网络130与搜索服务器系统180交换数据以访问由搜索服务器系统180提供的搜索服务。计算设备110可以经由网络130与搜索服务器系统180交换数据以访问由搜索服务器系统180提供的搜索服务。3P代理服务器系统170可以经由网络130与搜索服务器系统180交换数据以访问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定用于执行动作的代理的方法，包括：通过能够由用户的计算设备访问的助理从所述计算设备的图像传感器接收图像数据，其中，所述图像数据捕获所述用户的物理环境；通过所述助理处理所述图像数据以从捕获所述用户的物理环境的所述图像数据中识别所述用户的一个或多个推理的意图；通过所述助理从每一个均登记有从所述图像数据中识别的所述一个或多个推理的意图的多个第三方代理中选择所述第三方代理中的特定第三方代理，其中，选择所述特定第三方代理是基于与每一个均登记有从所述图像数据中识别的所述一个或多个推理的意图的所述第三方代理中的每一个第三方代理相关的信息，以及，其中，所述多个第三方代理是软件代理并且不与所述助理共享共同发布者；和响应于选择所述特定第三方代理：通过所述助理使得所述特定第三方代理至少发起针对从所述图像数据中识别的所述一个或多个推理的意图的一个或多个动作的执行。2.根据权利要求1所述的方法，还包括：在选择所述特定第三方代理之前：通过所述助理从所述多个第三方代理中的每一个第三方代理接收登记请求，所述登记请求包括与每一个相应的第三方代理相关联的一个或多个第三方意图；和通过所述助理向所述多个第三方代理中的每一个第三方代理登记与每一个相应的第三方代理相关联的所述一个或多个第三方意图。3.根据权利要求1所述的方法，其中，基于与每一个均登记有所述一个或多个推理的意图的所述第三方代理中的每一个第三方代理相关的信息来选择所述特定第三方代理包括：基于所述信息来确定每一个均登记有所述一个或多个推理的意图的所述第三方代理的排名；和至少部分地基于所述排名来从每一个均登记有所述一个或多个推理的意图的所述第三方代理中选择所述特定第三方代理。4.根据权利要求3所述的方法，其中，对于所述第三方代理中的每一个第三方代理，与每一个均登记有所述一个或多个推理的意图的所述第三方代理中的每一个第三方代理相关的所述信息包括以下中的一个或多个：对应的流行度分数、对应的相关性分数、对应的有用性分数、与所述一个或多个意图中的每一个相关联的对应的重要性分数、对应的用户满意度分数或对应的用户交互分数。5.根据权利要求3所述的方法，其中，对于所述第三方代理中的每一个第三方代理，与每一个均登记有所述一个或多个推理的意图的所述第三方代理中的每一个第三方代理相关的所述信息包括以下中的两个或多个：对应的流行度分数、对...

【专利技术属性】
技术研发人员：易卜拉欣，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：