针对移动屏上内容提供自动动作制造技术

实施方式提供了一种用于发起与用户正在移动设备上查看的内容相关的动作的接口。一种方法包括对从移动设备的显示捕捉的内容执行辨识以及在所述内容中识别多个实体。所述方法可以包括：针对所述多个实体中的每一个发出查询、基于搜索结果来对所述多个实体进行排名、针对排名最高的实体中的至少一些实体来生成动作卡片、以及提供所述动作卡片以用于显示在所述移动设备上。替选地或另外地，所述方法可以包括确定：在联系人数据存储中与实体相对应的至少一个联系人，以及针对所述实体来生成动作卡片，所述动作卡片具有使用来自所述联系人数据存储的第一信息的第一动作以及使用来自所述联系人数据存储的第二信息的第二动作。

【技术实现步骤摘要】
【国外来华专利技术】针对移动屏上内容提供自动动作相关申请的交叉引用本申请要求于2014年8月21日提交的、题为“PROVIDINGAUTOMATICACTIONSFORMOBILEONSCREENCONTENT(针对移动屏上内容提供自动动作)”的美国非临时专利申请No.14/465,265的优先权并且是其继续申请，其通过引用全部并入本文。
技术介绍
移动设备——诸如智能电话和平板计算机的使用一直在增加。但是在移动环境中在应用之间导航可以是冗杂的，因为移动应用一般执行特定功能并且通常不交互。此外，移动应用能够在它们提供的特征上显著地不同，并且因为外部输入设备的有限屏幕大小和有限使用，导航能够易于出错的并且相对费时。
技术实现思路
实施方式提供了界面，该界面允许移动设备的用户快速且容易地执行与该用户在该移动设备上当前正查看的内容相关的各种动作。例如，所述系统可以在被显示在移动设备上的屏幕中识别实体并且提供界面以用于针对每个实体发起动作、以及显现关于所述实体的信息的摘录。所述实体可以包括知识库——诸如知识图中的人、地点、或事物，或者可以是在所述移动设备本地或者对其远程但与所述用户相关联的数据存储中的联系人。所述系统可以对所述实体进行排名以确定与所述用户最相关的那些实体并且针对最相关的经排名实体来生成具有建议动作的动作卡片。针对实体的所述动作卡片中提供的所述动作以及显示在所述动作卡片中的任何信息可以取决于针对所述实体的搜索结果。根据本公开的某些方面，一种方法包括：对从移动设备的显示捕捉的内容执行辨识；在所述内容中识别多个实体；以及针对所述多个实体中的每一个发出相应查询。所述方法还包括：基于针对所述相应查询所返回的搜索结果，对所述多个实体进行排名；针对排名最高的实体中的至少一些实体，生成相应的动作卡片；以及提供所述动作卡片以用于向所述移动设备的用户显示。根据另一方面，一种系统包括：至少一个处理器；经索引文档语料库(corpus)；基于图的数据存储；以及存储指令的存储器，所述指令在由所述至少一个处理器执行时，使得所述系统执行操作。所述操作可以包括：对从移动设备的显示捕捉的内容执行辨识，以及在所述内容中识别多个实体。针对所述多个实体中的每一个，所述操作还可以包括向搜索引擎发出针对所述实体的相应查询，所述搜索引擎搜索所述基于图的数据存储和所述经索引文档语料库以针对所述实体来生成搜索结果。所述操作还可以包括：基于所述搜索结果对所述多个实体进行排名，以及将所述多个实体与相应的排名和搜索结果一起提供给所述移动设备，所述移动设备针对使用所述相应搜索结果所生成的排名最高的实体中的至少一些来生成动作卡片。在另一方面，一种系统包括：联系人数据存储；至少一个处理器；以及存储指令的存储器，所述指令在由所述至少一个处理器执行时，使得所述系统执行操作。所述操作可以包括：对显示在移动设备的显示器上的内容执行辨识、在所述内容中识别实体、以及确定在所述联系人数据存储中与所述实体相对应的至少一个联系人。所述操作还可以包括：针对所述实体来生成动作卡片，所述动作卡片具有使用针对所述联系人的、来自所述联系人数据存储的第一信息的第一动作以及使用针对所述联系人的、来自所述联系人数据存储的第二信息的第二动作；以及将所述动作卡片显示在所述显示器上。在另一方面，包含在计算机可读存储设备上的计算机程序产品包括指令，所述指令在由形成在基底中的至少一个处理器来执行时，使得计算设备执行本文中所公开的经公开方法、操作、或过程中的任何一个。本文中所描述的主题的实施方式中的一个或多个能够被实现以便实现以下优点中的一个或多个。作为一个示例，实施方式可以提供具有对用户有用的动作的接口，所述动作能够在无需在移动环境中导航穿过各个应用和屏幕的情况下被发起。因此，动作可以被视为是自动的。实施方式能够提供不管底层应用如何——例如跨任意界面的界面，其提供跨在设备上运行的所有移动应用来访问相同功能的能力。实施方式基于底层内容来为提供用户很可能感兴趣的实体提供建议动作。这些动作是有用的，因为它们与内容的底层场境相关。换言之，建议动作适合于并且基于内容的类型。例如，评论动作适合于电影或餐馆但是不适合于人。类似地呼叫动作适合于人而不是电影。所述动作可以表示指向特定移动应用的深度链接，从而通过减少用户输入运动的量以及减少在完成动作中输录(typographical)错误的可能性来节约用户时间和免受挫折。在一些情况下，显示在动作卡片上的信息可以消除用户导航到另一应用以查找该信息的需要。在附图和以下描述中阐述一个或多个实施方式的细节。其它特征根据本说明书和附图以及根据权利要求书将变得显而易见。附图说明图1是依据所公开的主题的、图示了示例系统的框图。图2图示了移动计算设备的示例显示。图3图示了提供基于图2的显示来生成的建议动作的示例用户界面。图4图示了依据所公开的实施方式的、用于针对在移动屏幕的内容中识别的至少一些实体来提供动作卡片的示例过程的流程图。图5图示了依据所公开的实施方式的、用于针对实体来确定动作的示例过程的流程图。图6图示了依据所公开的实施方式的、用于选择缺省动作的示例用户界面。图7示出了能够被用来实现所公开的技术的计算设备的示例。图8示出了能够被用来实现所公开的技术的分布式计算设备的示例。各个附图中相似的附图标记指示相似的元素。具体实施方式图1是依据示例实施方式的移动动作建议系统的框图。系统100可以被用来针对在被显示在移动设备上的屏幕的内容中所标识的实体来提供建议动作。实体可以是人、地点、项目、想法、主题、词、短语、抽象概念、实在元素、其它合适的事物、或这些的任何组合。图1中的系统100的描绘是客户端-服务器系统，其中在服务器110处发生一些数据处理。然而，可以使用其它配置和应用。例如，在一些实施方式中，系统100可以仅包括移动设备170，并且可以在移动设备170上排他地发生所有数据处理。在一些实施方式中，大多数处理可以在移动设备170上完成并且服务器110可以被用来例如经由搜索引擎107来提供信息。在一些实施方式中，移动设备170的用户可以指示处理的部分在服务器110处被执行。例如，用户可以提供在一个或多个远程服务器上的联系人数据存储(contactsdatastore)的位置，移动设备170能够访问该联系人数据存储以识别联系人实体。因此，实施方式不限于图1中所图示的确切配置。移动动作建议系统100可以包括移动设备170。移动设备170可以是在封闭移动环境而不是常规的开放式基于web的环境中操作的任何移动个人计算设备，诸如智能电话或其它手持式计算设备、平板计算机、可穿戴计算设备等。移动设备170可以是如图7中所描绘的计算设备700的示例。移动设备170可以包括形成在基底中的一个或多个处理器，其被配置成执行一个或多个机器可执行指令或软件的片、固件或其组合的。移动设备170可以包括操作系统(未示出)以及被配置成暂时地、永久地、半永久地、或其组合地存储一个或多个数据片的一个或多个计算机存储器。因此，移动设备170可以包括移动应用，包括自动动作应用175，其表示处于软件、固件、或其组合的形式的机器可执行指令。常规地，移动应用在封闭环境中操作，这意味着用户采用单独的应用来执行常规上在基于web的浏览器环境中执行的本文档来自技高网...

【技术保护点】
一种方法，包括：对从移动设备的显示捕捉的内容执行辨识；在所述内容中识别多个实体；发出针对所述多个实体中的每一个的相应查询；基于针对所述相应查询所返回的搜索结果，对所述多个实体进行排名；针对排名最高的实体中的至少一些实体，生成相应的动作卡片；以及提供所述动作卡片以用于向所述移动设备的用户显示。

【技术特征摘要】
【国外来华专利技术】2014.08.21 US 14/465,2651.一种方法，包括：对从移动设备的显示捕捉的内容执行辨识；在所述内容中识别多个实体；发出针对所述多个实体中的每一个的相应查询；基于针对所述相应查询所返回的搜索结果，对所述多个实体进行排名；针对排名最高的实体中的至少一些实体，生成相应的动作卡片；以及提供所述动作卡片以用于向所述移动设备的用户显示。2.根据权利要求1所述的方法，其中，发出针对所述多个实体中的第一实体的查询包括：使用名称分类器来确定所述第一实体能够是名称；使用所述第一实体来查询与所述移动设备的所述用户相关联的联系人数据存储；以及在所述第一实体对应于所述联系人数据存储中的联系人时，从所述联系人数据存储返回信息作为所述查询的搜索结果。3.根据权利要求2所述的方法，其中，发出针对所述第一实体的所述查询进一步包括：在所述第一实体未能对应于所述联系人数据存储中的联系人时，向搜索引擎发出针对所述第一实体的所述查询。4.根据权利要求1至3中的任一项所述的方法，其中，针对查询的搜索结果包括：关于所述查询的流行度的信息以及与流行的查询相对应的实体接收排名的提升。5.根据权利要求1至4中的任一项所述的方法，其中，所述多个实体中的具有包括来自基于图的数据存储的结果的搜索结果的实体接收排名的提升。6.根据权利要求1至5中的任一项所述的方法，其中，针对第一实体来生成所述动作卡片包括：在所述搜索结果中识别链接；以及确定所述链接的域对应于安装在所述移动设备上的移动应用，其中，所述动作卡片包括打开所述移动应用的动作。7.根据权利要求1至6中的任一项所述的方法，其中，所述多个实体中的第一实体对应于联系人数据存储中的联系人，以及针对所述第一实体来生成所述动作卡片包括：确定由所述用户针对联系人实体所选择的缺省动作；以及使用来自所述联系人数据存储的信息来针对与所述缺省动作相对应的所述联系人生成所述动作卡片。8.一种系统，包括：至少一个处理器；经索引文档语料库；基于图的数据存储；以及存储指令的存储器，所述指令在由所述至少一个处理器执行时使得所述系统执行操作，所述操作包括：对从移动设备的显示捕捉的内容执行辨识，在所述内容中识别多个实体，针对所述多个实体中的每一个，向搜索引擎发出针对所述实体的相应查询，所述搜索引擎搜索所述基于图的数据存储和所述经索引文档语料库以针对所述实体来生成搜索结果，基于所述多个实体的相应搜索结果来对所述多个实体进行排名，以及将所述多个实体与相应排名和相应搜索结果一起提供给所述移动设备，所述移动设备针对排名最高的实体中的至少一些实体来生成动作卡片，所述动作卡片是使用所述排名最高的实体的相应搜索结果来生成的。9.根据权利要求8所述的系统，其中，所述多个实体中的具有在所述基于图的数据存储中的对应实体的第一实体接收排名的提升。10.根据权利要求8或9所述的系统，其中，对所述多个实...

【专利技术属性】
技术研发人员：大卫·马尔钦，拉扬·帕特尔，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US