基于图像分析和预测的可视化搜索制造技术

提出了用于向网络服务添加新特征的方法、系统和计算机程序。方法包括接收描绘感兴趣对象的图像。确定感兴趣对象的类别集并且生成用于图像的图像签名。使用类别集和图像签名，方法识别发布数据库内的一组发布并且指定每个发布的排序。方法使得在从其接收图像的计算设备处呈现发布的排序列表。

Visual Search Based on Image Analysis and Prediction

A method, system and computer program for adding new features to network services are proposed. The method includes receiving images depicting objects of interest. Determine the class set of interested objects and generate image signatures for images. Using category sets and image signatures, the method identifies a set of publications in the publishing database and specifies the order of each publication. The method causes the published sequence table to be presented at the computing device from which the image is received.

【技术实现步骤摘要】
【国外来华专利技术】基于图像分析和预测的可视化搜索优先权声明本申请要求于2016年10月16日提交的美国申请第15/294,773号的优先权的权益，其全部内容通过引用并入本文中。
本文中公开的主题一般涉及利于网络服务内的图像处理和识别的专用机器，包括这样的专用机器的软件配置的计算机化变体以及对这样的变体的改进的
，以及涉及使这样的专用机器与利于基于图像识别、图像签名和类别预测而识别图像的其他专用机器相比得到改进的技术。
技术介绍
传统的图像搜索是耗时的，因为当前的搜索工具提供了刚性且有限的搜索用户接口。选择太多并且浏览页面和结果的页面可以浪费太多时间。由于受限于传统工具的技术限制，用户可能难以使用单个图像或一组图像简单地传达用户想要的内容，例如，用户的意图。当前的解决方案不是针对可用于搜索的文档的规模而设计的，并且经常使用用户提供的术语以便为被提供用于搜索的图像提供上下文和关联。通常会显示不相关的结果，而最佳结果可能隐藏在由数千个搜索结果产生的噪声中。附图的简要说明附图中的各个附图仅示出了本公开内容的示例实施方式并且不能被视为限制其范围。图1是示出根据一些示例实施方式的联网系统的框图。图2是示出根据一些示例实施方式的智能助理的操作的图。图3示出了根据一些示例实施方式的人工智能(AI)框架的特征。图4是示出根据一些示例实施方式的服务架构的图。图5是根据一些示例实施方式的用于实现AI框架的框图。图6是根据一些示例实施方式的示例计算机视觉部件的框图。图7是根据一些示例实施方式的用于基于图像识别、图像签名和类别预测来识别一组图像的方法的流程图。图8是示出根据一些示例实施方式的智能助理的用户界面屏幕的示例界面图。图9是示出根据一些示例实施方式的智能助理的用户界面屏幕的示例界面图。图10是根据一些示例实施方式的用于基于图像识别、图像签名和类别预测来识别一组图像的方法的流程图。图11是根据一些示例实施方式的用于基于图像识别、图像签名和类别预测来识别一组图像的方法的流程图。图12是根据一些示例实施方式的用于基于图像识别、图像签名和类别预测来识别一组图像的方法的流程图。图13是示出根据一些示例实施方式的可以安装在机器上的软件架构的示例的框图。具体实施方式示例方法、系统和计算机程序涉及向网络服务添加新特征，例如根据输入图像执行的图像识别、图像签名生成和类别预测。示例仅代表可能的变型。除非另有明确说明，否则部件和功能是可选的并且可以被组合或细分，并且操作可以按顺序变化或者被组合或细分。在以下描述中，出于说明的目的，阐述了多个具体细节以提供对示例实施方式的透彻理解。然而，对于本领域技术人员将明显的是，可以在没有这些具体细节的情况下实践本主题。通常，使得智能个人助理系统能够包括可缩放的人工智能(AI)框架(也被称为AI架构)，该可缩放的人工智能框架渗透到现有消息传送平台的结构中以提供智能在线个人助理(本文中被称为“机器人”)。AI框架在人类用户与智能在线个人助理之间预测轮次的通信中提供智能的、个性化的答案。协调器部件实现AI架构内的部件的特定集成和交互。协调器充当集成由多个服务提供的功能的指挥者。在一方面，协调器部件决定激活AI框架中的哪个部分(例如，用于图像输入、激活计算机视觉服务以及用于输入语音、激活语音识别)。一个总体方面包括一种方法，该方法包括由协调器服务器接收用于处理和搜索的输入图像的操作。输入图像可以是单个图像、一组图像或视频流内的一组帧。通过用户设备上的应用访问协调器服务器的用户捕获包括项目(例如，感兴趣对象、感兴趣对象的一部分或产品)的图像或视频流。协调器服务器使用计算机视觉部件处理图像，生成图像签名和用于图像中的项目的一组类别。然后，协调器服务器将图像签名和一组类别与由协调器服务器可访问的一组发布匹配。然后，协调器服务器在用户设备处以有序列表呈现该组发布。协调器服务器可以生成图像签名和一组类别、识别该组发布以及在没有进一步用户交互的情况下自动地将有序列表呈现给用户设备。当图像在视频的一组帧内时，协调器服务器可以生成图像签名和类别集、识别该组发布以及在捕获视频时实时呈现有序列表。在一些实施方式中，协调器服务器接收用于识别用户与网络服务之间的交互类型的用户活动的序列规范。网络服务包括协调器服务器和一个或更多个服务服务器，并且序列规范包括协调器服务器与来自一个或更多个服务服务器的一组一个或更多个服务服务器之间的用于实现用户活动的交互序列。方法还包括配置协调器服务器以在检测到用户活动时执行序列规范、处理用户输入以检测与该用户输入相关联的用户的意图以及确定用户的意图与用户活动对应。协调器服务器通过调用序列规范的该组一个或更多个服务服务器来执行序列规范，序列规范的执行导致向用户呈现响应于在用户输入中检测到的用户的意图的结果。一个通常方面包括包含具有指令的存储器和一个或更多个计算机处理器的协调器服务器。指令当由一个或更多个计算机处理器执行时，使一个或更多个计算机处理器执行包括如下的操作：接收用于识别用户与网络服务之间的交互类型的用户活动的序列规范。网络服务包括协调器服务器和一个或更多个服务服务器，并且序列规范包括协调器服务器与来自一个或更多个服务服务器的一组一个或更多个服务服务器之间用于实现用户活动的交互序列。操作还包括配置协调器服务器以在检测到用户活动时执行序列规范、处理用户输入以检测与用户输入相关联的用户的意图以及确定用户的意图与用户活动对应。协调器服务器通过调用序列规范的该组一个或更多个服务服务器来执行序列规范，序列规范的执行导致向用户呈现响应于在用户输入中检测到的用户的意图的结果。一个通常方面包括包含下述指令的机器可读存储介质，该指令当由机器执行时使机器执行包括如下的操作：由协调器服务器接收用于识别用户与网络服务之间的交互类型的用户活动的序列规范。网络服务包括协调器服务器和一个或更多个服务服务器，并且序列规范包括协调器服务器与来自一个或更多个服务服务器的一组一个或更多个服务服务器之间的用于实现用户活动的交互序列。操作还包括配置协调器服务器以在检测到用户活动时执行序列规范、处理用户输入以检测与用户输入相关联的用户的意图以及确定用户的意图与用户活动对应。协调器服务器通过调用序列规范的该组一个或更多个服务服务器来执行序列规范，序列规范的执行导致向用户呈现响应于在用户输入中检测到的用户的意图的结果。图1是示出了根据一些示例实施方式的联网系统的框图。参照图1，示出了基于客户端服务器的高级网络架构100的示例实施方式。在基于网络的市场或支付系统的示例形式下，联网系统102经由网络104(例如，因特网或广域网(WAN))向一个或更多个客户端设备110提供服务器侧功能。图1示出了例如在客户端设备110上执行的web客户端112(例如，浏览器，如由华盛顿州雷蒙德市的微软公司开发的因特网浏览器(InternetExplorer))、应用114以及编程客户端116。客户端设备110可以包括但不限于：移动电话、台式计算机、膝上型电脑、便携式数字助理(PDA)、智能电话、平板电脑、超级本、上网本、笔记本电脑、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问联网系统102的任何其他通信设备。在一些实施方本文档来自技高网...

【技术保护点】
1.一种方法，包括：由服务器的至少一个处理器接收描绘感兴趣对象的至少一部分的至少一个图像；由所述至少一个处理器确定用于所述感兴趣对象的类别集；由所述至少一个处理器生成用于所述至少一个图像的图像签名，所述图像签名包括所述至少一个图像的向量表示；由所述至少一个处理器使用所述类别集和用于所述至少一个图像的图像签名，识别发布数据库内的一组发布；基于所述图像签名来指定所述一组发布中的每个发布的排序以生成发布的排序列表；以及使得在从其接收所述至少一个图像的计算设备处呈现所述发布的排序列表。

【技术特征摘要】
【国外来华专利技术】2016.10.16 US 15/294,7731.一种方法，包括：由服务器的至少一个处理器接收描绘感兴趣对象的至少一部分的至少一个图像；由所述至少一个处理器确定用于所述感兴趣对象的类别集；由所述至少一个处理器生成用于所述至少一个图像的图像签名，所述图像签名包括所述至少一个图像的向量表示；由所述至少一个处理器使用所述类别集和用于所述至少一个图像的图像签名，识别发布数据库内的一组发布；基于所述图像签名来指定所述一组发布中的每个发布的排序以生成发布的排序列表；以及使得在从其接收所述至少一个图像的计算设备处呈现所述发布的排序列表。2.根据权利要求1所述的方法，还包括：由所述至少一个处理器识别表示所述至少一个图像内的感兴趣对象的一个或更多个属性的一组方面；以及针对所述一组方面中的每个方面，确定所述至少一个图像内的感兴趣对象包括指定方面的概率以生成每个方面的置信度得分。3.根据权利要求2所述的方法，其中，所述一个或更多个属性是所述感兴趣对象的外观的要素，并且所述一组方面中的每个方面是与指定属性相关联的描述性词。4.根据权利要求2所述的方法，其中，根据第一排序顺序组织所述排序列表，所述方法还包括：针对所述一组发布中的每个发布，识别一组元数据描述符；生成所述一组发布中的每个发布的方面排序得分，所述方面排序得分是通过对所述感兴趣对象的所述一组方面与所述一组元数据描述符进行加权比较而生成的；以及生成根据第二排序顺序组织的经修改的发布的排序列表，所述第二排序顺序反映所述方面排序得分和基于所述图像签名的排序的组合。5.根据权利要求1所述的方法，其中，确定用于所述感兴趣对象的类别集还包括：由所述至少一个处理器识别表示所述至少一个图像内的感兴趣对象的一个或更多个属性的一组方面；以及确定与所述一组方面中的至少一个方面相关联的一个或更多个类别，以包括在所述类别集中。6.根据权利要求1所述的方法，其中，使用所述类别集和所述图像签名来识别所述一组发布还包括：选择与所述类别集中的一个或更多个类别相关联的查询发布；将用于所述至少一个图像的图像签名同与所述查询发布相关联的一组图像签名进行比较，以确定一个或更多个相似的图像签名；以及将所述一组发布识别为与所述一个或更多个相似的图像签名相关联的所述查询发布的子集。7.根据权利要求1所述的方法，其中，所述至少一个图像是包括视频的一组帧，所述方法还包括：由所述至少一个处理器确定用于第一图像中的感兴趣对象的第一类别集和用于第二图像中的感兴趣对象的第二类别集，所述第一图像和所述第二图像选自所述视频的所述一组帧；由所述至少一个处理器生成包括所述第一图像的第一向量表示的第一图像签名和包括所述第二图像的第二向量表示的第二图像签名；由所述至少一个处理器使用所述第一类别集、所述第二类别集、所述第一图像签名和所述第二图像签名，识别所述发布数据库内的一组发布；以及基于所述第一图像签名和所述第二图像签名中的一个或更多个来指定所述一组发布中的每个发布的排序，以生成发布的排序列表。8.一种系统，包括：一个或更多个硬件处理器；以及机器可读存储介质，所述机器可读存储介质包括指令，所述指令当由所述一个或更多个硬件处理器执行时使得所述一个或更多个硬件处理器执行包括如下的操作：由服务器的一个或更多个处理器接收描绘感兴趣对象的至少一部分的至少一个图像；由所述一个或更多个处理器确定用于所述感兴趣对象的类别集；由所述一个或更多个处理器生成用于所述至少一个图像的图像签名，所述图像签名包括所述至少一个图像的向量表示；由所述一个或更多个处理器基于所述类别集和用于所述至少一个图像的图像签名，识别发布数据库内的一组发布；基于所述图像签名来指定所述一组发布中的每个发布的排序以生成发布的排序列表；以及使得在从其接收所述至少一个图像的计算设备处呈现所述发布的排序列表。9.根据权利要求8所述的系统，其中，所述操作还包括：由所述一个或更多个处理器识别表示所述至少一个图像内的感兴趣对象的一个或更多个属性的一组方面；以及针对所述一组方面中的每个方面，确定所述至少一个图像内的感兴趣对象包括指定方面的概率以生成每个方面的置信度得分。10.根据权利要求9所述的系统，其中，所述一个或更多个属性是所述感兴趣对象的外观的要素，并且所述一组方面中的每个方面是与指定属性相关联的描述性词。11.根据权利要求9所述的系统，其中，根据第一排序顺序组织所述排序列表，所述操作还包括：针对所述一组发布中的每个发布，识别一组元数据描述符；生成所述一组发布中的每个发布的方面排序得分，所述方面排序得分是通过对所述感兴趣对象的所述一组方面与所述一组元数据描述符进行加权比较而生成的；以及生成根据第二排序顺序组织的经修改的发布的排序列表，...

【专利技术属性】
技术研发人员：阿基亚·戈拉克纳特·卡莱，杨帆，王乔松，穆罕默德哈迪·基亚普尔，鲁宾逊·皮拉穆图，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：美国,US