在图像内搜索和注释制造技术

包括编码在计算机存储介质上的计算机程序以用于在图像内搜索的方法、系统和装置。在一方面，方法包括从用户设备接收查询；从所述用户设备接收查询图像；识别响应于所述查询的结果图像；确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及响应于确定所述查询图像的所述子部分中被描绘的对象类似于所述结果图像：提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。

【技术实现步骤摘要】
【国外来华专利技术】
本说明书涉及在图像内搜索。
技术介绍
特征检测算法使得计算设备能够识别在图像中被描绘的视觉特征。视觉特征的检测已引起用于识别包括特定特征的图像的部分的技术的发展。例如，光学字符辨识技术允许图像被处理以识别包括在图像中的字母数字的字符。
技术实现思路
本说明书描述了涉及在图像内搜索的技术。一般地，本说明书中描述的主题的一个创造性的方面可以被体现在包括以下动作的方法中：从用户设备接收查询；从所述用户设备接收查询图像；识别响应于所述查询的结果图像；确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及响应于确定所述查询图像的所述子部分中被描绘的对象类似于所述结果图像：提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。该方面的其他实施例包括对应的系统、装置和计算机程序，其被配置为执行被编码在计算机存储设备上的所述方法的动作。这些和其他实施例可各自选择性地包括以下特征中的一个或多个。识别响应于所述查询的结果图像包括：识别响应于所述查询的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述查询的相关性度量；从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数；以及识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。识别响应于所述查询的结果图像可以包括：访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像；识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的查询的被配对的查询；以及识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。确定所述查询图像的子部分中被描绘的对象类似于所述结果图像可以包括：比较所述结果图像的视觉特征与所述查询图像的视觉特征；基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量；确定所述相似度度量满足预确定的相似度阈值；以及响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。所述注释数据可以指定边界框的坐标，所述边界框环绕在包括类似于所述结果图像的所述对象的所述查询图像的所述子部分周围，并且，所述注释可以包括所述边界框的视觉描绘。所述注释可以包括所述查询图像的所述子部分的视觉突出显示，所述查询图像的所述子部分包括类似于所述结果图像的所述对象。所述注释可以包括所述结果图像的至少一部分。本说明书中描述的主题的特定实施例可被实现，从而实现以下好处中的一个或多个。由于多种原因，用户可能喜欢在图像或视频内识别对象时协助。例如，本文中描述的主题可促进对对象的用户识别快于用户用其他方式能够定位或识别对象。此外，对象可为用户被识别或定位，即使用户没有意识到对象长什么样子。本说明书中所描述的主题的一个或多个实施例的细节将在下面的附图和描述中被阐明。主题的其他特征、方面和优势将通过描述、附图和权利要求变得显而易见。附图说明图1是用于在图像内搜索的示例环境的框图。图2是用于在图像内搜索的示例过程的图示说明。图3是与图像一起被显示的示例注释的图示说明。图4是用于在图像内搜索的示例过程的流程图。图5是示例数据处理装置的框图。各种附图中的相同的参考数字和命名指示相同的元素。具体实施方式图像搜索系统促进在图像内对对象的识别和注释。例如，如果用户希望在包括多个对象的图像中找到特定对象，图像搜索系统可以在图像中找到该特定对象并使得其对于用户被突出显示。本文中公开的系统和方法促进在图像内对对象的识别和注释。图像搜索系统从用户设备接收查询和图像。例如，想要在充满装满不同糖果棒的杂货架子上找到特定糖果棒的用户可以拍下架子的照片并向图像搜索系统提交照片和查询，所述查询指定用户正在图像搜索系统中寻找的特定糖果棒。在接收到了查询和图像之后，图像搜索系统识别响应于所接收的查询的至少一个结果图像。例如，图像搜索系统可查询图像数据库以找到与用户的查询指定的特定糖果棒高度相关的图像。示例高度相关结果图像可以是，例如，它的以其与众不同的包装中的特定糖果棒的图像。图像搜索系统确定查询图像的部分是否匹配或类似于被图像搜索系统识别的结果图像。例如，被识别为与用户对特定糖果棒的查询相关的图像可以被与用户设备提供的图像相比较，以确定用户设备提供的图像的部分是否类似于所述相关的图像。响应于确定图像的部分类似于所识别的图像，图像搜索系统将使得用户设备在该用户设备原始提交的图像中显示注释的注释数据提供给该用户设备。该注释指定类似于图像搜索系统识别的结果图像的用户提交的图像的部分。例如，如果杂货店架子的照片的部分类似于特定糖果棒的图像，图像搜索系统将突出显示图像的该部分的指令提供给用户设备，指示用户杂货店架子的图像包括类似于用户的查询指定的特定糖果棒的一些东西。图1是用于在图像内搜索的示例环境100的框图。计算机网络102，诸如局域网(LAN)、广域网(WAN)、互联网或者其组合，连接发布者网站104、用户设备106以及图像搜索系统108。在线环境100可包括上千的发布者网站104和用户设备106。网站104包括与域名相关联的并被一个或多个服务器托管的一个或多个资源105。示例网站是以超文本标记语言(HTML)为格式的网页的集合，所述超文本标记语言(HTML)可以包括文本、图像、多媒体内容以及编程元素，诸如脚本。每个网站104被内容发布者维护，该内容发布者是控制、管理和/或拥有网站104的实体。资源105是可被发布者104通过网络102提供的并且与资源地址相关联的数据。资源包括HTML页面、文字处理文档和可移植文件格式(PDF)文档、图像、视频和馈源，仅举几例。资源可包括内容，诸如文字、短语、照片等等，并且可包括嵌入式信息(诸如，元信息和超链接)和/或嵌入式指令(诸如，脚本)。用户设备106是能够通过网络102请求和接收资源以及其他数据的电子设备。示例用户设备106包括个人计算机本文档来自技高网...

【技术保护点】
一种由数据处理装置实现的方法，所述方法包括：从用户设备接收查询；从所述用户设备接收查询图像；识别响应于所述查询的结果图像；确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及响应于确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像：提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。

【技术特征摘要】
【国外来华专利技术】2013.08.14 US 13/966,4701.一种由数据处理装置实现的方法，所述方法包括：
从用户设备接收查询；
从所述用户设备接收查询图像；
识别响应于所述查询的结果图像；
确定所述查询图像的子部分中被描绘的对象类似于所述结果图
像；以及
响应于确定所述查询图像的所述子部分中被描绘的所述对象类似
于所述结果图像：
提供注释数据至所述用户设备，所述注释数据使得所述用户设备
与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图
像的所述对象的所述查询图像的所述子部分。
2.根据权利要求1所述的方法，其中，识别响应于所述查询的结
果图像包括：
识别响应于所述查询的多个图像搜索结果，其中，每个图像搜索
结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示
所述图像资源与所述查询的相关性度量；
从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排
名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他
图像搜索结果的图像相关性分数的图像相关性分数；以及
识别被所述排名最高的图像搜索结果引用的所述图像资源作为所
述结果图像。
3.根据权利要求1所述的方法，其中，识别响应于所述查询的结
果图像包括：
访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的
查询和被配对的图像；
识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接

\t收的查询的被配对的查询；以及
识别包括在所述特定的查询-图像对中的被配对的图像作为所述
结果图像。
4.根据权利要求1所述的方法，其中，确定所述查询图像的子部
分中被描绘的对象类似于所述结果图像包括：
比较所述结果图像的视觉特征与所述查询图像的视觉特征；
基于所述比较，确定所述结果图像的所述视觉特征与所述查询图
像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量；
确定所述相似度度量满足预确定的相似度阈值；以及
响应于确定所述相似度度量满足所述预确定的相似度阈值，确定
所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图
像。
5.根据权利要求1所述的方法，其中，所述注释数据指定边界框
的坐标，所述边界框环绕在包括类似于所述结果图像的所述对象的所
述查询图像的所述子部分周围，并且其中，所述注释包括所述边界框
的视觉描绘。
6.根据权利要求1所述的方法，其中，所述注释包括所述查询图
像的所述子部分的视觉突出显示，所述查询图像的所述子部分包括类
似于所述结果图像的所述对象。
7.根据权利要求1所述的方法，其中，所述注释包括所述结果图
像的至少一部分。
8.一种系统，包括：
数据处理装置；以及
存储指令的数据存储，所述指令当被所述数据处理装置执行时，
使得所述数据处理装置执行操作，所述操作包括：
从用户设备接收查询；
从所述用户设备接收查询图像；
识别响应于所述查询的结果图像；
确定所述查询图像的子部分中被描绘的对象类似于所述结果图
像；以及
响应于确定所述查询图像的所述子部分中被描绘的所述对象类似
于所述结果图像：
提供注释数据至所述用户设备，所述注释数据使得所述用户设备
与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图
像的所述对象的所述查询图像的所述子部分。
9.根据权利要求8所述的系统，其中，识别响应于所述查询的结
果图像包括：
识别响应于所述查询的多个图像搜索结果，其中，每个图像搜索
结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示
所述图像资源与所述查询的相关性度量；
从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排
名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他
图像搜索结果的图像相关性分数的图像相关性分数；以及
识别被所述排名最高的图像搜索结果引用的所述图像资源作为所
述结果图像。
10.根据权利要求8所述的系统，其中，识别响应于所述查询的
结果图像包括：
访问存...

【专利技术属性】
技术研发人员：乔治·L·纳赫曼，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US