【技术实现步骤摘要】
【国外来华专利技术】实时对象检测和跟踪
技术介绍
计算机视觉分析技术可以用来检测和辨识(recognize)图像中的对象。例如，光学字符识别(opticalcharacterrecognition，OCR)技术可用于辨识图像中的文本，并且边缘检测技术可以用于检测图像中的对象(例如，产品、地标、动物等)。可以向用户(例如，捕获其中检测到对象的图像的用户)提供与检测到的对象相关的内容。
技术实现思路
本说明书描述了与呈现与图像中辨识到的对象相关的内容相关的技术。通常，本说明书中描述的主题的一个创新方面可以体现在由移动设备的一个或多个数据处理装置执行的方法中，该方法包括：检测移动设备的相机的取景器中描绘的一个或多个对象的存在；响应于检测到一个或多个对象的存在：将表示所述一个或多个对象的图像数据发送到选择与图像中描绘的对象相关的内容的内容分发系统；以及在等待从内容分发系统接收内容时，跟踪所述一个或多个对象中的每个对象在相机的取景器中的位置；从内容分发系统接收与所述一个或多个对象相关的内容；以及对于所述一个或多个对象中的每个对象：基于该跟踪来确定该对象在取景器中的当前位置；以及在取景器内并且在该对象的当前位置处呈现接收到的与该对象相关的内容。这方面的其他实施方式包括被配置为执行该方法的动作的对应的设备、方法、系统和编码在计算机存储设备上的计算机程序。这些和其他实施方式可以各自可选地包括以下特征中的一个或多个。检测图像中对象的存在可以包括：使用移动设备的相机捕获图像序列；基于图像序列中的图像的像素数据，确定相机基本上静止；响应于确定相...
【技术保护点】
1.一种由移动设备的一个或多个数据处理装置执行的方法，所述方法包括：/n检测所述移动设备的相机的取景器中描绘的一个或多个对象的存在；/n响应于检测到所述一个或多个对象的存在：/n将表示所述一个或多个对象的图像数据发送到选择与图像中描绘的对象相关的内容的内容分发系统；以及/n在等待从所述内容分发系统接收内容时，跟踪所述一个或多个对象中的每个对象在所述相机的取景器中的位置；/n从所述内容分发系统接收与所述一个或多个对象相关的内容；以及/n对于所述一个或多个对象中的每个对象：/n基于所述跟踪，确定所述对象在所述取景器中的当前位置；以及/n在所述取景器内并且在所述对象的当前位置处，呈现接收到的与所述对象相关的内容。/n
【技术特征摘要】
【国外来华专利技术】1.一种由移动设备的一个或多个数据处理装置执行的方法，所述方法包括：
检测所述移动设备的相机的取景器中描绘的一个或多个对象的存在；
响应于检测到所述一个或多个对象的存在：
将表示所述一个或多个对象的图像数据发送到选择与图像中描绘的对象相关的内容的内容分发系统；以及
在等待从所述内容分发系统接收内容时，跟踪所述一个或多个对象中的每个对象在所述相机的取景器中的位置；
从所述内容分发系统接收与所述一个或多个对象相关的内容；以及
对于所述一个或多个对象中的每个对象：
基于所述跟踪，确定所述对象在所述取景器中的当前位置；以及
在所述取景器内并且在所述对象的当前位置处，呈现接收到的与所述对象相关的内容。
2.根据权利要求1所述的方法，其中，检测图像中对象的存在包括：
使用所述移动设备的相机捕获图像序列；
基于所述图像序列中的图像的像素数据，确定所述相机基本上静止；
响应于确定所述相机基本上静止，在所述相机停止移动后捕获给定图像；以及
使用对象检测技术分析所述给定图像，以检测所述给定图像中所述对象的存在。
3.根据权利要求2所述的方法，其中，基于所述图像序列中的图像的像素数据，确定所述相机基本上静止包括：
识别所述图像序列中的第一图像中的每个像素的相应位置；
对于所述第一图像中的每个像素：
在所述第一图像被捕获之后捕获的一个或多个后续图像中，识别与所述像素匹配的对应像素的相应位置；以及
确定所述第一图像中的所述像素的相应位置和每个后续图像中的对应像素的相应位置之间的距离；
基于每个确定的距离小于阈值距离来确定所述相机基本上静止。
4.根据任一前述权利要求所述的方法，其中，在所述相机的取景器中在所述对象的当前位置处呈现对象的内容包括在所述取景器中在所述对象上方或附近呈现所述内容。
5.根据任一前述权利要求所述的方法，其中，确定对象在所述相机的取景器中的当前位置包括：
在所述给定图像中识别对应于所述对象的第一像素集；以及
确定所述取景器中与所述第一像素集匹配的第二像素集的位置。
6.根据权利要求1所述的方法，其中，确定对象在所述相机的取景器中的当前位置包括：
接收表示所述移动设备的相机的取景器中描绘的一个或多个对象的第一图像；
确定在所述第一图像中表示的并与所述对象相关联的第一像素集的第一视觉特征；
接收表示所述移动设备的相机的取景器中描绘的一个或多个对象的第二图像；以及
基于所述第一视觉特征确定所述对象在所述第二图像中的位置。
7.根据权利要求6所述的方法，其中，确定所述对象在所述相机的取景器中的当前位置包括：
确定在所述第一图像中表示的第二像素集的第二视觉特征；
确定所述第一像素集和所述第二像素集之间的距离；以及
基于所述第一视觉特征和所述第二视觉特征以及所确定的距离来确定所述对象在所述第二图像中的位置。
8.根据权利要求6或7所述的方法，其中，确定所述相机基本上静止基于所述对象在所述第一图像中的位置和所述对象在所述第二图像中的位置。
9.根据权利要求8所述的方法，其中，确定所述相机基本上静止还基于与所述第一图像相关联的时间和与所述第二图像相关联的时间。
10.根据任一前述权利要求所述的方法，其中，所述内容分发系统：
分析所述图像数据以辨识所述一个或多个对象中的每个对象；
为所述一个或多个对象中的每个对象选择内容；以及
在接收对与所述给定对象相关的内容的请求之前，预缓存所述内容。
11.根据任一前述权利要求所述的方法，还包括：
在所述取景器内并且为所述一个或多个对象中的每个对象呈现视觉指示器，所述视觉指示器指示与所述对象相关的内容正在被识别。
12.根据任一前述权利要求所述的方法，其中，检测所述移动设备的相机的取景器中描绘的一个或多个对象的存在包括：
使用粗略分类器处理表示所述移动设备的相机的取景器中描绘的所述一个或多个对象的图像数据。
13.根据权利要求12所述的方法，其中，所述粗略分类器包括轻量级模型。
14.根据任一前述权利要求所述的方法，还包括：
将所述一个或多个对象中的每个对象分类到相应的对象类别中；以及
基于所述一个或多个对象中的每个对象的相应类别，从多个视觉指示器中为所述对象选择相应的视觉指示器。
15.根据任一前述权利要求所述的方法，其中，向内容分发系统发送表示所述一个或多个对象的图像数据还包括发送指定与所述一个或多个对象相关联的位置的数据。
16.一种携带计算机可读指令的计算机可读介质，所述指令在被执行时使得计算机执行根据任一前述权利要求的方法。
17.一种系统，包括：
存储器，存储计算机可读指令；和
一个或多个处理器；
其中，所述一个或多个处理器被布置来读取和执行所述计算机可读指令，以使所述系统执行根据权利要求1至15中任一项的方法。
18.一种由移动设备的一个或多个数据处理装置执行的方法，所述方法包括：
检测所述移动设备的相机的取景器中描绘的一个或多个对象的存在；
响应于检测到所述一个或多个对象的存在：
在所述取景器内并且为所述一个或多个对象中的每个对象呈现视觉指示器，所述视觉指示器指示与所述对象相关的内容正在被识别；
将表示所述一个或多个对象的图像数据发送到选择与图像中描绘的对象相关的内容的内容分发系统；以及
在等待从所述内容分发系统接收内容时，跟踪所述一个或多个对象中的每个对象在所述相机的取景器中的位置；
从所述内容分发系统接收与所述一个或多个对象相关的内容；以及
对于所述一个或多个对象中的每个对象：
基于所述跟踪，确定所述对象在所述取景器中的当前位置；以及
在所述取景器内并且在所述对象的当前位置处呈现接收到的与所述对象相关的内容。
19.根据权利要求18所述的方法，其中，检测所述图像中对象的存在包括：
使用所述移动设备的相机捕获图像序列；
基于所述图像序列中的图像的像素数据，确定所述相机基本上静止；
响应于确定所述相机基本上静止，在所述相机停止移动后捕获给定图像；以及
使用对象检测技术分析所述给定图像，以检测所述给定图像中所述对象的存在。
20.根据权利要求19所述的方法，其中，基于所述图像序列中的图像的像素数据，确定所述相机基本上静止包括：
识别所述图像序列中的第一图像中的每个像素的相应位置；
对于所述第一图像中的每个像素：
在所述第一图像被捕获之后捕获的一个或多个后续图像中识别与所述像素匹配的对应像素的相应位置；以及
确定所述第一图像中的所述像素的相应位置和每个后续图像中的对应像素的相应位置之间的距离；
基于每个确定的距离小于阈值距离来确定所述相机基本上静止。
21.根据权利要求18所述的方法，其中，在所述相机的取景器中在所述对象的当前位置处呈现所述对象的内容包...
【专利技术属性】
技术研发人员：I巴德尔，RP凯尔，K尤瑟，TJ斯通，GH巴基尔，A祖姆布鲁南，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。