增强实时视图的计算机实施方法和计算机系统技术方案

本发明专利技术提供一种增强实时视图的计算机实施方法和相应的计算机系统。所述计算机实施方法包括：使用图像采集元件采集项目的图像；将所述图像中呈现的特征与对应于项目库中的项目的所存储的特征进行匹配，以识别匹配的项目；检索与所述匹配的项目相关联的可选择的内容；使用特征提取确定项目的多个角，以从所述图像中提取与所述多个角对应的兴趣点；至少部分地基于所述多个角确定边界框；对于所述边界框，确定满足预定变形阈值的透视变形；以及在显示元件上显示所述可选择的内容作为在边界框上的叠加，其中响应于对所述可选择的内容的选择呈现所述匹配的项目供购买。

Computer implementation method and computer system for enhancing real-time view

The present invention provides a computer implementation method for enhancing a real-time view and a corresponding computer system. The computer implemented method includes image acquisition image acquisition component projects; by matching the feature presentation of the image and the corresponding project in the project library in the memory, to identify matching projects; matching with the associated alternative content; feature extraction determine the project of multi angle, to extract from the image and the plurality of angle corresponding to the point of interest; at least in part based on the multiple angle boundary box; the bounding box, determined to meet the predetermined threshold deformation deformation perspective; as well as superimposed on the frame of the display element in the boundary on the display of the choice of content, the response to the choice of the content selection, presentation of the project for the purchase.

【技术实现步骤摘要】
增强实时视图的计算机实施方法和计算机系统本申请是2013年11月27日进入中国国家阶段的国际申请日为2012年5月25日、国家申请号为201280025710.9(国际申请号为PCT/US2012/039521)、名称为“增强实时视图”的专利技术专利申请的分案申请。
本申请涉及增强实时视图领域，更具体地涉及增强实时视图的计算机实施方法和计算机系统。
技术介绍
各种常规内容传递系统使计算设备用户(例如，智能手机)能够获得与用户(如通过使用计算设备的摄像机采集图像)提供的与图像有关的内容。例如，用户可通过摄像机采集电影海报的图像并且将所采集图像上载到内容传递系统。内容传递系统进而返回与电影海报相关联的电影有关的内容(例如，关于电影、多媒体内容等的信息)。为了传递与上载图像有关的内容，常规内容传递系统试图将从客户端设备接收的图像与在内容传递系统的图像数据库中存储的图像匹配。图像数据库可以存储来自杂志，海报，报纸，英特网等的成千上万张图像。例如，图像数据库可以存储对应于特定电影“X”的海报墙和广告牌的图像。因此，当内容传递系统从通信设备接收电影“X”的海报图像时，系统试图将接收的图像与在其图像数据库中存储的全部图像匹配。这样一种途径可以是非常耗费资源的，并且当用户以大量必须进行分析的图像向系统提交请求时可以带来显著的延迟时间。
技术实现思路
一方面，本专利技术提供一种计算机实施方法，其包括：使用图像采集元件采集项目的图像；将所述图像中呈现的特征与对应于项目库中的项目的所存储的特征进行匹配，以识别匹配的项目；检索与所述匹配的项目相关联的可选择的内容；使用特征提取确定项目的多个角，以从所述图像中提取与所述多个角对应的兴趣点；至少部分地基于所述多个角确定边界框；对于所述边界框，确定满足预定变形阈值的透视变形；以及在显示元件上显示所述可选择的内容作为在边界框上的叠加，其中响应于对所述可选择的内容的选择呈现所述匹配的项目供购买。优选地，所述可选择的内容包括下列各项中的至少一个：按钮或超链接。优选地，所述可选择的内容包括与所述项目相关联的项目信息，并且所述项目信息包括下列各项中的至少一个：价格、描述、客户评价、客户评论、特价优惠和促销、或与关联商品有关的关联信息。优选地，所述项目信息与在图像采集元件相关联的本地库中的存储信息匹配，并且其中所述存储信息限定在项目库中的项目。优选地，所述项目信息与相对于作为所述图像采集元件的主机的电子设备的远程的存储信息匹配，并且其中所述存储信息限定在项目库中的项目。优选地，所述方法还包括：响应于在所述项目与所述项目库中的项目之间发现多个匹配，确定到所述项目的附加匹配项目。优选地，所述方法还包括：用当前位置标识符或时间戳中的至少一个对所述匹配的项目进行标记。另一方面，本专利技术还提供一种用于以相关联的内容增强实时采集和显示的产品的图像的计算机系统，其包括：处理器；和具有计算机可执行指令的存储器，所述计算机可执行指令当在所述处理器上执行时，促使所述处理器：使用图像采集元件采集项目的图像；将所述图像中呈现的特征与对应于项目库中的项目的所存储的特征进行匹配，以识别匹配的项目；检索与所述匹配的项目相关联的可选择的内容；使用特征提取确定项目的多个角，以从所述图像中提取与所述多个角对应的兴趣点；至少部分地基于所述多个角确定边界框；对于所述边界框，确定满足预定变形阈值的透视变形；以及在显示元件上显示所述可选择的内容作为在所述边界框上的叠加，其中响应于对所述可选择的内容的选择呈现所述匹配的项目供购买。优选地，所述可选择的内容包括下列各项中的至少一个：按钮或超链接。优选地，所述可选择的内容包括与所述项目相关联的项目信息，所述项目信息包括下列各项中的至少一个：价格、描述、客户评价、客户评论、特价优惠和促销、或与关联商品有关的关联信息。优选地，所述计算机可执行指令还促使所述处理器用当前位置标识符或时间戳中的至少一个对所述匹配的项目进行标记。优选地，所述计算机可执行指令还促使所述处理器响应于所述用户选择所述可选择的内容而检索并且提供与所述图像叠加的所述可选择的内容相关联的信息。附图说明图1图示环境，其中可以实施各种实施方案。图2图示环境的图形表示，该环境可结合上文中关于图1描述的并且可根据各种实施方案使用的一个或多个组件。图3图示根据实施方案以(如呈现在电子设备上的)相关联的内容增强实时采集和显示的对象的图像的实例。图4图示根据实施方案用于以相关联的内容增强实时采集和显示的对象的图像的流程图。图5图示在根据实施方案以相关联的内容增强实时采集和显示的对象的图像中使用的检测技术的实例的流程图。图6图示根据实施方案的服务器端对象识别技术的流程图。图7图示在根据实施方案以相关联的内容增强实时采集和显示的对象的图像中使用的识别技术的实例的流程图。图8图示在根据实施方案以相关联的内容增强实时采集和显示的对象的图像中使用的叠加技术实例的流程图。图9图示在根据实施方案以相关联的内容增强实时采集和显示的对象的图像中使用的标记技术的实例的流程图。图10图示在根据实施方案以相关联的内容增强实时采集和显示的对象的图像中使用的电子设备的示例组件的流程图。图11图示根据实施方案以(如呈现在电子设备上的)相关联的内容增强实时采集和显示的对象的图像的另一个实例。具体实施方式各种实施方案提供用于响应于匹配图像信息而传递内容的方法和/或系统。特别地，响应于从通信设备提供的图像，可以将内容传递到该通信设备，如计算设备或客户端系统。该图像可能包含至少一个兴趣对象，并且可以通过通信设备(如在采集后立即上载图像的地方)基本上实时地采集和上载对象的一个或多个图像。可以将图像信息与在对实时采集的对象进行匹配的图像数据库中的信息进行比较，以便确定关于可以用于确定有关内容的对象的身份或其他信息。可以将检测和识别组件用于分析通过通信设备上载的图像信息以确定图像是否与任何项目、产品或(例如)在内容库中存储的其他类型的内容匹配。可以通过内容提供商以最新内容定期地更新内容库。各种实施方案还包括叠加服务器，其当检测和识别组件确定与对象相关联的内容时，(例如)检索相关联的内容并且基本上实时地提供相关联的内容到通信设备。在至少一些实施方案中，可以呈现该内容，使得内容增强(例如，叠加)(例如)视频帧中的通过通信设备采集的对象的当前显示图像。内容叠加元素可采取不同的形状和形式，如可包括框，按钮，3D结构，动画等等。内容叠加可以是互动式的，使得叠加可允许用户访问所呈现内容，编辑内容，基于所呈现内容进行研究，与同伴共享内容，导出内容等等。图1图示根据各种实施方案用于实施各方面的环境100。如将要了解的，尽管出于解释目的使用基于网页的环境，但是仍可将不同的环境用以(视情况而定)实施各种实施方案。环境100包括电子客户端设备102，其可以包括可操作来在适当网络104上发送和接受请求、消息或信息并且将信息传达回设备用户的任何适当设备。这类客户端设备的实例包括个人计算机，手机，手持式消息设备，笔记本电脑，机顶盒，个人数字助理，电子书阅读器等等。该网络可以包括任何适当网络，包括企业内部网，英特网，蜂窝网络，局域网或任何其他这类网络或其组合。用于这样一种系统的组件可以至少部分地取决于所选网络和/或环境本文档来自技高网...

【技术保护点】
一种计算机实施方法，其包括：使用图像采集元件采集项目的图像；将所述图像中呈现的特征与对应于项目库中的项目的所存储的特征进行匹配，以识别匹配的项目；检索与所述匹配的项目相关联的可选择的内容；使用特征提取确定项目的多个角，以从所述图像中提取与所述多个角对应的兴趣点；至少部分地基于所述多个角确定边界框；对于所述边界框，确定满足预定变形阈值的透视变形；以及在显示元件上显示所述可选择的内容作为在所述边界框上的叠加，其中响应于对所述可选择的内容的选择呈现所述匹配的项目供购买。

【技术特征摘要】
2011.05.27 US 13/117,5271.一种计算机实施方法，其包括：使用图像采集元件采集项目的图像；将所述图像中呈现的特征与对应于项目库中的项目的所存储的特征进行匹配，以识别匹配的项目；检索与所述匹配的项目相关联的可选择的内容；使用特征提取确定项目的多个角，以从所述图像中提取与所述多个角对应的兴趣点；至少部分地基于所述多个角确定边界框；对于所述边界框，确定满足预定变形阈值的透视变形；以及在显示元件上显示所述可选择的内容作为在所述边界框上的叠加，其中响应于对所述可选择的内容的选择呈现所述匹配的项目供购买。2.根据权利要求1所述的计算机实施方法，其中所述可选择的内容包括下列各项中的至少一个：按钮或超链接。3.根据权利要求1所述的计算机实施方法，其中所述可选择的内容包括与所述项目相关联的项目信息，并且所述项目信息包括下列各项中的至少一个：价格、描述、客户评价、客户评论、特价优惠和促销、或与关联商品有关的关联信息。4.根据权利要求3所述的计算机实施方法，其中所述项目信息与在与图像采集元件相关联的本地库中的存储信息匹配，并且其中所述存储信息限定在所述项目库中的项目。5.根据权利要求3所述的计算机实施方法，其中所述项目信息与相对于作为所述图像采集元件的主机的电子设备的远程的存储信息匹配，并且其中所述存储信息限定在所述项目库中的项目。6.根据权利要求1所述的计算机实施方法，其还包括：响应于在所述项目与所述项目库中的项目之间发现多个匹配，确定到所述项目的附加匹配项目。7...

【专利技术属性】
技术研发人员：古鲁穆尔西·拉姆库马尔，威廉·F·斯达西尔，布莱恩·E·费尔德曼，阿尔娜比·S·德华，纳林·普拉迪普·森萨米拉，
申请(专利权)人：A九COM公司，
类型：发明
国别省市：美国,US