使用增量特征提取的对象辨识制造技术

技术编号:8539198 阅读:163 留言:0更新日期:2013-04-05 04:37
在一个实例中,一种设备包括处理器,所述处理器经配置以:从所接收的图像的第一倍频程的第一组模糊化图像提取第一组一个或一个以上关键点;计算所述第一组关键点的第一组一个或一个以上描述符;接收用于通过用所述第一组描述符询问特征描述符数据库所产生的结果的置信度值,其中所述结果包含描述所述所接收的图像中的对象的身份的信息;以及当所述置信度值不超过置信度阈值时,从所述所接收的图像的第二倍频程的第二组模糊化图像提取第二组一个或一个以上关键点。以此方式,所述处理器可执行增量特征描述符提取,其可改进数字图像中的对象辨识的计算效率。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像处理系统,且更明确地说,涉及图像中的对象辨识。
技术介绍
在计算装置或计算机的上下文中的视觉搜索指代使得计算机或其它装置能够提供一个或一个以上图像中的对象的识别信息的技术。最近对视觉搜索的关注已经产生使得计算机能够在广泛多种变化的图像条件(包括图像尺度、噪声、照度和局部几何畸变的改变)中识别经部分遮蔽的对象和/或特征的算法。同时,已经出现包括相机的移动装置,但此类移动装置可能具有有限的用户接口来用于输入文本或以其它方式与移动装置介接。移动装置和移动装置应用程序的开发者已设法利用移动装置的相机来增强与移动装置的用户交互。为了说明一种增强,移动装置的用户可使用移动装置的相机来当在商店购物时俘获任何给定产品的图像。移动装置可接着在用于各种图像的一组所存档的特征描述符内起始视觉搜索算法以基于匹配图像来识别所述产品。在识别所述产品之后,移动装置可接着起始基于因特网的搜索,且呈现含有关于所识别的产品的信息的网页,所述信息可包括(例如)可从附近商家和/或在线商家获得所述产品的最低成本。在另一实例中,对象辨识可用以产生补充信息,所述补充信息可重叠在移动装置的显示器中以实现所谓的增强现实。
技术实现思路
一般来说,本专利技术描述用于数字图像中的对象识别的技术。这些技术可减小在图像中识别对象的计算复杂性。并非从预定数目的倍频程提取特征描述符,本专利技术的技术提供增量特征描述符提取,其前进通过所述倍频程。此外,本专利技术提供用于选择起始倍频程的技术以及用于选择后续倍频程的技术,其中将从所述倍频程提取特征描述符。在一个实例中,一种方法包括从所接收的图像的第一倍频程的第一组模糊化图像提取第一组一个或一个以上关键点;计算所述第一组关键点的第一组一个或一个以上描述符;接收用于通过用所述第一组描述符询问特征描述符数据库所产生的结果的置信度值,其中所述结果包含描述所述所接收的图像中的对象的身份的信息;以及当所述置信度值不超过置信度阈值时,从所述所接收的图像的第二倍频程的第二组模糊化图像提取第二组一个或一个以上关键点。在另一实例中,一种设备包括处理器,所述处理器经配置以从所接收的图像的第一倍频程的第一组模糊化图像提取第一组一个或一个以上关键点;计算所述第一组关键点的第一组一个或一个以上描述符;接收用于通过用所述第一组描述符询问特征描述符数据库所产生的结果的置信度值,其中所述结果包含描述所述所接收的图像中的对象的身份的信息;且当所述置信度值不超过置信度阈值时,从所述所接收的图像的第二倍频程的第二组模糊化图像提取第二组一个或一个以上关键点。在另一实例中,一种设备包括用于从所接收的图像的第一倍频程的第一组模糊化图像提取第一组一个或一个以上关键点的装置;用于计算第一组关键点的第一组一个或一个以上描述符的装置;用于接收用于通过用所述第一组描述符询问特征描述符数据库所产生的结果的置信度值的装置,其中所述结果包含描述所述所接收的图像中的对象的身份的信息;以及用于当所述置信度值不超过置信度阈值时从所述所接收的图像的第二倍频程的第二组模糊化图像提取第二组一个或一个以上关键点的装置。在另一实例中,一种计算机程序产品包括上面存储有指令的计算机可读媒体,所述指令在执行时致使处理器从所接收的图像的第一倍频程的第一组模糊化图像提取第一组一个或一个以上关键点;计算所述第一组关键点的第一组一个或一个以上描述符;接收用于通过用所述第一组描述符询问特征描述符数据库所产生的结果的置信度值,其中所述结果包含描述所述所接收的图像中的对象的身份的信息;以及当所述置信度值不超过置信度阈值时,从所述所接收的图像的第二倍频程的第二组模糊化图像提取第二组一个或一个以上关键点。附图说明图1为说明其中可应用用于增量特征描述符提取的技术的实例系统的框图。图2为说明已被确定以供用于关键点提取的高斯差(DoG)金字塔的概念图。图3为较详细地说明关键点的检测的概念图。图4为说明特征提取单元可借以获得梯度分布和定向直方图的实例技术的概念图。图5为说明跨越各种高斯尺度空间的实例关键点分布的图表的绘线图。图6为说明用于执行增量特征描述符提取的实例方法的流程图。具体实施例方式一般来说,本专利技术描述用于数字图像中的对象识别的技术。这些技术可减小在图像中识别对象的计算复杂性。并非从预定数目的倍频程提取特征描述符,本专利技术的技术提供增量特征描述符提取,其前进通过所述倍频程。特征描述符可大体上从一个或一个以上倍频程提取,其中每一倍频程对应于所述图像的特定大小(例如,像素分辨率)。针对给定倍频程,可将输入图像按比例缩放到与分辨率相关联的大小。可接着形成多个越来越高斯模糊化的图像,其每一者具有与倍频程相关联的分辨率。可分析用于所述倍频程的这些越来越模糊化的图像以提取特征描述符。并非提取用于预定数目的倍频程的特征描述符,本专利技术的技术针对于提取用于第一倍频程的特征描述符,接着试图基于这第一组特征描述符来在图像中检测对象。如果可使用这些特征描述符来检测到对象,那么不需要分析另外的倍频程。然而,如果无法从第一倍频程确定对象,那么可从后续倍频程提取特征描述符。此外,本专利技术提供用于选择起始倍频程的技术以及用于选择后续倍频程的技术,其中将从所述倍频程提取特征描述符。各种因子可用以选择起始倍频程。举例来说,可首先基于(例如)图像是在室内还是室外俘获的和/或图像中的对象相对于用以俘获所述图像的相机的深度(也就是说,从相机到图像中的对象的距离)来估计用于图像的比例因子。包括相机的装置(例如,例如智能电话等移动装置、平板计算装置、膝上型计算机或其它移动装置)还可包括传感器,所述传感器可用以估计当俘获图像时所述装置是在室内还是在室外。举例来说,全球定位系统(GPS)单元可提供指示当俘获图像时所述相机的位置的信息,所述信息可用以确定相机是在室内还是在室外。作为另一实例,如果所述装置包括在俘获图像时连接到无线接入点的无线网络接口,那么这可用作有利于估计当俘获图像时所述装置是在室内的因子。作为又一实例,可确定图像中的对象的深度信息,例如当所述装置具有立体相机布置时。在一些实例中,所述装置可包括多个深度估计单元,其经配置以估计所述图像中的对象的深度,作为使用立体相机布置执行的深度估计的附加或替代方案。举例来说,所述装置可包括深度估计单元,其收集来自一个或一个以上红外传感器的测量数据以估计场景中的对象的相对深度。作为另一实例,所述装置可包括有源探测传感器,例如光检测与测距(LIDAR)单元,其用于估计图像中的对象的深度。LIDAR单元可使用紫外线、可见光或红外线来对对象进行成像且处理所返回的信号以估计对象的深度。这些深度估计单元可单独地或彼此以任何组合使用来估计图像中的对象的深度。深度估计单元可大致上与相机俘获图像同时地操作,使得所述单元可在实际上不处理来自相机的图像数据的情况下确定由相机俘获的图像中的对象的深度。所述装置可包括使各种因子(例如,基于所述图像和所述装置的额外传感器)与所估计的对象尺度相关联的配置数据。举例来说,所述配置数据可将特定起始倍频程和尺度映射到所述对象的各种位置单元(或“loxel”)(即,所述对象可出现在其中的loxel)。作为实例,使用统计可在对象出现在给定Ioxel中时提供最有可能的尺度和/或倍频程的估计,以确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.07.30 US 61/369,228;2011.07.28 US 13/193,2941.一种确定图像中的对象的身份的方法,所述方法包含 从所接收的图像的第一倍频程的第一组模糊化图像提取第一组一个或一个以上关键占. 计算所述第一组关键点的第一组一个或一个以上描述符; 接收用于通过用所述第一组描述符询问特征描述符数据库所产生的结果的置信度值,其中所述结果包含描述所述所接收的图像中的对象的身份的信息;以及 当所述置信度值不超过置信度阈值时,从所述所接收的图像的第二倍频程的第二组模糊化图像提取第二组一个或一个以上关键点。2.根据权利要求1所述的方法,其进一步包含 确定所述置信度值不超过所述置信度阈值; 基于所述确定来从所述第二倍频程的第二组模糊化图像提取所述第二组关键点; 从所述第二组关键点计算第二组一个或一个以上描述符;以及用包含所述第一组描述符和所述第二组描述符的一组描述符询问所述特征描述符数据库。3.根据权利要求1所述的方法,其进一步包含 估计所述所接收的图像中的所述对象的尺度值; 基于所述所估计的尺度来选择所述特征描述符数据库的最小倍频程;以及提供所述特征描述符数据库中的最小倍频程的指示以致使所述特征描述符数据库的搜索搜索所述特征描述符数据库中的在所述选定最小倍频程处或以上的特征描述符。4.根据权利要求3所述的方法,其中估计所述尺度值包含 分析所述第一组关键点的跨越尺度空间的分布; 确定对应于所述分布中的尺度等级的截止点,使得大致90 %的所述关键点落在所述尺度等级以下;以及 作为所述所确定的截止点的函数估计所述尺度值。5.根据权利要求3所述的方法,其进一步包含获得用于所述对象的深度信息,其中估计所述尺度值包含至少部分基于用于所述对象的所述深度信息来估计所述尺度值。6.根据权利要求1所述的方法,其进一步包含 分析与俘获所述所接收的图像的相机相关联的来自一个或一个以上传感器的传感器/[目息;以及 基于所述传感器信息的所述分析来确定所述第一倍频程和所述第二倍频程中的至少一者的倍频程等级。7.根据权利要求6所述的方法,其中分析所述传感器信息包含分析全球定位系统GPS信息以确定当俘获所述所接收的图像时所述相机是否位于室外环境中。8.根据权利要求6所述的方法,其中分析所述传感器信息包含分析GPS信息以确定当俘获所述所接收的图像时相对靠近所述相机的对象的位置,且从用于所述对象的描述数据确定所述对象的大小。9.根据权利要求6所述的方法,其中分析所述传感器信息包含基于指示当俘获所述所接收的图像时包含所述相机的装置是否以通信方式耦合到无线网络的网络数据来确定所述相机是否位于室内环境中。10.根据权利要求6所述的方法,其中分析所述传感器信息包含计算指示当俘获所述所接收的图像时所述所接收的图像中的一个或一个以上对象与所述相机之间的距离的深度 目息。11.根据权利要求6所述的方法,其中分析传感器信息包含使用由有源探测传感器提供的数据估计所述对象的深度值。12.根据权利要求1所述的方法,其进一步包含将所述一个或一个以上描述符发送到服务器以致使所述服务器使用所述一个或一个以上描述符询问所述特征描述符数据库,其中接收所述置信度值包含响应于所述询问而从所述服务器接收所述置信度值。13.一种用于确定图像中的对象的身份的设备,所述设备包含处理器,所述处理器经配置以从所接收的图像的第一倍频程的第一组模糊化图像提取第一组一个或一个以上关键点;计算所述第一组关键点的第一组一个或一个以上描述符;接收用于通过用所述第一组描述符询问特征描述符数据库所产生的结果的置信度值,其中所述结果包含描述所述所接收的图像中的对象的身份的信息;且当所述置信度值不超过置信度阈值时,从所述所接收的图像的第二倍频程的第二组模糊化图像提取第二组一个或一个以上关键点。14.根据权利要求13所述的设备,其进一步包含相机,所述相机经配置以俘获所述图像且将所述图像提供到所述处理器。15.根据权利要求13所述的设备,其中所述处理器进一步经配置以当所述处理器确定所述置信度值不超过所述置信度阈值时基于所述确定来从所述第二倍频程的第二组模糊化图像提取所述第二组关键点,从所述第二组关键点计算第二组一个或一个以上描述符,且用包含所述第一组描述符和所述第二组描述符的一组描述符询问所述特征描述符数据库。16.根据权利要求15所述的设备,其中所述处理器进一步经配置以估计所述所接收的图像中的所述对象的尺度值,基于所述所估计的尺度来选择所述特征描述符数据库的最小倍频程,且在所述特征描述符数据库中搜索描述符,其中所述所搜索的描述符对应于所述特征描述符数据库中的在所述选定最小倍频程处或以上的倍频程。17.根据权利要求16所述的设备,其中为了估计所述尺度值,所述处理器经配置以分析所述第一组关键点跨越尺度空间的分布,确定对应于所述分布中的尺度等级的截止点以使得大致90%的所述关键点落在所述尺度等级以下,且作为所述所确定的截止点的函数计算所述尺度值。18.根据权利要求16所述的设备,其进一步包含深度估计单元,所述深度估计单元经配置以获得用于所述对象的深度信息,其中所述处理器经配置以至少部分基于用于所述对象的所述深度信息来估计所述尺度值。19.根据权利要求13所述的设备,其中所述处理器进一步经配置以分析与俘获所述所接收的图像的相机相关联的来自一个或一个以上传感器的传感器信息,且基于所述传感器信息的所述分析来确定所述第一倍频程和所述第二倍频程中的至少一者的倍频程等级。20.根据权利要求19所述的设备,其进一步包含全球定位系统GPS单元,所述GPS单元经配置以确定所述设备的位置信息,其中为了分析所述传感器信息,所述处理器经配置以基于由所述GPS单元确定的所述位置信息来确定当俘获所述所接收的图像时所述相机是否位于室外环境中。21.根据权利要求19所述的设备,其进一步包含GPS单元,所述GPS单元经配置以确定相对于所述设备的位置信息,其中为了分析所述传感器信息,所述处理器经配置以分析由所述GPS单元确定的所述位置信息以确定当俘获所述所接收的图像时相对靠近所述相机的对象的位置,且从用于所述对象的描述数据确定所述对象的大小。22.根据权利要求19所述的设备,其进一步包含无线网络接口,其中为了分析所述传感器信息,所述处理器经配置以基于指示当俘获所述所接收的图像时所述无线网络接口是否以通信方式耦合到无线网络的网络数据来确定所述相机是否位于室内环境中。23.根据权利要求19所述的设备,其进一步包含包括至少两个相机的相机阵列,所述至少两个相机包括俘获所述所接收的图像的所述相机,其中为了分析所述传感器信息,所述处理器经配置以从由所述相机阵列俘获的图像计算指示当俘获所述所接收的图像时所述所接收的图像中的一个或一个以上对象与所述相机之间的距离的深度信息。24.根据权利要求19所述的设备,其中所述一个或一个以上传感器包含有源探测传感器,所述有源探测传感器经配置以估计所述对象的深度值。25.根据权利要求13所述的设备,其中所述处理器经配置以将所述一个或一个以上描述符发送到服务器以致使所述服务器使用所述一个或一个以上描述符询问所述特征描述符数据库,且响应于所述询问而从所述服务器接收所述置信度值。26.根据权利要求13所述的设备,其中所述设备包含以下各项中的至少一者 集成电路; 微处理器;以及 包括所述处理器的无线通信装置。27.一种用于确定图像中的对象的身份的设备,所述设备包含 用于从所接收的图像的第一倍频程的第一组模糊化图像提取第一组一个或一个以上关键点的装置; 用于计算所述第一组关键点的第一组一个或一个以上描述符的装置; 用于...

【专利技术属性】
技术研发人员:帕温·库玛·拜哈提桑迪普·瓦达迪阿许温·史汪明纳桑尤里·列兹尼克奥努尔·C·哈姆西奇穆拉利·拉马斯瓦米·查里约翰·H·洪琼·厄克·李
申请(专利权)人:高通股份有限公司
类型:
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1