用于检测突起对象的显著点的方法和装置制造方法及图纸

提供了一种图像处理方法和装置(300)，所述方法包括：获得突起对象的深度图像(210)；选择所述深度图像中的位于围绕一像素的圆形上的多个测试点，该像素作为所述圆形的中心点；基于所述中心点的深度值和所选择的测试点中每个测试点的深度值之间的比较来计算所述中心点的突起值(240)；以及通过使用所述深度图像中每个像素的所述突起值来确定所述突起对象的一个或多个显著点(250)。

【技术实现步骤摘要】
【国外来华专利技术】用于检测突起对象的显著点的方法和装置
技术介绍
人类能够快速且准确地识别出场景中在视觉上值得注意的前景对象(称之为显著对象(salientobjects))，并且能够自动地将注意力集中到这种感官上重要的区域。然而，这种基本的智能行为对于计算机视觉系统来说，当它们被要求识别图像中的显著对象时，仍然是一项挑战。在过去的几十年，针对这个任务已经尝试了很多方法。目前，视觉显著性研究主要利用颜色差、梯度差以及灰度差来生成显著模型。这些显著模型主要致力于从背景场景中分割或分离出显著的目标，这通常被称为显著目标检测。这样的显著模型可以通过问题“场景中的显著目标在哪里”来解释。该显著对象检测通常依赖于关于对象属性和背景的一个假设，即，对象和它周围区域之间具有高的外观对比度。在外观对比度不高的情况下，通过这些显著模型提取的基于对比度的显著对象是不可靠的。
技术实现思路
提供以下的
技术实现思路
是为了简单地介绍一些概念，在后面的详细说明部分中将做进一步的描述。
技术实现思路
不是为了标识要求保护主题的关键特征或必要特征，也不是为了限定要求保护主题的范围。根据说明书描述的主题的一个实施例，一种图像处理方法包括：获得突起对象(protuberantobject)的深度图像；选择该深度图像中的位于围绕着一像素的圆形上的多个测试点，该像素作为所述圆形的中心点；基于所述中心点的深度值和所选择的测试点中每个测试点的深度值之间的比较来计算所述中心点的突起值；以及通过使用所述深度图像中每个像素的所述突起值来确定所述突起对象的一个或多个显著点。根据该主题的一个实施例，一种图像处理装置包括：获得模块，被配置用于获得突起对象的深度图像；计算模块，被配置用于选择该深度图像中的位于围绕着一像素的圆形上的多个测试点，该像素作为所述圆形的中心点，以及基于所述中心点的深度值和所选择的测试点中每个测试点的深度值之间的比较来计算所述中心点的突起值；以及检测模块，被配置为通过使用所述深度图像中每个像素的所述突起值来检测所述突起对象的一个或多个显著点。根据该主题的一个实施例，一种计算机系统包括一个或多个处理器以及存储有计算机可执行指令的存储器，所述指令当被执行时使得所述一个或多个处理器：获得突起对象的深度图像；选择该深度图像中的位于围绕着一像素的圆形上的多个测试点，该像素作为所述圆形的中心点；基于所述中心点的深度值和所选择的测试点中每个测试点的深度值之间的比较来计算所述中心点的突起值；以及通过使用所述深度图像中每个像素的所述突起值来确定所述突起对象的一个或多个显著点。在该主题的各种实施例中，由于对象和它周围区域之间的外观对比度对检测结果的影响较小，所以检测的可靠性得到改进。此外，实验结果显示了所述检测对于以下方面的鲁棒性：深度区域的旋转和等距变形、传感器的变化视角以及深度图像的低分辨率。此外，所述检测的计算量能够大幅度降低，从而根据该主题的实施例能够实现各种应用，诸如移动设备、车辆等。下面将详细描述该主题的各个方面和特征。参考下面结合附图的描述，该主题的其他目的和优点将变得更加明显并且易于理解。附图说明通过下面结合附图的详细描述，该主题的特征、本质和优点将变得更加明显，其中，在不同的附图中使用相同的参考标号表示相似或相同的元素。图1示出了可以利用该主题的实施例的示例性环境10的框图；图2示出了根据该主题的一个实施例的用于检测突起对象的方法的流程图；图3A示出了四个像素被选为围绕中心点的圆形上的测试点的图；图3B示出了八个像素被选为围绕中心点的圆形上的测试点的图；图4A和图5A分别示出了中心点和测试点的深度值，以及图4B和图5B分别示出了当具有相同数目的过零时，从顶测试点开始顺时针方向获得的比较结果；图6A和图7A分别示出了中心点和测试点的深度值，以及图6B和图7B分别示出了当具有相同数目的正比较结果时，从顶测试点开始顺时针方向获得的比较结果；图8示出了不平坦表面上的示例性突起块；图9示出了针对指尖在不同的指向状态下的突起值、接近值以及几何能量；图10示出了根据该主题的一个实施例的用于检测突起对象的装置的框图；以及图11示出了根据该主题的一个实施例的用于检测突起对象的计算机系统的框图。DETAILEDDESCRIPTION将参考附图结合示例性实施例描述该主题，但是该主题不限于此，而是旨在涵盖落入所要求保护主题的实质和范围内的所有修改、等效和变型。描述的附图指示说明性的，而不是限制性的。在附图中，为了说明的目的，一些元素的尺寸被夸大，而没有按照比例绘制。在本文中使用的术语中，术语“一”或“一个”表示“至少一个”，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”，术语“基于”表示“至少部分地基于”，术语“一个实施例”和“一实施例”表示“至少一个实施例”，术语“另一个实施例”表示“至少一个其他实施例”。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。图1示出了示例性环境10的框图，示例性环境10可以利用根据本文所描述主题的实施例的图像处理技术。应该理解，描述环境10的结构和功能仅仅是为了说明的目的，而不是对本文所描述主题的范围加以任何限制。环境10可以包括传感器20、显示器30以及计算设备40。传感器20可以用于获得深度图像。深度图像由像素组成，每个像素具有指示从特定点到场景中一点的距离的像素值(即，深度值)，该特定点通常关联于用于感测深度信息的传感器。例如，传感器可以是商业上可获得的传感器，诸如Kinect和DenseStereo中使用的传感器，其通常是低成本低分辨率的传感器。应该理解，只要通过传感器能够获得深度信息，可以采用任何类型的传感器20。此外，可以布置RGB摄像机以用于获得RGB图像，为了不混淆该主题的实施例的说明，在图1中没有示出RGB摄像机。在一个场景中，用户可以通过例如指尖的指点或划写、或手的动作等，在空中与显示器30上显示的应用(例如，游戏、操作窗口等)互动。计算设备40通过利用根据该主题的实施例的图像处理技术，可以连续地检测指尖并且跟踪指尖的指点或划写。在另一个场景中，计算设备40通过利用根据该主题的实施例的图像处理技术，可以检测手并且跟踪手的动作。应该理解，根据该主题的实施例能够被检测的对象不限于指尖、手指或手。图2是根据该主题的一个实施例的用于检测突起对象的方法的流程图。这里的突起对象指的是具有突起形状的对象。突起形状可以是例如手上的指尖，枪口，棒头，等等。在方框210，可以获得突起对象的深度图像。例如，可以使用三维(3D)感测技术，例如通过传感器20，来获得深度图像。在一个场景中，在传感器20实时地捕获深度图像的同时获得该深度图像。在另一个场景中，可以从存储设备中获得深度图像，其中该存储设备中预先存储或缓存了深度图像。所获得的深度图像可以是整个深度图像，也可以是整个图像中的感兴趣区域(ROI)，即，部分深度图像。为了表述的简单，可以将整个或部分深度图像统称为深度图像。可以使用任何方法来设置ROI，只要选择了包含感兴趣对象(例如，手)的区域即可。可以将深度图像中的一个像素选为圆形的中心点。如方框220所示，可以至少部分地基于该中心点的深度值dc来确定该圆形的半径r(dc)。中心本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：获得突起对象的深度图像；选择所述深度图像中的位于围绕一像素的圆形上的多个测试点，该像素作为所述圆形的中心点；基于所述中心点的深度值和所选择的测试点中每个测试点的深度值之间的比较来计算所述中心点的突起值；以及通过使用所述深度图像中每个像素的所述突起值来确定所述突起对象的一个或多个显著点。

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，包括：获得突起对象的深度图像；选择所述深度图像中的位于围绕一像素的圆形上的多个测试点，该像素作为所述圆形的中心点；基于所述中心点的深度值和所选择的测试点中每个测试点的深度值之间的比较来计算所述中心点的突起值；以及通过使用所述深度图像中每个像素的所述突起值来确定所述突起对象的一个或多个显著点。2.如权利要求1所述的方法，其中，所述圆形的半径是至少部分地基于所述中心点的深度值确定的。3.如权利要求1所述的方法，其中，所述测试点对称地位于所述圆形上。4.如权利要求1所述的方法，所述计算包括：计数与所选择的测试点相关联的正比较结果的数目，其中，如果一个测试点的深度值大于所述中心点的深度值，则产生一个正比较结果；其中，所述正比较结果的数目越大，所述中心点的所述突起值越大。5.如权利要求4所述的方法，所述计算还包括：从所选择的测试点中每个测试点的深度值减去所述中心点的深度值；以及计数与所选择的测试点相关联的过零的数目，其中，如果与一个测试点相关联的减法结果的符号不同于与其相邻测试点相关联的减法结果的符号，则产生一个过零；其中，所述过零的数目越小，所述中心点的所述突起值越大。6.如权利要求1所述的方法，其中，采用了两个或更多个半径的粗到细策略被应用于计算所述中心点的所述突起值。7.如权利要求6所述的方法，其中，所述粗到细策略包括：将具有最高出现频率的所计算的突起值投票为所述中心点的突起值。8.如权利要求6所述的方法，其中，所述粗到细策略包括：将所计算的突起值求平均，作为所述中心点的突起值。9.如权利要求1所述的方法，还包括：将所述深度图像中的每个像素的所述突起值利用该像素的相应深度值来进行平衡。10.如权利要求9所述的方法，所述平衡包括：正规化所述中心点的深度值；以及将所述中心点的所述突起值乘以所述中心点的经正规化的深度值。11.如权利要求9所述的方法，还包括：对所述深度图像中每个像素的经平衡的突起值应用基于回归的方法或基于分类的方法。12.如权利要求11所述的方法，其中，所述基于回归的方法或基于分类的方法包括以下方法中的一个：随机蕨、随机决策森林、卷积神经网络(CNN)、支持向量机(SVM)。13.一种图像处理装置，包括：获得模...

【专利技术属性】
技术研发人员：霍强，Y·班，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US