使用深度相机数据的高性能平面检测制造技术

主题公开涉及基于像素深度、行高度和两个常量之间的关系使用场景图像的深度数据检测场景中的平面。处理深度图像的样本以使常量的值拟合平面公式化，从而确定哪些样本指示平面。可根据指示平面的那些样本来确定参考平面，其中处理深度图像中的像素以基于像素的深度、位置和相关联的拟合值确定每一个像素与平面的关系(例如，在平面下方、在平面上、或者在平面上方)。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】使用深度相机数据的高性能平面检测 背景 使用深度传感器检测平坦平面是计算机视觉中的常见任务。平坦平面检测具有许 多实际用途，其范围从机器人（例如，在导航期间分辨地板与障碍物）到游戏（例如，在玩 家房间中的现实世界墙壁上描绘增强现实的图像）。 平面检测被视为更通用表面提取系列算法的特殊情况，其中在场景上检测任何连 续的表面（包括但不限于平坦表面）。使用RANSAC (随机采样和一致）算法的变体成功地 执行了通用表面提取。在那些方法中，构造三维（3D)点云，并且对3D场景空间随机采样。 然后，评价样本属于相同的几何构造（例如，墙壁或花瓶）。平面检测还已经以类似的方式 执行。 使用这些现有平面检测方法的主要缺陷之一是差性能。3D点云需要从每一帧构 造，并且只能随后才开始采样。一旦采样，需要进一步分析点属于3D场景上的平面。此外， 为了将深度帧中的任何像素分类为属于平面，需要将像素放置到3D点云场景中，并且随后 对其分析。该过程在计算和存储器资源方面是昂贵的。 在真正需要的是仅检测相对较少的简单平面（例如，地板、书架等）时，需要构造 3D点云给解决方案增加了显著的算法复杂度。使用朴素3D平面拟合法检测和重构深度传 感器的视图中的简单平面（诸如地板、墙壁、或者天花板）无法利用相机式深度传感器的性 质。 概述 提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些代表性 概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在以可能限 制要求保护的主题的范围的任何方式使用。 简而言之，本文中所描述的主题的各方面中的一个或多个方面涉及处理图像的深 度数据以确定平面。一个或多个方面描述了使用包含像素的多个带来针对每个带寻找表示 该带的像素多好地拟合基于与该带相对应的深度数据中的像素深度值和像素位置的平面 公式化的值。基于这些值是否满足指示平面的误差阈值来维持指示平面的至少一些带的 值。所维持值集合与深度数据中的像素集合相关联。 -个或多个方面包括被配置成产生场景的平面数据的平面提取逻辑。平面提取逻 辑输入包含其中每一个像素具有深度值、列索引和行索引的像素的多帧深度数据，并且处 理帧数据以计算与像素相关联的成对的值。对于每一个像素，其相关联的一对计算值、其深 度值、以及其行或列索引指示该像素与参考平面的关系。 -个或多个方面涉及处理具有像素深度值的带，包括对于每一个带，寻找拟合基 于该带的像素的行高度和深度数据的平面公式的拟合值。基于分辨平面带与非平面带的阈 值评估消除具有与平面不对应的像素的任一个带的拟合值。关于那些未消除的带，确定这 些带中的哪些带可能在参考平面上。可能在参考平面上的这些带的拟合值用于使一组拟合 值与每一列像素相关联。 根据结合附图进行的以下详细描述，其他优点可能变得显而易见。 附图简述 本专利技术通过示例进行解说，并且在附图中不受限制，其中相似的附图标记指示类 似的元件且其中： 图1是根据一个或多个示例实现的表示可用于计算来自二维（2D)深度图像的平 面数据的示例组件的框图。 图2是根据一个或多个示例实现的可用于计算平面数据的深度相机的视图平面、 到平面的距离、行高度、以及相机高度之间的关系的示例的表示。 图3是根据一个或多个示例实现的与捕捉图像相对应的深度数据的采样带（片） 可怎样用于检测平面的表示。 图4是根据一个或多个示例实现的行高度和距离怎样与参考平面（例如，地板） 相关的表不。 图5是根据一个或多个示例实现的与捕捉图像相对应的深度数据的采样带（片） 可怎样用于检测平面和相机横滚的表示。 图6是根据一个或多个示例实现的表示可通过处理2D深度数据采用其确定参考 平面的示例步骤的流程图。 图7是表示其中可实现本文中所描述的各个实施例的一个或多个方面的以游戏 系统的形式的示例性非限制性计算系统或操作环境的框图。 详细描述 本文中所描述的技术的各方面一般涉及不需要建立3D点云、由此获得相对于传 统方法的显著计算节约的平面检测。同时，该技术实现从场景的高质量平面提取。通过利 用当平坦表面在视图中时深度传感器（举例而言诸如使用微软公司的Kinect?技术）产生 的特定深度图像性质来实现高性能平面检测。 一般而言，该技术基于应用描述在通过产生从场景上的物体到视图平面（即，垂 直于以直角进入传感器的中心射线的平面）的距离的2D像素表示的深度传感器查看时平 坦表面的片'应当'看起来怎样的分析功能。 如本文中所描述的，从此类深度传感器查看时的平坦表面的片必须拟合形式： Depth = B/ (Rowlndex-A)(深度=B/ (行索引-A))(或者 D = B/ (Η-A)，其中 Η 是 像素行的数字索引；例如在640X480深度图像上，该索引可从1到480)。深度或D是到在 像素行（Η)测量的所感测障碍物的距离，并且Α和Β是描述穿过所观察障碍物的假设平面 的常量。常量A可被解释为传感器看到无限性的"第一像素行索引"，也被称为"水平索引"。 B可被解释为"离平面的距离"。另一种解释A和B的方式是声明A定义如从传感器查看的 平面的斜坡而B定义传感器从它正在看的表面起多高；对于地板，B对应于地板上方的相机 高度。 在本文中描述了从深度感测的帧的小片中寻找A和B常量由此提供将其余深度帧 像素分类为'在平面上'、'在平面下'或者'在平面上方'的算法，其与点云计算相比具有低 计算开销。上述分析表示提供了在已经检测的平面（例如，地板）方面能够通过操纵A和 /或B常量定义新平面（例如，峭壁或天花板）的附加益处。例如，如果计算如从移动机器 人看到的地板的A和B常量以对具有仅仅特定高度或者更高的障碍物分类，B和/或A常 量的值则可改变实现期望分类准确度和精密度的量。 由此，本文中所描述的技术检测以深度传感器为中心的坐标系中的平面。附加平 面可基于修改已经检测的表面的A和/或B。此外，该技术提供了通过变更A和/或B常 量、宽度和/或高度方向（height-wise)来检测俯仰和横滚平面。 应当理解，本文中的示例中的任一个示例都是非限制性的。由此，本专利技术不限于本 文中所描述的任何特定实施例、方面、概念、结构、功能或示例。相反，本文中所描述的任一 个实施例、方面、概念、结构、功能或示例都是非限制性的，并且本专利技术可以一般提供平面检 测、深度感测和图像处理的益处和优点的各种方式使用。 图1例示其中通过深度相机104在深度数据106的一个或多个顺序帧中捕捉场景 102的一般当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种方法，包括，处理图像的深度数据以确定平面，其中所述深度数据包括像素的经索引行和列以及每一个像素的深度值，包括：使用包含像素的多个带；针对每一个带寻找表示该带的像素多么好地拟合基于与所述带相对应的深度数据中的深度值和像素位置的平面公式化的值；基于所述值是否满足指示平面的误差阈值维持指示平面的至少一些带的值；以及使所维持值集合与所述深度数据中的像素集合相关联。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：G·史拉坎，M·R·扎洛贝亚努，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US