实时、基于模型的对象检测及姿态估计制造技术

一种系统，包括存储器以及被配置成进行以下操作的处理器：选择一组场景点对，为每个场景点对确定相应的特征向量，为每个特征向量在若干模型的特征向量数据中找到相应多个最近邻点对，为每个最近邻点对计算从相应场景点对到最近邻点对的相应对准变换，由此为每个最近邻点对限定相应的模型‑变换组合，每个模型‑变换组合指定最近邻点对所关联的相应对准变换及相应模型，递增相应的票箱计数器，其中每个票箱计数器对模型‑变换组合中的相应的一个进行计票，以及根据票箱计数器来选择模型‑变换组合之一，以检测对象并估计该对象的姿态。

Real time, model based object detection and attitude estimation

A system includes a memory and is configured to perform the following operations: the processor selects a set of points on the scene, for each scene point to determine the corresponding eigenvectors, for each feature vector in the feature vector data models found in the corresponding multiple nearest neighbor points, for each of the nearest neighbor points calculated from the corresponding the scene point to the nearest point on the corresponding alignment transformation, whereby for each nearest neighbor model to define the transform combination corresponding to each model, transform specified combination of nearest neighbor points of the associated corresponding alignment and the corresponding transformation model, increasing ballot counters accordingly, each of which is a counter for counting boxes corresponding the model transform in combination, and according to the ballot box to select one of the counter model transform combination, to detect the object and the object pose estimation.

【技术实现步骤摘要】
【国外来华专利技术】实时、基于模型的对象检测及姿态估计附图说明为更完全地理解本公开，参考以下详细描述和附图，在附图中，相同的参考标号可被用来标识附图中相同的元素。图1是根据一个示例的被配置成用于对象检测和姿态估计的系统的框图。图2是根据一个示例的用于对象检测系统的配置的计算机实现的方法的流程图。图3是根据一个示例的用于对象检测和姿态估计的计算机实现的方法。图4是根据针对所公开的方法及系统或其一个或多个组件或方面的实现的一个示例的计算环境的框图。所公开的设备的各实施例可采取各种形式。在附图中例示了(并在下文描述了)各具体实施例，并且应当理解，本公开旨在是说明性的，而并非旨在将本专利技术限于本文中所描述和解说的各具体实施例。详细描述增强现实系统被配置成捕捉真实世界环境或场景的图像。指示所捕捉的场景的数据接着通常以各种方式被修改，为经由显示器渲染图像作准备。这些修改依赖于检测存在于所捕捉的场景中的对象。对象检测包括或涉及对场景内的对象的姿态进行估计。描述了用于对象检测和姿态估计的系统及方法。检测及姿态估计可实时(例如，当输入数据被获取时)被提供。与修改图像数据有关的实时性能在图像被渲染和/或进一步的图像数据被获取时可能是有用的。例如，针对所渲染的图像(或其他输出数据)的对象检测及修改可在进一步的场景输入数据被捕捉时(或在这之前)和/或在查看者的输入数据捕捉设备的视野改变时(或在这之前)被提供。基于表示对象的模型数据在场景内检测并定位对象。模型数据可以是三维的网格数据。模型数据可包括在离线阶段或其他配置过程中获取的一组三维对象模型。这样的配置在捕捉并处理环境的图像数据以计算该环境的每个视觉场景的三维网格时允许实时检测及姿态估计。所公开的技术的若干其他方面支持实时对象检测。例如，指示场景点对及相关联的表面法向量的数据可被用作供与模型数据进行比较的特征。这样的特征数据能够快速计算。因此，原本将不允许实时对象检测的高计算复杂度被避免。此外，对象被可靠地检测而无需大量的场景点对。导致实时性能的其他方面包括将模型数据存储在被配置为搜索树(诸如其中可以快速检索近邻向量的k维树(或k-d树))的数据库中。各系统和方法还被配置成为所捕捉的场景中的对象提供稳健的检测及姿态估计。所公开的技术的若干方面提供了稳健的对象检测及姿态估计。例如，检测过程的多个方面有：特征向量的特征、投票数据结构、投票空间及投票过程，以及用于对象模型数据的搜索树(诸如k维树(或k-d树))的使用，。对象检测在多个方面是稳健的。例如，实时对象检测与检测不具有复杂几何结构的对象的能力相结合来实现。具有复杂几何结构的对象更容易来检测，因为复杂度降低了对象身份的模糊性。尽管输入网格数据(例如，网格几何结构和法向量)中存在噪声或其他不协调，但也可以可靠地检测对象。例如，生成输入网格数据的增强现实、输入数据捕捉和/或其他系统可以不一致地将相同方向分配给网格的法向量，在这种情况下，邻近或相邻表面法向量在从对象表面向内或向外指向之间交替。所公开的技术仍能够可靠地检测对象，而不管这样的表面法线不一致性。各系统和方法还能够同时检测一个或多个对象。因此，对象检测不限于尝试一次匹配单个对象模型。处理时间因此不依赖于(或取决于)对象模型数据库的大小。对象检测和姿态估计可以结合各种类型的增强现实处理来使用。例如，可以使用输出数据来替换、移除、修改或增强所检测到的对象的外观，和/或在给定经估计的姿态的情况下增强所检测到的对象的位置周围的场景的可视化。输出数据还可以或替代地被用来以某种方式操纵所检测到的对象和/或与所检测到的对象交互。对象的所检测到的位置及姿态还可被用作几何测量的重大事件。因此，所公开的各方法及系统的示例性应用包括(i)使用真实对象作为增强现实锚点来渲染经增强的对象、标签或其他项或与所捕捉的场景的几何结构一致的图像数据，(ii)通过改变所捕捉的场景中的可见的真实对象的几何属性(例如，形状)和/或光度测量属性(例如，颜色、纹理)来编辑真实，包括例如使对象完全消失，(iii)以某种方式与所检测到的对象交互，包括例如游戏交互，以及(iv)测量所检测到的(或以其他方式已知的)对象之间的几何结构，包括例如计算距离、角度和其他相对量。对象检测和姿态估计技术与各种不同的显示器和其他电子设备一起是很有用的。这些技术与具有或者不具有板载或以其他方式集成有图像数据捕捉设备(或相机)的电子设备相兼容。例如，图像数据可由分开的相机捕捉并且被提供到用于对象检测及姿态估计的系统。替代地或附加地，分开的显示器可被用来在对象检测处理之后渲染图像。在其他情况下，相机、对象检测、显示器或其任何组合被集成在单个设备内，诸如头戴式设备。图1示出了根据一个示例的具有对象检测系统102的电子设备100。对象检测系统102被配置成检测场景中的一个或多个对象并估计每个对象的姿态(例如，位置、取向)。在该示例中，电子设备100包括在其上渲染图像的一个或多个显示器104。对每个显示器104上的图像进行渲染可包括或以其他方式包含由对象检测系统102生成的数据。例如，在显示器104上被渲染的图像可根据所检测到的对象来被标记、增强或以其他方式来被修改。在一些情况下，显示器104是监视器、电视或其他壁挂式显示器。在其他情况下，显示器104是手持式或可佩戴显示器。显示器104的类型、大小、构造、配置及其他特性可以改变。电子设备100包括相机106。相机106可包括一个或多个组分相机(constituentcamera)106。相机106的每个组分相机可捕捉表示环境或场景的数据。在该示例中，相机106与电子设备100的其他组件集成在一起。作为结果，所捕捉的场景因此在电子设备100的附近。在其他情况下，所捕捉的场景是远离电子设备100的环境的一部分。在这些及其他情况下，电子设备100可包括旨在支持网络或其他通信以从相机106接收数据的一个或多个通信模块或组件。相机106可包括任何数量和类型的图像捕捉设备。在一些情况下，被配置成用于可见光成像的一个或多个相机与一个或多个深度相机组合。深度相机可被配置成通过飞行时间和/或其他测距技术(诸如立体三角测量)来测量深度。替代地或附加地，相机106可包括被配置成捕捉红外光或其他波长的一个或多个相机。替代地，相机106可被配置成捕捉跨多个波长的图像数据。在图1的示例中，电子设备100包括三维感测(3DS)系统108以处理由相机106捕捉的图像数据。例如，由3DS系统108提供的处理可生成表示所捕捉的图像数据的三维点云和/或网格。3DS系统108可被配置成在深度信息不是由相机106提供的情况下为三维点云生成深度信息。网格包括若干数据点以及针对每个数据点的相应表面法线数据。3DS系统108可经由硬件、固件和软件的任何组合来被提供。例如，3DS系统108可被实现为具有一个或多个嵌入式处理器以及一个或多个嵌入式存储器的片上系统(SoC)，在该一个或多个嵌入式存储器中储存有用来将处理器配置成实现图像数据处理任务的指令。虽然被示为电子设备100的分立组件，但是3DS系统108可在任何期望的程度上与对象检测系统102和/或其他设备组件集成在一起。在以下情况中，3DS系统108包括增强现实(AR)系统，或者由增强现实系统来本文档来自技高网...

【技术保护点】
一种系统，包括：其中储存有特征向量指令、匹配指令和投票指令的存储器；以及被耦合到所述存储器的处理器，所述处理器经由以下各项的执行来被配置：所述特征向量指令，所述特征向量指令用来获得用于场景输入的网格、选择所述网格的一组场景点对，以及为所述的一组场景点中的每个场景点对确定相应的特征向量；所述匹配指令，所述匹配指令为每个特征向量在多个模型的特征向量数据中找到相应多个最近邻点对，每个模型的所述特征向量数据指示多个对象中的对应的对象，以及进一步为所述多个最近邻点对中的每个最近邻点对计算从所述相应场景点对到所述最近邻点对的相应对准变换，由此为每个最近邻点对限定相应的模型‑变换组合，每个模型‑变换组合指定所述最近邻点对所关联的所述相应对准变换及所述相应模型；以及所述投票指令，所述投票指令用来为所述模型‑变换组合递增相应的票箱计数器，其中每个票箱计数器对所述模型‑变换组合中的相应的一个进行计票，以及进一步根据所述票箱计数器来选择若干的所述模型‑变换组合，以检测所述场景输入中的若干的所述对象并估计每个被检测到的对象的姿态。

【技术特征摘要】
【国外来华专利技术】2015.06.24 US 14/749,1891.一种系统，包括：其中储存有特征向量指令、匹配指令和投票指令的存储器；以及被耦合到所述存储器的处理器，所述处理器经由以下各项的执行来被配置：所述特征向量指令，所述特征向量指令用来获得用于场景输入的网格、选择所述网格的一组场景点对，以及为所述的一组场景点中的每个场景点对确定相应的特征向量；所述匹配指令，所述匹配指令为每个特征向量在多个模型的特征向量数据中找到相应多个最近邻点对，每个模型的所述特征向量数据指示多个对象中的对应的对象，以及进一步为所述多个最近邻点对中的每个最近邻点对计算从所述相应场景点对到所述最近邻点对的相应对准变换，由此为每个最近邻点对限定相应的模型-变换组合，每个模型-变换组合指定所述最近邻点对所关联的所述相应对准变换及所述相应模型；以及所述投票指令，所述投票指令用来为所述模型-变换组合递增相应的票箱计数器，其中每个票箱计数器对所述模型-变换组合中的相应的一个进行计票，以及进一步根据所述票箱计数器来选择若干的所述模型-变换组合，以检测所述场景输入中的若干的所述对象并估计每个被检测到的对象的姿态。2.根据权利要求1所述的系统，其特征在于，所述处理器还经由所述匹配指令的执行来：访问其中储存有所述特征向量数据的搜索树数据库；以及查询所述搜索树数据库以基于所述相应场景点对的所述特征向量与每个模型的所述特征向量数据之间的相应距离来确定所述多个最近邻点对。3.根据权利要求1所述的系统，其特征在于，所述特征向量以平移和旋转不变的方式描述所述场景点对中的每个点处的局部几何结构。4.根据权利要求3所述的系统，其特征在于，所述特征向量沿单个轴是旋转不变的，所述单个轴是重力轴。5.根据权利要求1所述的系统，其特征在于，每个特征向量包括：指示由所述相应场景点对限定的分段的长度的第一元素；指示由所述相应场景点对限定的分段与重力轴之间的角度的第二元素；指示在所述相应场景点对中的第一点处指定表面法向量的方位的角度的第三元素；指示在所述第一点处指定所述表面...

【专利技术属性】
技术研发人员：P·萨拉，N·古西斯，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US