使用深度分割的图像数据中的对象检测制造技术

接收用于视场的由至少一个光学传感器生成的RGB‑D数据。此后，RGB‑D数据被分支成用于视场的(i)RGB数据和(ii)深度数据。在深度数据内定义一个或多个边界多边形，其各自表征封装对象的视场内的窗。然后使用(多个)边界多边形裁剪RGB数据。稍后能够将图像处理应用到所裁剪的RGB数据以识别在其中的至少一个对象。也描述了相关联的装置、系统、技术、和物品。

【技术实现步骤摘要】
使用深度分割的图像数据中的对象检测
本文所描述的主题涉及使用深度分割的对图像数据内的对象的定位，以定义围绕对象的边界多边形从而促进进一步的图像处理。
技术介绍
传感器越来越多地在多个计算平台采用(包括用于游戏平台、移动电话等的独立传感器)以提供多维图像数据(例如，三维数据等)。这些图像数据被计算性地分析以定位对象，并且，在某些情况下，以稍后识别或否则表征这些对象。然而，在多维图像数据内的对象的定位和识别两者仍然不精确。
技术实现思路
在一方面，接收用于视场的由至少一个光学传感器生成的RGB-D数据。此后，RGB-D数据被分支成用于视场的(i)RGB数据和(ii)深度数据。在深度数据内定义一个或多个边界多边形，其各自表征封装对象的视场内的窗。然后使用(多个)边界多边形裁剪RGB数据。稍后能够将图像处理应用到裁剪的RGB数据以识别在其中的至少一个对象。至少一个边界多边形的形状能够是矩形的。一个或多个边界多边形的形状能够具有三条或更多条边。能够使用深度分割定义(多个)边界多边形。深度分割能够将具有相似深度的像素分组以定义对象的外边缘。图像处理的应用能够包括将至少一个其它边界多边形检测技术应用到裁剪的RGB数据以定义被用于识别和分类对象的至少一个第二边界多边形。这样的其它边界多边形检测技术能够包括诸如边缘框模型、SelectiveSearch、BING、CPMC、Endres、测地线、MCG、Objectness、Rahtu、随机棱镜、Rantalankila、Gaussian、SlidingWindow、Superpixels、和均匀(uniform)的技术。在其它变化中，这样的其它边界多边形检测技术包括颜色分割模型。图像处理的应用能够包括将两个或更多个不同类型的边界多边形检测技术应用到裁剪的RGB数据以定义多个提议的边界多边形，以及基于多个提议的边界多边形定义被用于识别和分类对象的至少一个最终边界多边形。至少一个最终边界多边形的定义能够包括应用多个提议的边界多边形的联合的交集，以及基于哪一个提议的边界多边形具有与其它提议的边界多边形相交最多的区来选择至少一个最终边界多边形。至少一个提议的边界多边形的形状能够是矩形或具有三条或更多条边的其它多边形形状。在相互关联的方面，接收用于视场的由至少一个光学传感器生成的组合的颜色和深度数据。此后，组合的颜色和深度数据被分支成用于视场的(i)颜色数据和(ii)深度数据。能够在深度数据内定义各自表征封装对象的视场内的窗的一个或多个边界多边形。能够使用(多个)边界多边形裁剪颜色数据。能够将图像处理应用到裁剪的颜色数据以识别在其中的至少一个对象。组合的颜色和深度数据能够是RGB-D数据或点云数据。也描述了非暂时性的计算机程序产品(即，物理地体现的计算机程序产品)，其存储当由一个或多个计算系统的一个或多个数据处理器运行时使得至少一个数据处理器执行本文的操作的指令。类似的，也描述了可以包括一个或多个数据处理器和耦合到一个或多个数据处理器的存储器的计算机系统(包括诸如移动电话、可穿戴设备(例如，智能眼镜、虚拟现实耳机、增强现实设备等)、和平板计算机等的智能设备)。存储器可以临时地或永久地存储使得至少一个处理器执行本文所述的操作中的一个或多个操作的指令。此外，既能够由单个计算系统内的一个或多个数据处理器，也能够由分布在两个或更多个计算系统当中的一个或多个数据处理器来实现方法。这样的计算系统能够被连接并且能够经由一个或多个连接(包括但不限于通过网络(例如，互联网、无线广域网络、局域网、广域网、有线网络等)的连接)、经由多个计算系统中的一个或多个之间的直接连接等来交换数据和/或命令或其它指令等。本文描述的主题提供了许多技术优点。例如，当前的主题提供多维图像数据(诸如RGB-D数据、点云、和也包括深度信息的从传感器以及CAD工具获得的其它图像数据)内增强的对象定位和对象表征。本文描述的主题的一个或多个变体的细节在附图和下面的描述中阐述。本文描述的主题的其它特征和优点将从描述和附图、以及从权利要求书中变得显而易见。附图说明图1是示出使用深度分割的图像的裁剪的过程流程图；图2是示出使用两个或更多个对象定位技术的所提议的边界多边形的生成的过程流程图；图3包括示出用于对象定位的深度分割的例示；图4包括示出用于对象定位的颜色分割的第一方面的例示；图5包括示出用于对象定位的颜色分割的第二方面的例示；图6是示出使用二元分类器和两个或更多个多级分类器的组合对在边界多边形内的对象的分类的过程流程图；图7A和图7B是示出从图像数据的元数据的导出的例示；图8是示出使用深度分割的图像数据中的对象检测的过程流程图；以及图9是用于实现本文描述的多方面的计算设备。各种附图中的相同附图标记指示相同的元件。具体实施方式当前主题针对用于在多维图像数据内定位(即，检测等)对象的增强的技术。这样的多维图像数据能够，例如，由指定颜色和深度信息两者的光学传感器生成。在一些情况下，多维图像数据是RGB-D数据，而在其它情况下，能够利用其它类型的多维图像数据，包括但不限于点云数据。虽然以下主要结合RGB-D图像数据来描述，但是应当理解，除非另有说明，否则当前主题可应用于其它类型的多维图像数据(即，组合颜色和深度数据/信息的数据)，所述其它类型的多维图像数据包括来自深度传感器/相机的视频流(其能够被表征为一系列RGB-D图像)。图1是示出使用深度数据的边界框(box)的生成的过程流程图100。最初，在110处，接收RGB-D数据(即，从远程计算系统接收、从本地数据存储访问、从远程数据库访问、从实时视频流访问、从一系列传感器(例如，3-D相机、红外线传感器、超声波传感器等)导出等)。这样的数据能够，例如，由相对于视场放置的光学传感器生成或以其它方式导出，所述光学传感器能够，例如，在两个维度表征颜色和视场内的可选择的像素的深度。在一些情况下，能够利用多个光学传感器，使得第一光学传感器提供颜色信息，并且第二光学传感器提供深度数据，并且这样的传感器的输出被组合以形成RGB-D数据(或其它类型的多维图像数据)。在其它变化中，能够有多个光学传感器，并且这样的传感器的输出能够被组合以提供比可能以其它方式用单个光学传感器提供的视场更广阔的视场。多个传感器的使用也通过组合具有诸如红外线、超声波等的不同波长的不同种类的传感器和相机来提高所获得的RGB-D数据的细节的质量和程度。还将理解，由(多个)光学传感器生成的视场能够是可变的。这样的可变性能够发生，例如，如果光学传感器正在移动和/或被部分遮蔽。示例光学传感器能够并入诸如INTELREALSENSE技术和/或MICROSOFTKINECT技术等的技术以提供多维图像数据。此外，多维图像数据能够是点云以及从传感器和CAD工具获得的包括深度信息的其它数据。在RGB-D数据的接收之后，这样的RGB-D数据能够被分支(即，分割等)到它的单独的分量中，使得颜色信息(RGB)与深度信息(D)分开并且不同，以形成分别示出视场的RGB图像150和视场的深度通道图像120的两个图像。然后深度通道图像120经受深度分割130(如将在下面进一步详细描述的)，以识别深度通道图像120内的一个或多个对象，来使得定义至少一个边本文档来自技高网...

【技术保护点】
一种由一个或多个数据处理器实现的方法，所述一个或多个数据处理器形成至少一个计算设备的部分，所述方法包括：接收用于视场的由至少一个光学传感器生成的RGB‑D数据；将所述RGB‑D数据分支成用于所述视场的(i)RGB数据和(ii)深度数据；定义所述深度数据内的至少一个边界多边形，其各自表征在封装对象的视场内的窗；使用所述至少一个边界多边形裁剪所述RGB数据；以及将图像处理应用到所裁剪的RGB数据以识别在其中的至少一个对象。

【技术特征摘要】
2016.11.29 US 15/363,4821.一种由一个或多个数据处理器实现的方法，所述一个或多个数据处理器形成至少一个计算设备的部分，所述方法包括：接收用于视场的由至少一个光学传感器生成的RGB-D数据；将所述RGB-D数据分支成用于所述视场的(i)RGB数据和(ii)深度数据；定义所述深度数据内的至少一个边界多边形，其各自表征在封装对象的视场内的窗；使用所述至少一个边界多边形裁剪所述RGB数据；以及将图像处理应用到所裁剪的RGB数据以识别在其中的至少一个对象。2.如权利要求1所述的方法，其中所述至少一个边界多边形的形状是矩形。3.如权利要求1所述的方法，其中所述至少一个边界多边形的形状具有三条或更多条边。4.如权利要求1所述的方法，其中所述至少一个边界多边形的定义利用深度分割。5.如权利要求4所述的方法，其中所述深度分割将具有相似深度的像素分组以定义所述对象的外边缘。6.如权利要求1所述的方法，其中应用图像处理包括：将至少一个其它边界多边形检测技术应用到所裁剪的RGB数据以定义被用于识别并分类所述对象的至少一个第二边界多边形。7.如权利要求6所述的方法，其中所述至少一个其它边界多边形检测技术包括从包括以下各项的组中选择的技术：边缘框模型、SelectiveSearch、BING、CPMC、Endres、测地线、MCG、Objectness、Rahtu、随机棱镜、Rantalankila、Gaussian、SlidingWindow、Superpixels、和均匀(uniform)。8.如权利要求6所述的方法，其中所述至少一个其它边界多边形检测技术包括颜色分割模型。9.如权利要求1所述的方法，其中应用图像处理包括：将两个或更多个不同类型的边界多边形检测技术应用到所裁剪的RGB数据以定义多个提议的边界多边形；以及基于被用于识别和分类所述对象的所述多个提议的边界多边形定义至少一个最终边界多边形。10.如权利要求9所述的方法，其中所述至少一个最终边界多边形的定义包括：应用所述多个提议的边界多边形的联合的...

【专利技术属性】
技术研发人员：WA法罗奇，J利普斯，E施密特，T弗里克，N弗扎诺，
申请(专利权)人：SAP欧洲公司，
类型：发明
国别省市：德国,DE