对象识别制造技术

一种识别对象的方法，包括将对象的三维点云与来自数据集的三维候选进行比较以确定第一置信度得分，并且将对象的二维图像的颜色度量与来自数据集的二维候选进行比较，以确定第二置信度得分。点云包括根据白平衡图像校准的颜色外观，并且将对象的颜色外观与三维候选进行比较。选择第一或第二置信度得分以确定三维候选或二维候选中的哪一个与对象相对应。

Object recognition

A method for identifying an object includes comparing the 3D point cloud of the object with the 3D candidate from the dataset to determine the first confidence score, and comparing the color metric of the 2D image of the object with the 2D candidate from the dataset to determine the second confidence score. The point cloud includes a color appearance calibrated against the white balance image, and compares the color appearance of the object with the 3D candidate. Select the first or second confidence score to determine which of the three-dimensional or two-dimensional candidates corresponds to the object.

【技术实现步骤摘要】
【国外来华专利技术】对象识别
技术介绍
对象识别和检索是计算机视觉和图像处理的一个领域。在一种应用中，物理对象可以转换成对象的数字表示，并且对象的数字表示可以转换成物理对象。可以经由使用彩色或单色调打印机对数据文件进行二维打印或经由使用三维打印机对数据文件进行三维打印或增材制造来实现数字到物理的变换。对象识别可以用于检索与对象相关联的数据文件和信息，以及用于其他内容交互。附图说明图1是图示了对象识别的方法的示例的框图。图2是图示了用于应用图1的示例方法的示例系统的示意图。图3是图示了图1的示例方法的示例实现的框图。图4是图示了图1的示例方法的示例特征的框图。图5是图示了图1的示例方法的另一示例特征的框图。具体实施方式对象识别是包括增强现实、人机交互、三维打印等的许多高级应用的基础。对象识别系统可以从训练数据集中学习不同的对象类或实例，其中训练信息包括要识别的对象的各种示例。在出现新的未标记查询的情况下，该系统可以返回对象类、或特定对象的名称、或未找到该对象的通知。二维图像实例识别系统通常尝试从一组已知的二维图像中识别二维图像。在从不同视角观看的对象的图像上训练对象实例识别。对于单个三维对象，这些图像可能不同。此外，用于训练的对象的位置的数量取决于对象的形状，并且可能很大。二维对象识别的另一个限制在于，将对象映射或投影到二维图像会导致信息丢失。用深度传感器收集的三维深度数据提供了诸如点云(pointcloud)这样的以实时色深(color-depth)图像的形式的丰富的对象数据。然而，性能取决于数据的质量，包括噪声水平、分辨率和精度。与图像传感器相比，不同的色深传感器具有很大的特性差异。三维色深传感器在处理小的对象或者黑色或闪光的对象时有困难。此外，相对于处理二维图像，处理三维深度数据可能在计算上较为昂贵。用于对象识别的示例系统包括二维图像流水线和三维点云流水线。在一个示例中，通常并行地执行流水线化的操作，并为每个结果分配置信度得分(confidencescore)。在一个示例中，固定传感器系统执行几何校准和白平衡校正，包括基于深度的对象分割，以提供颜色表示。可以在两个流水线中都应用颜色表示。图1图示了识别对象的方法100。在一个示例中，将对象与数据集中的候选进行比较以确定匹配候选。在该示例中，数据集可以包括多个候选，每个候选具有三维点云和二维图像。在102处，将对象的三维点云与来自数据集的候选的三维点云进行比较以确定第一置信度得分。对象的点云包括根据白平衡图像校准的颜色外观(colorappearance)。在102处的三维比较包括将对象的三维点云的颜色外观与候选的三维点云进行比较。在104处，将对象的二维图像与来自数据集的候选的二维图像进行比较以确定第二置信度得分。在104处的二维比较包括将对象的二维图像的颜色度量与候选的二维图像进行比较。在一个示例中，通常并行地执行102处的比较和104处的比较，并且这两个比较包括颜色度量(colormetrics)的比较。如果来自104处的二维比较的最高得分候选与来自102处的三维比较的最高得分候选相匹配，则已辨识(identify)出该对象的可能性非常高。然而，如果来自104处的二维比较的最高得分候选与来自102处的三维比较的最高得分候选不匹配，则在106处选择第一和第二置信度得分中的一个来确定三维候选或二维候选中的哪一个对应于该对象。如果所选的置信度得分无法至少满足阈值，则尚未在候选集中找到对象。示例方法100可以被实现为包括用来执行用于识别对象的方法100的一个或多个硬件设备和用于控制系统的计算机程序的组合，诸如具有处理器和存储器的计算系统。方法100可以被实现为具有用于控制处理器执行方法100的可运行指令集的计算机可读介质或计算机可读设备。计算机存储介质或非暂时性计算机可读介质包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字万用盘(DVD)或其他光学存储装置、磁盒、磁带、磁盘存储装置或其他磁性存储设备、通用串行总线(USB)闪驱、闪存卡或其他闪存设备、或可以用于存储所需信息并可以由计算系统访问的任何其他存储介质。因此，传播信号本身不具有存储介质的资格。图2图示了可以应用用来识别对象202的方法100的示例系统200。将对象202置于工作表面204上，并用彩色相机206和色深相机208对其进行成像。在一个示例中，工作表面204是具有诸如白色背景之类的纯色(solid)中性色的大致平坦的垫子(mat)。在一个示例中，彩色相机206可以包括具有红色、绿色和蓝色传感器的通常更高分辨率的相机，或RGB相机，其可以提供针对每个像素的颜色信息。彩色相机206可以生成对象202的相对高分辨率的二维彩色图像数据210。色深相机208可以包括颜色传感器和深度传感器，以生成对象的图像，合并所述对象的图像以形成对象的点云数据212。在一个示例中，色深相机208可以包括RGB-D相机，该示例具有红色、绿色、蓝色、红外传感器，以生成针对每个像素的颜色和深度数据。对象的点云数据212可以在色深相机208中形成或随后在处理中形成。色深相机208的颜色传感器可以比彩色相机206产生分辨率相对更低的彩色图像。在一个示例中，系统200可以包括多个色深相机208，这可以降低训练工作量并增强匹配置信度。在一个示例中，相机206、208和工作表面204可以相对于彼此具有固定位置，并且在成像期间，环境光照通常是稳定的或者通常不含有差异(variation)。对象的彩色图像数据210和对象的点云数据212被提供给具有处理器222和存储器224的计算机系统220，所述处理器222和存储器224被配置成将本公开的示例方法(诸如方法100)实现为存储在存储器224中的计算机可读指令集，其用于控制处理器222执行诸如方法100之类的方法。在一个示例中，所述计算机可读指令集可以被实现为计算机程序226，所述计算机程序226可以包括被配置成在计算系统220上操作的硬件和编程的各种组合。计算机程序226可以存储在存储器224中并由处理器222执行，以将对象的彩色图像210和对象的点云212与数据集232中的候选230进行比较。在该示例中，每个候选230包括候选的三维点云234和候选的二维图像236。在一个示例中，每个候选230包括候选的一个三维点云234和候选的多个二维图像236。图3图示了示例方法300，其可以是用系统200执行的方法100的示例实现。方法300包括接收二维图像302(诸如对象202的彩色图像数据210)以及三维图像或点云304(诸如对象202的色深点云数据212)，以用于在310处进行校准(calibration)。在312处用二维图像识别来处理二维图像302，并在314处用三维对象识别来处理经校准的三维图像304，312和314各自分别将相应的图像302、304与数据集306(诸如数据集232)中的候选进行比较。312、314处的每个识别过程返回其认为是被识别对象的候选以及对应的置信度得分。如果在316处，来自312和3本文档来自技高网...

【技术保护点】
1.一种识别对象的方法，包括：/n将所述对象的三维点云与来自数据集的三维候选进行比较，以确定第一置信度得分，所述点云包括根据白平衡图像校准的颜色外观，并且所述比较包括比较所述对象的颜色外观与所述三维候选；/n将所述对象的二维图像的颜色度量与来自所述数据集的二维候选进行比较，以确定第二置信度得分；以及/n选择所述第一置信度得分和所述第二置信度得分中的一个，以确定所述三维候选或所述二维候选中的哪一个与所述对象相对应。/n

【技术特征摘要】
【国外来华专利技术】1.一种识别对象的方法，包括：
将所述对象的三维点云与来自数据集的三维候选进行比较，以确定第一置信度得分，所述点云包括根据白平衡图像校准的颜色外观，并且所述比较包括比较所述对象的颜色外观与所述三维候选；
将所述对象的二维图像的颜色度量与来自所述数据集的二维候选进行比较，以确定第二置信度得分；以及
选择所述第一置信度得分和所述第二置信度得分中的一个，以确定所述三维候选或所述二维候选中的哪一个与所述对象相对应。


2.根据权利要求1所述的方法，其中，如果所述三维候选和所述二维候选都不与所述对象相对应，则所述选择包括选择所述第一置信度得分和所述第二置信度得分中的一个。


3.根据权利要求1所述的方法，其中，所述第一置信度得分和所述第二置信度得分中的所选的一个置信度得分至少满足阈值。


4.根据权利要求1所述的方法，其中，所述比较颜色度量包括比较局部颜色关键点。


5.根据权利要求4所述的方法，其中，所述第一置信度得分和所述第二置信度得分基于关键点。


6.根据权利要求1所述的方法，其中，并行地执行所述对象的三维点云的比较和所述对象的二维图像的颜色度量的比较。


7.一种用来存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令用于控制处理器以：
生成针对表面的白平衡校准；
将要识别的对象的三维点云与三维候选进行比较，所述点云包括根据所述白平衡校准确定的颜色外观；
将所述对象的二维图像的颜色度量与二维候选进行比较；以及
选择所述三维候选...

【专利技术属性】
技术研发人员：雷阳，范健，J·刘，
申请(专利权)人：惠普发展公司，有限责任合伙企业，
类型：发明
国别省市：美国;US