复合三维BLOB工具及其操作方法技术

本发明专利技术提供了一种对图像数据可能丢失的复杂对象执行3D成像的系统和方法。可用的3D图像数据与图像数据的缺失/丢失相结合，允许x、y和z维度的计算。假设数据的缺失/丢失为只是其它类型的图像数据，并且表示存在阻止在主体图像中生成精确数据的事物。数据段可以连接到缺失数据的区域，并生成最大边界框。该对象生成的阴影可以表示为负或缺失数据，但不代表物理对象。估计正数据的高度、基于该高度的对象阴影大小、FOV中的位置以及生成图像的光线角度，并从结果中移除对象阴影大小。并从结果中移除对象阴影大小。并从结果中移除对象阴影大小。

【技术实现步骤摘要】
【国外来华专利技术】复合三维BLOB工具及其操作方法


[0001]本专利技术涉及分析三维(three
‑
dimensional，3D)空间中的对象的机器视觉系统，更具体地说，涉及用于分析具有复杂形状的对象的系统和方法。

技术介绍

[0002]执行对象的测量、检查、对齐和/或符号(例如，条形码，也称为“身份标识(Identity document，ID)码”)的解码的机器视觉系统(本文中也称为“视觉系统”)，被广泛用于各种应用和行业。这些系统基于图像传感器的使用，该图像传感器采集主体或对象的图像(通常为灰度或彩色，并且是一维、二维或三维)，并使用板载或互连的视觉系统处理器来处理这些采集的图像。处理器通常包括处理硬件和非暂时性计算机可读程序指令，该非暂时性计算机可读程序指令执行一个或更多个视觉系统处理以基于图像的处理信息生成期望的输出。该图像信息通常在图像像素阵列内提供，每一个像素具有各种颜色和/或强度。
[0003]如上所述，一个或更多个视觉系统相机可用于获取成像场景中对象的二维(two
‑
dimensional，2D)或三维(3D)图像。2D图像通常被表征为在整个N X M图像阵列(通常由相机图像传感器的像素阵列限定)内具有x和y分量的像素。在以3D方式采集图像的情况下，除了x和y分量之外，还存在高度或z轴分量。可以使用包括立体相机、激光雷达、飞行时间传感器和(例如)激光位移剖面的三角测量的各种机制/技术来获取3D图像数据。
[0004]当对类似或不同项目的复杂排列进行测量时，3D相机系统出现的一个典型问题是，图像数据可能在排列(例如)为一组中的对象之间丢失。例如，一个典型的复杂对象是一包水瓶，其中，水瓶的盖可能是瓶直径的一半或更小。当用3D图像传感器观察时，得到的图像数据通常来自在图像高度顶部处完全暴露的盖。然而，有用的图像数据(例如瓶和盖之间的空间)在盖之间丢失。这可能是由于照明中的阴影以及光线从照明器传播到对象并返回图像传感器的角度造成的。通常，诸如水瓶、镜面状表面或特定空间频率的小特征的复杂对象会导致视觉系统中3D数据捕获的丢失。在水瓶的示例中，盖/顶部通常提供3D图像数据的固体响应，但由于包裹的水/塑料/塑料包装使正常情况下生成3D图像的光学反馈变得模糊，盖周围的区域可能不提供可用的图像数据。

技术实现思路

[0005]本专利技术通过提供对图像数据可能丢失的复杂对象执行3D成像的系统和方法来克服现有技术的缺点。该系统和方法结合图像数据的缺失/丢失使用可用的3D图像数据，并且可以将当前和缺失的图像数据的整个集合视为单个对象，这允许精确计算该单个对象的x、y和z维度。通常，本文中的系统和方法将图像数据的缺失/丢失假设为仅是其它类型的数据，并且图像数据的缺失/丢失表示存在阻止在主体图像中生成精确3D图像数据的某些事物。使用该假设，图像数据段可以连接到缺失数据的区域，从而可以生成最大边界框。对于高且复杂的对象，该对象生成的阴影也可以表示为负数据或遗漏数据，但不代表物理对象。
使用来自正数据的高度数据，估计基于该高度的对象阴影大小、视场中的位置以及生成图像的光线角度并从结果中移除，以提供更精确的3D图像结果。
[0006]在说明性实施例中，可以为视觉系统提供复合3D二进制大对象(binary large object，blob)工具及其操作方法。视觉系统可以具有处理器，该处理器使用3D相机组件接收来自对象的获取的3D图像数据。该工具和相关联的方法可以包括blob工具处理，blob工具处理识别所获取的3D图像数据中的正3D图像数据和负3D图像数据，并且将限定z维度高度信息的正3D图像数据和负3D图像数据进行组合，从而限定至少一个连接对象。负3D图像数据可以至少部分地包括限定关于对象的数据缺失和关于对象的阴影的正交的x
‑
y维度。z维度高度信息可用于基于(1)由与3D相机组件相关联的照明所投影的并由3D相机组件的图像传感器接收的射线角度的知识，以及(2)对象在图像传感器的视场中的位置来细化对象的x
‑
y维度，使得阴影对对象的贡献基于对象的细化后的x
‑
y维度而改变。说明性地，blob工具处理可以基于3D相机组件中的校准信息针对获取的3D图像数据的空间意义来分析连接对象。对象可以包括以下中的至少一个：(a)多个并排对象，每一个对象具有大致相似高度的顶部；以及(b)一个或更多个对象，具有分别限定多个不同高度的顶面。3D相机组件可以包括立体相机、基于结构化照明的相机、基于飞行时间的相机和剖面仪中的至少一个。阴影和正3D图像数据可以限定包含驻留于参考表面上方的阴影和正3D图像数据的边界框两者。示例性地，参考表面可以限定对象所驻留的传送带表面。对象可以是包裹，并且3D blob工具的结果被提供给传送带的门控组件，该门控组件基于对象的特征将对象导向多个不同目的地之一。这些特征可以指示缺陷对象，从而由门控传送带引导到缺陷和/或拒绝对象位置。
附图说明
[0007]以下专利技术描述参考附图，其中：
[0008]图1是用于获取和处理复杂对象的3D图像的系统的概览，该系统采用复合3D blob工具来提供图像遗漏数据的预测；
[0009]图2是示例性对象组的透视图，所述对象组由于阴影和其他影响而缺失图像数据，所述阴影和其他影响可以通过本文中的说明性复合3D blob工具来成像和分析；
[0010]图3是图2中的对象的3D点云图像的表示图，示出了沿着伴有图像数据缺失的图像的x
‑
y平面的图像数据；
[0011]图4是图3的表示图，示出了沿z维度的相对精确的高度测量；
[0012]图5是示出3D相机组件在一组对象上的定位以及产生阴影和导致图像数据缺失的可能性的图；
[0013]图6是由图5的相机组件获取的图像的自顶向下视图，示出了在不同方向和不同尺寸中的每一个上的各个对象的阴影；
[0014]图7是驻留于相机组件FOV边缘附近的基本矩形对象的3D点云图像的表示图，显示了阴影的投影和取向；
[0015]图8是图7的基本矩形对象的3D点云图像的表示图，该基本矩形对象驻留于更靠近相机组件FOV的中间，示出了阴影的更复杂的投影和取向；
[0016]图9是根据说明性实施例的用于操作复合3D blob工具的过程步骤的流程图；以及
[0017]图10是示出由说明性实施例的复合3D blob工具创建边界框以确定多级对象或对象组中的特征的图。
具体实施方式
[0018]I.系统概览
[0019]图1示出了布置100的概览，其中，视觉系统相机组件(也简称为“相机”或“传感器”)110在对象122相对于移动的传送带130在其视场(field ofview，FOV)下方通过时获取对象122的示例性分组120的3D图像数据。在此示例中，对象122是一组120成组排列的罐或瓶——例如在板条箱或收缩包装内。应当注意，可以根据本文的系统和方法对对象的任何排列或具有复杂顶本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视觉系统的复合3D blob工具，所述复合3D blob工具具有处理器，所述处理器使用3D相机组件接收来自对象的所获取的3D图像数据，包括：blob工具处理，所述blob工具处理识别所获取的3D图像数据中的正3D图像数据和负3D图像数据，并且所述blob工具处理将限定z维度高度信息的正3D图像数据和所述负3D图像数据组合，从而限定至少一个连接对象，其中，所述负3D图像数据至少部分地包括正交x
‑
y维度，所述正交x
‑
y维度限定关于所述对象的数据缺失和关于所述对象的阴影，并且其中，所述z维度高度信息用于基于(1)由与所述3D相机组件相关联的照明所投影的并由所述3D相机组件的图像传感器接收的射线角度的知识，以及(2)所述对象在所述图像传感器的视场中的位置来细化所述对象的x
‑
y维度，使得阴影对所述对象的贡献基于所述对象的细化后的x
‑
y维度而改变。2.根据权利要求1所述的复合3D blob工具，所述blob工具处理基于所述3D相机组件中的校准信息针对所获取的3D图像数据的空间意义来分析所述连接对象。3.根据权利要求1所述的复合3D blob工具，其中，所述对象包括以下中的至少一个：(a)多个并排对象，每一个对象的顶部具有大致相似的高度；以及(b)一个或更多个对象，具有分别限定多个不同高度的顶部表面。4.根据权利要求1所述的复合3D blob工具，其中，所述3D相机组件包括立体相机、基于结构化照明的相机、基于飞行时间的相机和剖面仪中的至少一个。5.根据权利要求1所述的复合3D blob工具，其中，所述阴影和所述正3D图像数据限定边界框，所述边界框包含驻留在参考表面上方的阴影和正3D图像。6.根据权利要求5所述的复合3D blob工具，其中，所述参考表面限定所述对象所驻留的传送带表面。7.根据权利要求6所述的复合3D blob工具，其中，所述对象是包裹，并且所述3D blob工具的结果被提供给所述传送带的门控组件，所述门控组件基于所述对象的特征将所述对...

【专利技术属性】
技术研发人员：刘刚，本，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：