通过视觉系统同时考虑图像特征中边缘和法线的系统和方法技术方案

本发明专利技术使用视觉系统在获取的图像中基于每个边缘在点到平面和点到边缘度量之间应用动态加权。这使得所应用的ICP技术对于各种目标几何形状和/或遮挡而言变得极为稳健。本文的系统和方法提供了能量函数，该能量函数被最小化以生成候选3D姿态，用于对象运行时3D图像数据与模型3D图像数据的对准。由于法线比边缘精确得多，因此在可能的情况下，使用法线是理想的。然而，在某些使用情况下，例如平面，边缘可在法线不提供信息的相关方向上提供信息。因此，本系统和方法定义了“法线信息矩阵”，其表示存在足够信息的方向。在矩阵上执行(例如)主分量分析(PCA)为可用信息提供了基础。

System and Method of Considering Edge and Normal Line in Image Features by Visual System

【技术实现步骤摘要】
通过视觉系统同时考虑图像特征中边缘和法线的系统和方法
本专利技术涉及机器视觉系统，更具体地，涉及识别三维(3D)图像特征并关于于训练的3D图案对准3D图像特征的视觉系统。
技术介绍
机器视觉系统，本文中也称为“视觉系统”，用于在制造环境中执行各种任务。一般来说，视觉系统由一个或多个具有图像传感器(或“成像器”)的相机组件组成，该图像传感器获取包含制造中的对象的场景的灰度或彩色图像。可分析对象的图像以向用户和相关的制造过程提供数据/信息。相机产生的数据通常由视觉系统在一个或多个视觉系统处理器中分析和处理，视觉系统处理器可以是专用处理器，或者是在通用计算机(例如PC、笔记本电脑、平板电脑或智能手机)内实例化的一个或多个软件应用程序的一部分。常见的视觉系统任务包括对准和检查。在对准任务中，视觉系统工具，例如从CognexCorporationofNatick,MA购得的众所周知的系统，将场景的二维(2D)图像中的特征与训练过的(使用实际或合成模型)2D图案进行比较，并确定2D图像场景中2D图案的存在/不存在和姿态。该信息可用于后续检查(或其他)操作，以搜索缺陷和/或执行其他操作，例如零件抛弃。使用视觉系统的特定任务是在运行时基于训练好的3D模型形状对准三维(3D)目标形状。3D相机可以基于多种技术——例如，激光位移传感器(轮廓仪)、立体相机、声纳、激光或LIDAR测距相机、飞行时间相机以及各种其他被动或主动距离感测技术。这种相机产生距离图像，其中产生了图像像素阵列(通常表征为沿着正交x和y轴的位置)，该阵列还包含每个像素的第三(高度)维度(通常表征为沿着垂直于x-y平面的z轴)。替代地，这种相机可以生成成像对象的点云表示。点云是空间中3D点的集合，其中每个点i可以表示为(Xi,Yi,Zi)。点云可以表示完整的3D对象，包括对象的背面和侧面、顶部和底部。3D点(Xi,Yi,Zi)表示空间中对象对于相机可见的位置。在该表示中，不存在点表示空白空间。作为比较，3D距离图像表示Z(x，y)类似于2D图像表示I(x，y)，其中深度或高度Z代替了图像中的位置x，y处的亮度/强度I。距离图像专门表示直接面对相机的对象的正面，因为只有一个深度与任意点位置x，y相关联。距离图像通常不能表示对象的背面或侧面、顶部或底部。距离图像通常在每个位置(x，y)处都有数据，即使相机在这些位置处没有信息。可以以本领域的技术人员清楚的方式将距离图像变换为3D点云。在将获取的或通过合成(例如CAD)处理生成的目标图像与模型图像(也是获取或合成的)对准时，一种方法涉及将目标3D点云与模型匹配/比较，以努力找到最佳匹配姿态。该比较可以涉及对目标相对于模型的覆盖范围的评分。超过某一阈值的分数被认为是可接受的匹配/姿态估计，并且该信息用于生成对准结果。然而，基于3D图像精确且有效地生成对准结果具有挑战性。对准3D距离图像或3D点云图像中的3D对象最好通过适用于这些对象的3D形状的一个或多个相应的3D对准(配准)算法来实现。如果使用了不适当的3D对准算法，则3D对准处理可能会失败，或者因为发现不正确的结果姿态或者根本没有发现结果而表现不佳。更具体地说，称为迭代最近点(ICP)的技术是细化点云对准/配准姿态估计的经典方法。其使用一组特征(如点位置或点法线)来迭代地将粗略姿态细化为最终姿态。必须做出的一个选择是ICP例程将最小化的度量。标准选择是点到线，其中ICP处理最小化从源点到其最近边缘的距离总和，以及点到平面，其中ICP处理最小化从源点到通过其最近目标点的平面的距离总和，由目标点处的法线表示。然而，人们认识到，由于各种原因，这两个度量都不是特别令人满意。例如，在将平面与平面对准的使用情况下，如果使用点到平面度量，则系统可以确定关于法线的偏移和旋转，但是不提供关于围绕法线的旋转的信息。点到线的度量也表现出了技术人员应该清楚的其他缺点。
技术实现思路
本专利技术通过使用视觉系统在获取的图像中基于每个边缘在点到平面与点到边缘度量之间进行动态加权，克服了现有技术的缺点。这使得所应用的ICP技术对各种对象(零件)几何形状和/或遮挡而言变得更加稳健。在一个实施例中，本文的系统和方法提供一能量函数，该能量函数被最小化以生成候选3D姿态，用于将对象的运行时3D图像数据与模型3D图像数据对准。由于法线比边缘精确得多，因此在可能的情况下，使用法线是可取的。然而，在某些使用情况下，例如平面，边缘提供法线不提供的相对方向的信息。因此，该系统和方法定义了“法线信息矩阵”，该矩阵表示存在足够信息的方向。对该矩阵执行(例如)主分量分析(PCA)为可用信息提供了基础。举例来说，然后根据每个边缘在各个方向上贡献的信息量以及已经可用的信息来评估每个边缘。如果边缘在对分析有重要意义的方向上贡献了重要信息，则在计算中该边缘被分配了较高的权重(例如，接近1.0)。否则，边缘被分配相对较低的权重(例如，接近0.0)。使用(例如)线性最小化函数来处理该加权数据，该线性最小化函数同时(同步)最小化点到平面距离的总和加点到边缘距离的总和。有利的是，当对象的几何形状需要该处理来确定正确姿态时，该处理(仅仅)排他地使用(通常)不太精确的边缘。还要注意，这里的对象可以是平面表面的一部分。因此，例如，在为平面的使用情况下，系统和方法可以使用法线来建立法线通常提供信息的三个自由度(DOF)(两个倾斜和沿着平面法线的偏移)，然后使用剩余DOF的边缘(例如，平面内的两个平移和围绕法线的旋转)。相反，采用点到线度量本身通常会产生精确度低得多的结果，而仅采用点到面度量也不够稳健。在一说明性实施例中，本专利技术提供了一种用于在由3D相机组件获取的对象的3D图像中查找3D模型的姿态的系统和方法。3D模型与获取的3D图像一起由视觉系统处理器处理。与处理器相关联的姿态查找处理/模块同时将3D模型中的3D边缘与3D图像中的3D边缘匹配，并将3D模型中的3D法线与3D图像中的3D法线匹配，以确定3D姿态。说明性地，姿态查找处理/模块将权重应用于3D图像中的3D边缘和3D图像中的3D法线，以对图像中的3D边缘相对3D法线的使用进行加权。姿态查找处理还可以分别确定(a)对象的平面是否提供了关于平行于3D法线方向上的对准的信息，以及(b)对象的边缘是否提供了关于在垂直于边缘的一个或多个方向上的对准的信息。其还可以进行以下匹配的至少其中之一：(a)使用点到线度量将3D模型中的3D边缘与3D图像中的3D边缘进行匹配，以及(b)使用点到平面度量将3D模型中的3D法线与3D图像中的3D法线进行匹配。此外，姿态查找处理可以定义法线信息矩阵，该矩阵表示存在足够数量信息的方向。可以对矩阵执行主分量分析(PCA)，以识别信息，并确定其可用性，用于查找姿态。姿态查找处理还可以包括评估处理，该评估处理分别针对在各个方向上贡献的信息量和可用的信息来评估边缘。说明性地，评估处理根据以下内容来评估姿态边缘：(a)如果各个边缘中的其中一个边缘在重要的方向上贡献了大量信息，则在计算中为该边缘分配较高的权重，以及(b)如果各个边缘中的其中一个边缘在重要的方向上没有贡献大量信息，或者如果方向不重要，则在计算中为该边缘分配相对较低的权重。此外，可以提供线性最小化处理，其同本文档来自技高网...

【技术保护点】
1.一种在通过3D相机组件获取的对象的3D图像中查找3D模型的姿态的方法，包括以下步骤：将所述3D模型提供给视觉系统处理器；将所获取的3D图像提供给所述视觉系统处理器；以及通过所述处理器查找一姿态，所述姿态同时将所述3D模型中的3D边缘匹配至所述3D图像中的3D边缘以及将所述3D模型中的3D法线匹配至所述3D图像中的3D法线。

【技术特征摘要】
2018.02.21 US 15/901,1171.一种在通过3D相机组件获取的对象的3D图像中查找3D模型的姿态的方法，包括以下步骤：将所述3D模型提供给视觉系统处理器；将所获取的3D图像提供给所述视觉系统处理器；以及通过所述处理器查找一姿态，所述姿态同时将所述3D模型中的3D边缘匹配至所述3D图像中的3D边缘以及将所述3D模型中的3D法线匹配至所述3D图像中的3D法线。2.如权利要求1所述的方法，其中查找步骤包括对所述3D图像中的3D边缘和所述3D图像中的3D法线进行加权，以对所述图像中的3D边缘相对3D法线的使用进行加权。3.如权利要求2所述的方法，其中，所述查找步骤分别确定(a)所述对象的平面是否提供关于在平行于所述3D法线的方向上的对准的信息，以及(b)所述对象的边缘是否提供关于在垂直于所述边缘的一个或多个方向上的对准的信息。4.如权利要求1所述的方法，还包括使用点到线度量将所述3D模型中的3D边缘匹配至所述3D图像中的3D边缘。5.如权利要求4所述的方法，还包括使用点到平面度量将所述3D模型中的3D法线匹配至所述3D图像中的3D法线。6.如权利要求1所述的方法，还包括使用点到平面度量将所述3D模型中的3D法线匹配至所述3D图像中的3D法线。7.如权利要求3所述的方法，其中，所述查找步骤包括定义一法线信息矩阵，所述法线信息矩阵表示其上存在足够信息量的方向。8.如权利要求7所述的方法，还包括对所述矩阵执行主分量分析(PCA)，以识别信息并确定其可用性，以用于所述查找步骤。9.如权利要求8所述的方法，其中执行步骤包括分别针对在各个方向上贡献的信息量和可用的信息来评估所述边缘。10.如权利要求9所述的方法，其中，所述执行步骤根据以下步骤来评估边缘：(a)如果各个边缘中的其中一个在重要的方向上贡献了大量信息，则在计算中为所述边缘分配较高的权重，以及(b)如果各个边缘中的其中一个在重要的方向上没有贡献大量信息，或者如果所述方向不重要，则在计算中为所述边缘分配相对较低的权重。11.如权利要求6所述的方法，还包括操作线性最小化函数，...

【专利技术属性】
技术研发人员：A·赫尔舍，S·巴克，A·瓦格曼，D·J·迈克尔，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国,US