基于CAD稀疏模板的无纹理金属零件图像位姿检测方法技术

本发明专利技术公开了一种基于CAD稀疏模板的无纹理金属零件图像位姿检测方法。导入无纹理金属零件的CAD模型，计算出视点的分布位置，采用虚拟相机在不同的视点位置对无纹理金属零件的CAD模型进行拍摄获得一系列模板图像；在每一个视点位置下，将CAD模型的所有可见顶点的二维图像坐标和三维空间坐标成对保存；使用直线提取算法及直线段描述算法对实际图像与模板图像中的直线段进行提取及描述，将实际图像与每一张模板图像进行直线段匹配，由二维图像坐标替换为三维空间坐标，使用透视n点算法计算位姿。本发明专利技术能够由CAD模型生成均匀分布的稀疏模板，可满足实际应用的需求。

Textureless Metal Part Image Posture Detection Method Based on CAD Sparse Template

The invention discloses a textureless metal part image pose detection method based on a CAD sparse template. Introducing the CAD model of non-textured metal parts, calculating the distribution position of viewpoints, using virtual camera to take pictures of the CAD model of non-textured metal parts at different viewpoint positions to obtain a series of template images; under each viewpoint position, the coordinates of two-dimensional image and three-dimensional space of all visible vertices of the CAD model are saved in pairs; using the straight line extraction algorithm and straight line. The segment description algorithm extracts and describes the line segments of the actual image and the template image, matches the actual image with each template image, replaces the two-dimensional image coordinates with the three-dimensional space coordinates, and calculates the pose using perspective N-point algorithm. The invention can generate sparse template with uniform distribution from the CAD model, and can meet the needs of practical application.

【技术实现步骤摘要】
基于CAD稀疏模板的无纹理金属零件图像位姿检测方法
本专利技术涉及计算机视觉及工业自动化
，具体涉及一种基于CAD稀疏模板的无纹理金属零件图像位姿检测方法。
技术介绍
在工业自动化领域的很多应用场景下，都需要对相机获取的图像中的零件进行位姿估计。目前大部分的位姿估计方法都是针对普通物体的，这些物体或具有纹理信息，或不会产生反光现象，因此可以通过传统的特征点方法或是深度图像匹配方法求解出姿态，使机器人进行抓取。而在工业环境中机器人抓取的对象大多是机械零件等无纹理的物体，因此无法直接使用现有的针对纹理物体的一些成熟的基于特征点的位姿估计算法对零件的姿态进行估计。对物体进行位姿估计，目前主要的实现方法分为基于多目视觉、基于深度视觉和基于单目视觉三类方法。基于多目视觉及深度视觉的方法对于常规对象非常合适。但由于金属零件没有纹理特征，而多目视觉方法需要匹配点对，所以对于金属零件不合适。另外，由于金属零件具有很强的反光效应，因此基于深度视觉的方法也不适用于对金属零件进行抓取。基于单目视觉对无纹理金属零件进行位姿估计的方法主要是通过物体的边缘信息来进行计算。这类方法更适合于金属零件的位姿估计。近年来，研究者们对使用单目相机进行物体6D位姿估计进行了大量研究。Hinterstoisser等提出了一种实时的对象位姿估计方法，该方法可以处理无纹理对象。该方法是一种新颖的模板匹配方法，对小视角变换具有鲁棒性。实验表明，该方法能够在背景杂乱的场景下对物体进行位姿估计。但是这种方法必须拍摄大量的真实图像作为模板，不是很满足实际应用的需求。因此有学者提出使用CAD模型生成模板，避免进行实际的拍摄。Konishi等提出了透视累积方向特征(PCOF)，基于CAD模型从随机生成的2D图像提取PCOF特征，并构建分层姿态树通过由粗到细策略来加速位姿估计速度。由于二维图像无法完整描述三维物体的外形，因此需要在多个视角下对模型进行采样，而离散的采样必然会丢失一些视角下的信息，因此目前大多数基于模型CAD的方法都将模板采样数量设定为数万张模板，使用稠密采样降低离散化采样引起的误差。但因此产生的模板存储空间就会变得很大，同时在大量模板中进行快速搜索也成为了需要解决的问题。
技术实现思路
本专利技术为解决上述位姿估计方法的不足，提出一种基于CAD稀疏模板的无纹理金属零件图像位姿检测方法。本专利技术考虑在物体模型外部进行稀疏均匀采样，同时使用对视角变化具有鲁棒性的描述子匹配算法进行位姿估计，使模型存储空间大大下降，满足实际应用的需求。本专利技术的技术方案包括以下步骤：步骤1：在计算机虚拟场景下导入无纹理金属零件的CAD模型，CAD模型中的各个顶点的三维空间坐标已知，根据需要采集的模板图像的数量计算出虚拟相机的各个视点位置，采用虚拟相机在不同的视点位置对无纹理金属零件的CAD模型进行拍摄获得一系列模板图像；步骤2：在每一个视点位置下，对于CAD模型在计算机虚拟场景中的所有可见顶点，计算所有可见顶点在模板图像中的二维图像坐标，并和可见顶点在CAD模型中的三维空间坐标成对保存；所述的CAD模型为网格模型，例如可以为三角网格。可见顶点为CAD模型的网格顶点在计算机虚拟场景界面中呈现时位于前方可见的顶点。步骤3：待位姿检测的实际无纹理金属零件放置实际环境下，采用实际物理相机对无纹理金属零件进行拍摄获得实际图像，拍摄以物理相机坐标系为基准，使用线段检测子算法(linesegmentdetector,LSD)对实际图像和所有模板图像进行处理，提取获得实际图像和所有模板图像中的棱边作为直线段并使用线束描述子(bunchoflinesdescriptor，BOLD)进行描述，对实际图像与每一张模板图像进行直线段匹配，将匹配直线段最多的模板图像作为匹配结果图像，由匹配结果图像和实际图像中两两直线段的匹配形成各个直线段对；步骤4：将匹配完成的直线段对的两端端点对应匹配，生成2D-2D匹配点对，利用步骤2中保存的二维图像坐标和三维空间坐标之间的对应关系，将2D-2D匹配点对中属于模板图像的点由二维图像坐标替换为三维空间坐标，生成2D-3D点对，根据2D-3D点对使用透视n点算法(perspectivenpointPnP)计算实际无纹理金属零件在实际图像中的位姿。本专利技术特殊将CAD模型二维图像坐标和三维空间坐标成对保存，并且进行直线段检测和匹配，利用二维图像坐标和三维空间坐标成对关系对直线段检测和匹配的结果进行处理，获得了能够准确适用于透视n点算法处理位姿的数据，进而通过透视n点算法处理获得准确的位姿。所述的无纹理金属零件是表面为平面且光滑、无凹凸和纹理的多面体金属零件。所述步骤1中，根据需要采集的模板图像的数量计算出虚拟相机的各个视点位置，具体是采用以下公式计算获得，使得视点均匀分布在以模型原点为球心的球面上：其中，x、y、z分别为CAD模型中的三维坐标系的三轴，xi,yi,zi分别是指第i个视点的三个方向上的坐标，N是视点的总数，视线的方向均朝向零件的原点。所述步骤1中，采用虚拟相机在不同的视点位置对无纹理金属零件的CAD模型进行拍摄获得一系列模板图像，具体包括：以CAD模型每个表面平面的RGB三通道值被分别设置为该平面的法向量的三个分量，以CAD模型中每个表面平面的法向量n＝(x,y,z)T创建RGB图像时，使用RGB三通道值将该表面平面绘制到图像中。所述步骤4中，将匹配完成的直线段对的两端端点对应匹配，生成2D-2D匹配点对，具体是：直线段对中的两条直线段分别取两端端点，两条直线段的同一端端点构成一对2D-2D匹配点对，从而每个直线段对获得两对2D-2D匹配点对。所述的实际无纹理金属零件在实际图像中的位姿输入到机械臂进而抓取零件。本专利技术的有益效果是：1)使用对视角变化具有鲁棒性的描述子匹配算法进行位姿估计，可以使模板稀疏化，模板数量大大下降，降低存储空间的需求，同时也避免了在大量模板中进行搜索的问题。利用透视n点算法在最后进行精确计算，使最终求得的位姿结果精度大大提升，进而能够提高后续工作(如抓取和装配)的精度。2)在三维空间中均匀且稀疏地分布视点位置，并在对零件图像进行采样拍摄保存图像模板的同时将模型可见部分的顶点三维信息同时进行保存。附图说明图1为视点分布示意图；图2为实施例模板匹配结果图；具体实施方式下面结合附图和实施例对本专利技术作进一步说明。本专利技术的具体实施例及其实施过程如下：实施例以插销机械零件作为无纹理金属零件进行实施。第一步，根据需要采集的模板的数量(此实施例中设为100)，计算出视点的分布位置。如图1所示，视点能够均匀分布在球面上，而不会像按照经纬度进行分布造成南北两极附近分布过于密集。第二步，在每一个视点位置下，拍摄在该视角下的模型图像并保存，即采用虚拟相机在不同的视点位置对无纹理金属零件的CAD模型进行拍摄获得一系列模板图像。CAD模型的每个平面的RGB三通道值被分别设置为其法向量的三个分量。由于CAD软件保存的stl格式模型是由三角面片组合而成的，对于有曲面表面的零件，该方法通过足够数量的平面来近似弯曲表面。因此，这些边缘不应该出现在模板图像中。由于圆弧面上相邻的平面法向量相差很小，而每个平面的RGB三通道值又被分别设置为其法向量的三个分量，因此本文档来自技高网...

【技术保护点】
1.一种基于CAD稀疏模板的无纹理金属零件图像位姿检测方法，其特征在于：步骤1：在计算机虚拟场景下导入无纹理金属零件的CAD模型，CAD模型中的各个顶点的三维空间坐标已知，根据需要采集的模板图像的数量计算出虚拟相机的各个视点位置，采用虚拟相机在不同的视点位置对无纹理金属零件的CAD模型进行拍摄获得一系列模板图像；步骤2：在每一个视点位置下，对于CAD模型在计算机虚拟场景中的所有可见顶点，计算所有可见顶点在模板图像中的二维图像坐标，并和可见顶点在CAD模型中的三维空间坐标成对保存；步骤3：待位姿检测的实际无纹理金属零件放置实际环境下，采用实际物理相机对无纹理金属零件进行拍摄获得实际图像，使用线段检测子算法对实际图像和所有模板图像进行处理，提取获得实际图像和所有模板图像中的棱边作为直线段并使用线束描述子进行描述，对实际图像与每一张模板图像进行直线段匹配，将匹配直线段最多的模板图像作为匹配结果图像，由匹配结果图像和实际图像中两两直线段的匹配形成各个直线段对；步骤4：将匹配完成的直线段对的两端端点对应匹配，生成2D‑2D匹配点对，利用步骤2中保存的二维图像坐标和三维空间坐标之间的对应关系，将2D‑2D匹配点对中属于模板图像的点由二维图像坐标替换为三维空间坐标，生成2D‑3D点对，根据2D‑3D点对使用透视n点算法计算实际无纹理金属零件在实际图像中的位姿。...

【技术特征摘要】
1.一种基于CAD稀疏模板的无纹理金属零件图像位姿检测方法，其特征在于：步骤1：在计算机虚拟场景下导入无纹理金属零件的CAD模型，CAD模型中的各个顶点的三维空间坐标已知，根据需要采集的模板图像的数量计算出虚拟相机的各个视点位置，采用虚拟相机在不同的视点位置对无纹理金属零件的CAD模型进行拍摄获得一系列模板图像；步骤2：在每一个视点位置下，对于CAD模型在计算机虚拟场景中的所有可见顶点，计算所有可见顶点在模板图像中的二维图像坐标，并和可见顶点在CAD模型中的三维空间坐标成对保存；步骤3：待位姿检测的实际无纹理金属零件放置实际环境下，采用实际物理相机对无纹理金属零件进行拍摄获得实际图像，使用线段检测子算法对实际图像和所有模板图像进行处理，提取获得实际图像和所有模板图像中的棱边作为直线段并使用线束描述子进行描述，对实际图像与每一张模板图像进行直线段匹配，将匹配直线段最多的模板图像作为匹配结果图像，由匹配结果图像和实际图像中两两直线段的匹配形成各个直线段对；步骤4：将匹配完成的直线段对的两端端点对应匹配，生成2D-2D匹配点对，利用步骤2中保存的二维图像坐标和三维空间坐标之间的对应关系，将2D-2D匹配点对中属于模板图像的点由二维图像坐标替换为三维空间坐标，生成2D-3D点对，根据2D-3D点对使用透视n点算法计算实际无纹理金属零件在实际图像中的位姿。2.根据权利要求1所述的一种基于CAD稀疏模板的无纹理金属零件图像位姿检测方法，其特征在于：所述的无纹...

【专利技术属性】
技术研发人员：何再兴，赵昕玥，江智伟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33