一种基于线束描述子图像匹配的无纹理金属零件抓取方法技术

本发明专利技术公开了一种基于线束描述子图像匹配的无纹理金属零件抓取方法。拍摄获得实际图像和CAD模板图像，提取输入零件图像的前景部分，计算前景图像的协方差矩阵并建立临时坐标系的方向，将线段的方向设定为指向临时坐标系的第一或第二象限；利用每条线段最近邻的k条线段与该条线段之间的角度关系建立该条线段的描述子，对实际图像和CAD模板图像中不同线段的描述子进行匹配，获得线段对；采用透视n线算法进行处理位姿识别，获得实际无纹理金属零件的位姿，然后将实际无纹理金属零件的位姿输入到机械臂进而抓取零件。本发明专利技术能够对直线段进行正确匹配，计算得到精确的零件位姿，进而能够成功完成抓取，可满足实际应用的需求。

A Textureless Metal Parts Grabbing Method Based on Wire Harness Descriptor Subimage Matching

The invention discloses a grabbing method for non-texture metal parts based on the matching of wire harness descriptor sub-images. The actual image and the CAD template image are captured, the foreground part of the input part image is extracted, the covariance matrix of the foreground image is calculated and the direction of the temporary coordinate system is established. The direction of the line segment is set to the first or second quadrant of the temporary coordinate system. The descriptor of the line segment is established by using the angle relationship between the K line segments nearest to each line segment. The descriptors of different line segments in the inter-image and the CAD template image are matched to obtain line pairs. The perspective n-line algorithm is used to process pose recognition and obtain the actual pose of the non-textured metal parts. Then the actual pose of the non-textured metal parts is input into the manipulator arm to grasp the parts. The invention can match the straight line segment correctly, calculate the precise position and pose of the parts, and then successfully complete the grabbing, which can meet the requirements of practical application.

【技术实现步骤摘要】
一种基于线束描述子图像匹配的无纹理金属零件抓取方法
本专利技术涉及计算机视觉及工业自动化
，具体涉及一种基于对比度不变线束描述子图像匹配的无纹理金属零件抓取方法。
技术介绍
无纹理金属零件的抓取一直以来都是计算机视觉及工业自动化领域的一个重要研究方向。在很多应用场景下都需要对无纹理金属零件的抓取，如对零件进行识别等。对于纹理物体，最常用的方法就是提取模板和实际图像中的特征点(如SIFT或SURF)进行匹配之后计算位姿并抓取，效率高且准确。但无纹理金属零件无法提取有效的特征点，因此该类方法不适用。目前主要的基于匹配的无纹理零件抓取方法主要是提取实际零件图片中的零件轮廓，将此轮廓与模板轮廓进行比较，取最相似的模板作为匹配正确的模板，以该模板对应的位姿进行抓取。比较常见的匹配方法有：直接将两张轮廓图像(模板与实际图像)的对应像素进行比较；或者是提取两张轮廓图像的某些特征(如矩特征)，计算特征之间的相似程度。但这些方法都是将轮廓作为一个整体进行计算，容易受到外部的影响，计算复杂度较高且匹配正确率较低，影响最后抓取的成功率。近年来，有学者提出了一种利用相邻直线段对无纹理物体进行匹配并抓取的方法(BunchOfLinesDescriptor,BOLD)。这种描述匹配方法能够准确地完成图像间的直线段匹配，并且对旋转、平移和尺度变化均有鲁棒性，能够计算出满足抓取精度的结果完成抓取。但是，由于BOLD描述子需要基于梯度方向对线段进行描述，因此在图像对比度发生变化时，BOLD描述子无法进行正确地匹配，且在这种情况下会造成抓取失败。
技术实现思路
本专利技术为解决上述匹配方法的不足，提出一种基于线束描述子图像匹配的无纹理金属零件抓取方法，本专利技术提出了一种新的线段方向定义方法，并改进了匹配时距离函数的计算方法，使其能适应更一般的情况，满足实际应用的需求。如图1所示，本专利技术的技术方案包括以下步骤：步骤1：对于放置实际环境下的实际无纹理金属零件，采用实际物理相机对无纹理金属零件进行拍摄获得实际图像；对于计算机虚拟场景下导入的无纹理金属零件的CAD模型，采用虚拟相机对无纹理金属零件的CAD模型进行拍摄获得CAD模板图像；提取输入实际图像和CAD模板图像的前景部分，计算前景部分的协方差矩阵，并建立临时坐标系的方向；所述的CAD模型为网格模型，例如可以为三角网格。步骤2：使用线段检测子算法(linesegmentdetector,LSD)对实际图像和所有CAD模板图像进行处理，提取获得实际图像和所有CAD模板图像中的棱边作为线段，针对每一幅图像遍历其中所有线段设定线段处于临时坐标系的方向；步骤3：在每一幅图像中，遍历所有线段，利用每条线段最近邻的k条线段与该条线段之间的角度关系建立该条线段的描述子；所述的步骤4：考虑实际图像和CAD模板图像的两张图像中线段的描述子的k取值不同时，对实际图像和CAD模板图像中不同线段的描述子进行匹配，获得线段对；步骤5：根据匹配得到的线段对采用透视n线算法(perspectivenlines，PNL)进行处理位姿识别，获得实际无纹理金属零件的位姿，然后将实际无纹理金属零件的位姿输入到机械臂进而抓取零件。所述的无纹理金属零件是表面为平面且光滑、无凹凸和纹理的多面体金属零件。所述步骤1中，具体是：提取图像的前景部分作为前景图像，计算前景图像的协方差矩阵，进而获得协方差矩阵的两个特征值及两个特征值对应的特征向量，将较大的特征值对应的特征向量的方向作为临时坐标系的x轴正方向，另一特征向量的方向作为y轴正方向。所述步骤2中，遍历所有线段设定线段的方向，具体为：以线段上任意一一点为临时坐标系的原点建立临时坐标系，然后：若线段穿过第一象限，则线段指向临时坐标系的第一象限；若线段穿过第二象限，则线段指向临时坐标系的第二象限；若线段未穿过第一、第二象限，则线段指向临时坐标系的第一、第二象限。所述步骤3中，每条线段最近邻的k条线段是根据线段中点之间的距离进行排序选择。即针对每条线段，计算该条线段和其他所有线段的中点之间的距离，选取距离最短的k条线段作为该条线段最近邻的k条线段。一张图像中的各个线段的k选取相同，不同图像中的各个线段的k选取可以相同，可以不同。所述步骤3中，具体是：3.1、以两条线段si和sj作为线段与其最近邻的一条线段距离，如图3所示，采用以下公式计算第一角度α和第二角度β，以角度α和β来描述两条线段si和sj的相对位置：其中，si和sj分别表示同一幅图像中的两条线段的向量表示，向量方向由步骤2中获得的线段处于临时坐标系的方向确定；n是垂直于图像平面的单位向量，||a||代表向量a的模长，mi和mj分别表示这线段si和sj的中点，tij代表从mi指向mj的向量。3.2、对于图像的每条线段，采用步骤3.1方式获得了线段和与其相邻的k条最近邻线段之间的第一角度α和第二角度β，即每条线段的基于对比度不变线束描述子由k对第一角度α和第二角度β构成，并组成矩阵作为表示描述子。具体实施中，可将每对第一角度α和第二角度β离散地累积到2D联合直方图中，本文中采用离散步长设为π/12，此2D联合直方图即为该线段的描述子。所述步骤4，具体是：4.1、实际图像和CAD模板图像的两张图像中生成线段描述子时的k值不同，分别为k1和k2，若k1＝k2，则采用以下公式计算实际图像中一条线段的描述子和CAD模板图像中每一条线段的描述子之间的欧式距离，选取距离最近的描述子对应的两条线段，认为这两条线段匹配，构成线段对：其中，d表示两个描述子之间的欧式距离，表示第1张图像中的线段的描述子中的第i个元素，表示第2张图像中的线段的描述子中的第i个元素，i表示描述子中元素的序数，n表示描述子中元素的总数；若k1<k2，则采用以下方式处理；首先按下式计算修正每幅图像的描述子：其中，代表第m张图像中的线段的第i个位置上的元素；之后再归一化每幅图像的描述子：其中，m表示是第几张图像中的线段的描述子，m为1或2。当图像的k＝1时m＝1，当k＝2时m＝2。最后采用以下公式计算实际图像中一条线段的描述子和CAD模板图像中每一条线段的描述子之间的欧式距离，选取距离最近的描述子对应的两条线段，认为这两条线段匹配：其中，d表示表示两个描述子之间的欧式距离，表示第1张图像中的线段的描述子中的第i个元素，表示表示第2张图像中的线段的描述子中的第i个元素，i表示描述子中元素的序数，n表示描述子中元素的总数。步骤4最后在实际图像中的所有线段都在CAD模板图像找到匹配的线段对后，利用RANSAC算法对所有线段对进行误匹配去除，得到最后的线段对作为线段匹配结果。本专利技术的有益效果是：1)本专利技术解决了在背景对比度变化的情况下无纹理金属零件的匹配错误的问题。2)本专利技术推广了匹配时距离函数的计算方法，使其能适应k值不同的情况，满足实际应用的需求。3)本专利技术解决了在随机光照以及零件姿态改变的情况下无法对零件进行准确匹配的问题，使用本专利技术可以在工业环境中更鲁棒、更准确地计算零件的位姿，从而最终大幅提高零件抓取的成功率。附图说明图1为本专利技术方法的流程图；图2为线段方向定义示意图；图3为描述子计算示意图；图4为在无纹理金属零件上应用BOLD描述子后的匹配结果图；图5为在无纹理金属本文档来自技高网...

【技术保护点】
1.一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：步骤1：对于放置实际环境下的实际无纹理金属零件，采用实际物理相机对无纹理金属零件进行拍摄获得实际图像；对于计算机虚拟场景下导入的无纹理金属零件的CAD模型，采用虚拟相机对无纹理金属零件的CAD模型进行拍摄获得CAD模板图像；提取输入实际图像和CAD模板图像的前景部分，计算前景部分的协方差矩阵，并建立临时坐标系的方向；步骤2：使用线段检测子算法对实际图像和所有CAD模板图像进行处理，提取获得实际图像和所有CAD模板图像中的棱边作为线段，针对每一幅图像遍历其中所有线段设定线段处于临时坐标系的方向；步骤3：在每一幅图像中，遍历所有线段，利用每条线段最近邻的k条线段与该条线段之间的角度关系建立该条线段的描述子；所述的步骤4：考虑实际图像和CAD模板图像的两张图像中线段的描述子的k取值不同时，对实际图像和CAD模板图像中不同线段的描述子进行匹配，获得线段对；步骤5：根据匹配得到的线段对采用透视n线算法进行处理位姿识别，获得实际无纹理金属零件的位姿，然后将实际无纹理金属零件的位姿输入到机械臂进而抓取零件。

【技术特征摘要】
1.一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：步骤1：对于放置实际环境下的实际无纹理金属零件，采用实际物理相机对无纹理金属零件进行拍摄获得实际图像；对于计算机虚拟场景下导入的无纹理金属零件的CAD模型，采用虚拟相机对无纹理金属零件的CAD模型进行拍摄获得CAD模板图像；提取输入实际图像和CAD模板图像的前景部分，计算前景部分的协方差矩阵，并建立临时坐标系的方向；步骤2：使用线段检测子算法对实际图像和所有CAD模板图像进行处理，提取获得实际图像和所有CAD模板图像中的棱边作为线段，针对每一幅图像遍历其中所有线段设定线段处于临时坐标系的方向；步骤3：在每一幅图像中，遍历所有线段，利用每条线段最近邻的k条线段与该条线段之间的角度关系建立该条线段的描述子；所述的步骤4：考虑实际图像和CAD模板图像的两张图像中线段的描述子的k取值不同时，对实际图像和CAD模板图像中不同线段的描述子进行匹配，获得线段对；步骤5：根据匹配得到的线段对采用透视n线算法进行处理位姿识别，获得实际无纹理金属零件的位姿，然后将实际无纹理金属零件的位姿输入到机械臂进而抓取零件。2.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述的无纹理金属零件是表面为平面且光滑、无凹凸和纹理的多面体金属零件。3.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述步骤1中，具体是：提取图像的前景部分作为前景图像，计算前景图像的协方差矩阵，进而获得协方差矩阵的两个特征值及两个特征值对应的特征向量，将较大的特征值对应的特征向量的方向作为临时坐标系的x轴正方向，另一特征向量的方向作为y轴正方向。4.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述步骤2中，遍历所有线段设定线段的方向，具体为：以线段上任意一点为临时坐标系的原点建立临时坐标系，然后：若线段穿过第一象限，则线段指向临时坐标系的第一象限；若线段穿过第二象限，则线段指向临时坐标系的第二象限；若线段未穿过第一、第二象限，则线段指向临时坐标系的第一、第二象限。5.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述步骤3中，每条线段最近邻...

【专利技术属性】
技术研发人员：何再兴，赵昕玥，江智伟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33