一种不规则平面零件的分类和识别定位方法技术

本发明专利技术公开了一种不规则平面零件的分类和识别定位方法，是采用双目立体视觉系统，通过对相机标定后获取的左右图像进行立体匹配以获得视差图，并根据三角测量原理将视差图转换为三维点云数据。本发明专利技术的计算效率高，方法稳定和精度高。

A method for classification and recognition of irregular planar parts

The invention discloses a positioning method for the classification and identification of irregular plane parts, is the use of binocular stereo vision system, camera calibration based on image acquisition of stereo matching to obtain disparity map, and the disparity map is converted to 3D point cloud data based on triangulation principle. The invention has the advantages of high calculation efficiency, stable method and high accuracy.

【技术实现步骤摘要】
一种不规则平面零件的分类和识别定位方法
本专利技术涉及机械领域，特别涉及一种不规则平面零件的分类和识别定位方法。
技术介绍
目前工业机器人大多只能执行预设的指令动作，缺乏对作业环境的感知和应变能力，条件恶劣及复杂多变的作业环境极大地限制了机器人的应用。给工业机器人配备视觉系统，能够减少对机器人的运动轨迹规划以及离线编程，减少编程时间，提高生产效率。准确区分零件的种类以及对零件进行精准三维定位是视觉工业机器人准确抓取的一个重要前提，直接影响到加工零件的质量。在生产环境中，经常是多种零件混杂一起、位姿也各不相同，对于外形不规则的零件来说，定位尤为困难。目前主要是根据具体零件的形状和大小进行针对性定位设计，如在零件上做标记或制作专用定位模具，这种定位方法的生产成本高，定位繁琐，通用性不强。
技术实现思路
本专利技术的目的在于克服现有技术中存在的缺点，提供一种通用性好、定位精度高、稳定性好、成本低的不规则平面零件的分类和识别定位方法。本专利技术的目的通过下述技术方案实现：一种不规则平面零件的分类和识别定位方法，是采用双目立体视觉系统，通过对相机标定后获取的左右图像进行立体匹配以获得视差图，并根据三角测量原理将视差图转换为三维点云数据，具体包括下述步骤：(1)识别零件类型：使用双目立体视觉系统获取待测零件的图像，包括左图像和右图像，然后通过零件图像模板库对左图像待测零件进行匹配，识别零件的类型；(2)获取视差图：使用凸多边形包围左图像的待测零件，计算凸多边形的质心，并以该质心为圆心绘制最大内切圆，然后以一定的比例因子绘制该内切圆的同心圆，再利用双目立体视觉系统获得该同心圆所在区域的视差图；(3)平面拟合：将视差图转化为三维点云，再使用最小二乘算法对三维点云拟合平面，得到平面方程；(4)待测零件的识别定位：利用所述平面方程，计算待测零件的三维位置和零件表面的平面法向量，进行识别定位。步骤(1)中，所述通过零件图像模板库对左图像待测零件进行匹配，识别零件的类型，是采用形状匹配算法，具体识别步骤是：首先，创建每种零件的模板图像，制作图像模板库，同时假定左图像中存在位姿各异的各种零件；其次，在左图像中移动并以给定的旋转角度多次旋转模板图像，并多次计算模板图像与左图像的待匹配区域的相似度；找出该模板匹配时最大的相似度，对所有模板图像重复前面的操作，找出相似度最大时对应的模板零件类型作为待测零件的类型。所述旋转角度是根据零件边缘的复杂程度、精度要求以及效率进行设定。旋转角度越小，则匹配精度越高，但匹配时间越长。如果零件的边缘较为平滑简单，可适当加大模板图像的旋转角度以提高效率。旋转角度优选1～5°。所述相似度是指模板图像与左图像的匹配区域的对应位置的灰度平方差，具体表示为：假定用T表示模板图像，其中用T(x’,y’)表示模板图像任意点(x’,y’)的灰度值；同样地，用I表示左图像，其中用I(x,y)表示左图像任意点(x,y)的灰度值；相似度表示为：式(1)中：n表示模板图像像素点的数量，R(x,y)表示左图像I上任一点(x,y)的相似度值，(x’,y’)指模板图像T中某一点的坐标。步骤(2)中，所述的视差图，其获取方法如下：(2-1)用凸多边形最小化包围步骤(1)识别出的零件；(2-2)计算凸多边形的质心在左图像中的坐标；(2-3)以所述质心为圆心绘制最大内切圆；(2-4)以一定比例因子绘制上述内切圆的同心圆；(2-5)利用双目立体视觉系统获得该同心圆所在区域的视差图。所述的比例因子为最大内切圆半径的倍率，根据零件边缘的凹陷情况选择合适的比例因子，其大小在0～1之间，优选0.5～0.8。其中，计算凸多边形的质心在左图像中的坐标，是采用下述方法：(2-2-1)几何学中，三角形的重心为三条中线的交点，假定三角形三个顶点坐标(顺时针)依次为(x1,y1),(x2,y2),(x3,y3),重心坐标为(xg,yg),三角形的面积为S，有：假定某均质物体的形状为三角形，不妨认为物体的质量就是三角形的面积，则质心抽象为三角形的重心；假定平面上有两个质点A和B，坐标分别为(xa,ya),(xb,yb),质量分别为ma和mb,这两点组成的系统的质心坐标为(xab,yab),质量为mab,则有：mab＝ma+mb(7)(2-2-2)对于任意凸多边形均可将它完全划分为三角形，假定凸多边形的顶点按顺时针依次为P1(x1,y1)，P2(x2,y2)，P3(x3,y3),......Pn(xn,yn)，可将凸多边形分成ΔP1P2P3,ΔP1P3P4,ΔP1P4P5……ΔP1Pn-1Pn；(2-2-3)根据上述公式，凸多边形的质心可通过递推的方法得出：先求ΔP1P2P3和ΔP1P3P4,各自的质心坐标和面积，再求ΔP1P2P3与ΔP1P3P4组合质心坐标和面积，然后求ΔP1P4P5的质心坐标和面积，再求ΔP1P2P3，ΔP1P3P4与ΔP1P4P5组合质心坐标和面积，直到求出ΔP1P2P3,ΔP1P3P4,ΔP1P4P5……ΔP1Pn-2Pn-1与ΔP1Pn-1Pn组合的质心坐标，最终得到的质心坐标则为所求凸多边形的质心坐标。以质心为圆心绘制最大内切圆，采用的方法是：(2-3-1)平面内直线方程采用一般直线方程a·x+b·y+c＝0表示，同一平面内的点(x0,y0)到该直线的距离d为：(2-3-2)将凸多边形某相邻顶点坐标代入一般直线方程，求出经过这两相邻顶点的直线方程的系数a,b和c，将算出的质心坐标代入式(8)，算出质心到该直线的距离；(2-3-3)按照上述的方法算出质心到凸多边形所有边长的距离，则距离最小值为最大内切圆的半径；假定凸多边形的质心坐标为(x0,y0),距离最小值为d0,该内切圆可表示为：实际应用过程中，如果将零件所在区域的视差图直接转换成三维点云，会存在很多离群点，且大多出现在零件的边缘处，因为零件的边缘存在距离的突变。对零件进行凸多边形包围后再求最大内切圆，在相切处也可能存在部分零件的边缘。以一定的比例因子η绘制同心圆，所述比例因子η的取值范围为0～1，再将同心圆所在区域的视差图转换为三维点云的方法能够有效去除离群点，提高后续平面拟合的准确性。根据公式(9)，同心圆的方程可表示为：(x-x0)2+(y-y0)2＝(ηd0)2(10)所述同心圆所在区域的视差图的获取方法为：首先利用双目立体视觉系统获得与左图像一样大小的整张视差图，将视差图中像素点的坐标代入上述同心圆方程的左边，将得到的数值与同心圆半径的二次方比较大小，当数值大于同心圆半径的二次方时，则将该像素点的视差值赋值为0，当数值小于或等于同心圆半径的二次方时，则该像素点的视差值保持不变；对整张视差图的像素点做上述运算，得到同心圆所在区域的视差图。步骤(3)中，所述平面拟合的具体步骤如下：(3-1)利用式(11)将视差图中像素点的坐标(u,v)以及视差值d转换为左相机坐标系下(双目立体视觉的坐标系为立体校正后左相机的坐标系)的三维点云坐标(X,Y,Z)：式(11)中，(ox,oy)是左相机光轴中心(即左相机坐标系的Z轴与左图像的交点)在左图像中的像素坐标，f是立体校正后相机焦距(立体校正后左右相机具有相同的焦距f)，TX是左右相机的基线距离(基线距离为立体校正后左相机坐标系Z轴与本文档来自技高网...

【技术保护点】
一种不规则平面零件的分类和识别定位方法，其特征在于：是采用双目立体视觉系统，通过对相机标定后获取的左右图像进行立体匹配以获得视差图，并根据三角测量原理将视差图转换为三维点云数据，包括下述步骤：(1)识别零件类型：使用双目立体视觉系统获取待测零件的图像，包括左图像和右图像，然后通过零件图像模板库对左图像待测零件进行匹配，识别零件的类型；(2)获取视差图：使用凸多边形包围左图像的待测零件，计算凸多边形的质心，并以该质心为圆心绘制最大内切圆，然后以一定的比例因子绘制该内切圆的同心圆，再利用双目立体视觉系统获得该同心圆所在区域的视差图；(3)平面拟合：将视差图转化为三维点云，再使用最小二乘算法对三维点云拟合平面，得到平面方程；(4)待测零件的识别定位：利用所述平面方程，计算待测零件的三维位置和零件表面的平面法向量，进行识别定位。

【技术特征摘要】
1.一种不规则平面零件的分类和识别定位方法，其特征在于：是采用双目立体视觉系统，通过对相机标定后获取的左右图像进行立体匹配以获得视差图，并根据三角测量原理将视差图转换为三维点云数据，包括下述步骤：(1)识别零件类型：使用双目立体视觉系统获取待测零件的图像，包括左图像和右图像，然后通过零件图像模板库对左图像待测零件进行匹配，识别零件的类型；(2)获取视差图：使用凸多边形包围左图像的待测零件，计算凸多边形的质心，并以该质心为圆心绘制最大内切圆，然后以一定的比例因子绘制该内切圆的同心圆，再利用双目立体视觉系统获得该同心圆所在区域的视差图；(3)平面拟合：将视差图转化为三维点云，再使用最小二乘算法对三维点云拟合平面，得到平面方程；(4)待测零件的识别定位：利用所述平面方程，计算待测零件的三维位置和零件表面的平面法向量，进行识别定位。2.根据权利要求1所述的不规则平面零件的分类和识别定位方法，其特征在于：步骤(1)中，所述通过零件图像模板库对左图像待测零件进行匹配，识别零件的类型，是采用形状匹配算法，具体识别步骤是：首先，创建每种零件的模板图像，制作图像模板库，同时假定左图像中存在位姿各异的各种零件；其次，在左图像中移动并以给定的旋转角度多次旋转模板图像，并多次计算模板图像与左图像的待匹配区域的相似度；找出该模板匹配时最大的相似度，对所有模板图像重复前面的操作，找出相似度最大时对应的模板零件类型作为待测零件的类型。3.根据权利要求2所述的不规则平面零件的分类和识别定位方法，其特征在于：所述相似度是指模板图像与左图像的匹配区域的对应位置的灰度平方差，具体表示为：假定用T表示模板图像，其中用T(x’,y’)表示模板图像任意点(x’,y’)的灰度值；同样地，用I表示左图像，其中用I(x,y)表示左图像任意点(x,y)的灰度值；相似度表示为：式(1)中：n表示模板图像像素点的数量，R(x,y)表示左图像I上任一点(x,y)的相似度值，(x’,y’)指模板图像T中某一点的坐标。4.根据权利要求1所述的不规则平面零件的分类和识别定位方法，其特征在于：步骤(2)中，所述的视差图，其获取方法如下：(2-1)用凸多边形最小化包围步骤(1)识别出的零件；(2-2)计算凸多边形的质心在左图像中的坐标；(2-3)以所述质心为圆心绘制最大内切圆；(2-4)以一定比例因子绘制上述内切圆的同心圆；(2-5)利用双目立体视觉系统获得该同心圆所在区域的视差图。5.根据权利要求4所述的不规则平面零件的分类和识别定位方法，其特征在于：以质心为圆心绘制最大内切圆，采用的方法是：(2-3-1)平面内直线方程采用一般直线方程a·x+b·y+c＝0表示，同一平面内的点(x0,y0)到该直线的距离d为：(2-3-2)将凸多边形某相邻顶点坐标代入一般直线方程，求出经过这两相邻顶点的直线方程的系数a,b和c，将算出的质心坐标代入式(8)，算出质心到该直线的距离；(2-3-3)按照上述的方法算出质心到凸多边形所有边长的距离，则距离最小值为最大内切圆的半径；假定凸多边形的质心坐标为(x0,y0),距离最小值为d0,该内切圆可表示为：6.根据权利要求4所述的不规则平面零件的分类和识别定位方法，其特征在于：所述以一定的比例因子绘制内切圆的同心圆，所述比例因子的取值范围为0～1。7.根据权利要求4所述的不规则平面零件的分类和识别定位...

【专利技术属性】
技术研发人员：邹湘军，司徒伟明，王成琳，曹晓曼，李锦慧，陈明猷，张远琴，陈雄，贾春洋，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东,44