一种基于主动双目视觉技术的工件定位方法及系统技术方案

本发明专利技术公开了一种基于主动双目视觉技术的工件定位方法及系统，实施本发明专利技术的有益效果是，采用RGB彩色图像和深度图像的对齐、图像坐标系到相机坐标系的转化、特征点模板创建与模板匹配技术，实现了在图像中工件的特征点较少时，通过对左右图像中的特征点进行立体匹配，提高了工件位姿的计算精度。

A Workpiece Location Method and System Based on Active Binocular Vision Technology

【技术实现步骤摘要】
一种基于主动双目视觉技术的工件定位方法及系统
本专利技术涉及工件定位领域，更具体地说，涉及一种采用主动双目视觉技术，对工件进行精准定位的方法及系统。
技术介绍
随着科学技术的不断发展，人们对自动化作业的要求不断提高，传统的人工作业方式不断受到挑战。于是出现了越来越多面向工业领域的工业机器人，它能依靠自身动力和控制能力来自动实现各种功能。而在复杂的工业现场，机器人要对工件进行加工，往往需要先对工件进行识别与定位。因此近几年，在制造生产中，利用机器视觉引导机器人作业逐渐成为一种主流趋势。在工业生产中，工件自动上下料，工件自动分选或者自动装备等工序都需要对工件进行准确地抓取。而工件能否准确地被识别和定位，是工件能否被准确抓取的最关键技术环节之一。现有的主流方法是使用单目摄像机采集工件图像，对工件进行识别和平面定位，再把工件的图像信息传送给工业机器人，让机器人后续处理，但单目视觉得不到工件的三维信息，无法获取工件的位姿，存在一定局限性。而双目视觉则根据左右图像的视差进行三角测距，可获取工件的空间位置和姿态信息，因此双目视觉技术被越来越多地引入工业现场中。传统的双目视觉技术常对双目相机左右图像中的特征点，如角点、圆心进行立体匹配，之后根据三角测距原理计算工具的空间位姿。但当工件表面光照不均匀、纹理较少时，如金具上的螺栓，此时较难获取螺栓图像周围的特征点，导致立体匹配不准确或失败，从而无法获取金具上螺栓的姿态信息。针对这一问题，提出了一种基于主动双目视觉技术的工件定位方法。
技术实现思路
本专利技术要解决的技术问题在于，针对当图像中工件的特征点较少时，此时较难对左右图像中的特征点进行立体匹配，导致工件定位精度低的缺陷，提供基于主动双目视觉技术的工件定位方法及系统。本专利技术解决其技术问题所采用的技术方案是：构造一种基于主动双目视觉技术的工件定位方法，包括以下步骤：S1、采用具备彩色摄像头和深度摄像头的主动双目视觉相机，对具有若干个特征点的待定位工件，进行彩色图像和深度图像获取；S2、在彩色图像中，识别出所述待定位工件上的每个特征点，以及每个特征点在彩色图像中的平面坐标；S3、根据步骤S2得到的每个特征点在彩色图像中的平面坐标，在深度图像中获取每个特征点的深度值；S4、将每个特征点所在的平面坐标系转化为相机坐标系，通过构建相机投影模型，在相机坐标系中识别每个特征点的三维坐标；S5、根据每个特征点的三维坐标，计算每个特征点所在的工件平面相对相机平面的角度值；S6、根据从步骤S4-S5计算得到每个特征点的三维坐标，以及其所在的工件平面相对相机平面的角度值，实现工件的定位。进一步的，在进行特征点识别之前，为保证在获取到的彩色图像中，每个像素点都有其对应的深度信息，将获取到的彩色图像与深度图像进行对齐，即将彩色图像和深度图像的像素点一一对应。进一步的，在相机投影模型下，针对每个特征点，其对应的二维坐标(x,y)和三维坐标(X,Y,Z)之间，具有以下矩阵关系：其中，f表示主动双目视觉相机镜头的焦距；由于每个特征点的二维坐标通过模板匹配算法从彩色图像中计算得到，而根据每个特征点在彩色图像中的二维坐标，即可在深度图像中得到每个特征点对应的深度值W，则在已知参数f、特征点二维坐标和深度值W的情况下，根据上述矩阵关系进一步计算出每个特征点对应的三维坐标。进一步的，步骤S5中，工件的平面角度值求解步骤为：S51、由步骤S4计算出工件上的n个特征点的三维坐标，分别为P1、P2…、Pn；从上述n个特征点中，任选3个特征点为一组，计算上述3个特征点所在平面的法向量其中，S52、构建一个三元一次方程组，对上述3个特征点所在工件的平面角度值进行求解，具体的计算公式为：ni*X+nj*Y+nk*Z＝K；其中，将3个特征点中任一点的坐标带入上述计算公式求得K，即可得工件平面方程，其中即为所求工件的平面三个方向的角度值；(X,Y,Z)为特征点所对应的三维坐标；S53、选取多组不完全相同的特征点，将求得的多个平面角度值进行求平均，所得的角度平均值，即为最终求得的工件角度信息。进一步的，步骤S5中，工件的平面角度值求解步骤为：通过获取特征点周围一片区域的三维点云数据，通过最小二乘法拟合平面，来获得特征点所在平面相对相机平面的夹角。进一步的，包括图像获取模块、平面坐标获取模块、三维坐标获取模块和定位模块；其中：所述图像获取模块，用于采用具备彩色摄像头和深度摄像头的主动双目视觉相机，对具有若干个特征点的待定位工件，进行彩色图像和深度图像获取；所述平面坐标获取模块，用于利用基于几何特征的模板匹配算法，在彩色图像中，识别出所述待定位工件上的每个特征点，得到每个特征点在彩色图像中的平面坐标；所述三维坐标获取模块，用于将每个特征点所在的平面坐标系转化为相机坐标系，求得每个特征点对应的三维坐标；所述工件角度信息第一计算模块，用于将从三维坐标获取模块中得到的每个特征点的三维坐标，进行平面计算，计算每个特征点所在工件平面相对相机平面的角度；所述定位模块，用于从平面角度计算模块中获取每个特征点所在工件的平面角度值，并根据平面坐标获取模块得到的每个特征点在彩色图像中的平面坐标，实现对工件的定位。进一步的，所述工件定位系统中，还包括工件角度信息第二计算模块；所述工件角度信息第二计算模块，用于通过获取特征点周围一片区域的三维点云数据，利用最小二乘法进行平面的拟合，进一步获得特征点所在平面相对相机平面的夹角。在本专利技术述所的一种基于主动双目视觉技术的工件定位方法及系统中，运用到了RGB彩色图像和深度图像的对齐、图像坐标系到相机坐标系的转化、特征点模板创建与模板匹配等技术，实现了在图像中工件的特征点较少时，通过对左右图像中的特征点进行立体匹配，提高了工件位姿的计算精度。实施本专利技术的工件定位方法及系统，具有以下有益效果：1、使用主动双目视觉相机完成彩色图像和深度图像的对齐；其中，使用彩色图像获取工件平面信息，使用深度图像获取工件深度信息；有效的对左右图像中的特征点进行立体匹配；2、在进行工件定位时，先获得工件上每个特征点的图像坐标，进而获得其对应的三维坐标，之后根据得到的三维坐标，进行特征点所在平面的计算，最终获得特征点姿态的；有效的提高了双目视觉定位对工件定位的精度，适用于不确定位姿的工件定位情况。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是工件定位的方法流程图；图2是工件定位系统的结构图；图3是采集到的原始RGB图(左)和深度图像(右)；图4是对齐的RGB图(左)和深度图像(右)；图5是模板匹配算法进行特征点识别定位的效果图；图6是工件位姿定位结果。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。请参考图1，其为工件定位的方法流程图，本专利技术提出一种基于主动双目视觉技术的工件定位方法，包括以下步骤：S1、采用具备彩色摄像头和深度摄像头的主动双目视觉相机，对具有若干个特征点的待定位工件，进行彩色图像和深度图像获取；请参考图5，在实施过程中，具体是对工件上的4个螺栓进行识别和定位。S2、在彩色图像中，识别出所述待定位工件上的每个特征点(螺栓)，以及每个特征点(螺栓)在彩色图像中的平面坐标；具体的，本实施例中，在对工本文档来自技高网...

【技术保护点】
1.一种基于主动双目视觉技术的工件定位方法，其特征在于，包括以下步骤：S1、采用具备彩色摄像头和深度摄像头的主动双目视觉相机，对具有若干个特征点的待定位工件，进行彩色图像和深度图像获取；S2、在彩色图像中，识别出所述待定位工件上的每个特征点，以及每个特征点在彩色图像中的平面坐标；S3、根据步骤S2得到的每个特征点在彩色图像中的平面坐标，在深度图像中获取每个特征点的深度值；S4、将每个特征点所在的平面坐标系转化为相机坐标系，通过构建相机投影模型，在相机坐标系中识别每个特征点的三维坐标；S5、根据每个特征点的三维坐标，计算每个特征点所在的工件平面相对相机平面的角度值；S6、根据从步骤S4‑S5计算得到每个特征点的三维坐标，以及其所在的工件平面相对相机平面的角度值，实现工件的定位。

【技术特征摘要】
1.一种基于主动双目视觉技术的工件定位方法，其特征在于，包括以下步骤：S1、采用具备彩色摄像头和深度摄像头的主动双目视觉相机，对具有若干个特征点的待定位工件，进行彩色图像和深度图像获取；S2、在彩色图像中，识别出所述待定位工件上的每个特征点，以及每个特征点在彩色图像中的平面坐标；S3、根据步骤S2得到的每个特征点在彩色图像中的平面坐标，在深度图像中获取每个特征点的深度值；S4、将每个特征点所在的平面坐标系转化为相机坐标系，通过构建相机投影模型，在相机坐标系中识别每个特征点的三维坐标；S5、根据每个特征点的三维坐标，计算每个特征点所在的工件平面相对相机平面的角度值；S6、根据从步骤S4-S5计算得到每个特征点的三维坐标，以及其所在的工件平面相对相机平面的角度值，实现工件的定位。2.根据权利要求1所述的工件定位方法，其特征在于，在进行特征点识别之前，为保证在获取到的彩色图像中，每个像素点都有其对应的深度信息，将获取到的彩色图像与深度图像进行对齐，即将彩色图像和深度图像的像素点一一对应。3.根据权利要求1所述的工件定位方法，其特征在于，在相机投影模型下，针对每个特征点，其对应的二维坐标(x,y)和三维坐标(X,Y,Z)之间，具有以下矩阵关系：其中，f表示主动双目视觉相机镜头的焦距；由于每个特征点的二维坐标通过模板匹配算法从彩色图像中计算得到，而根据每个特征点在彩色图像中的二维坐标，即可在深度图像中得到每个特征点对应的深度值W，则在已知参数f、特征点二维坐标和深度值W的情况下，根据上述矩阵关系进一步计算出每个特征点对应的三维坐标。4.根据权利要求1所述的工件定位方法，其特征在于，步骤S5中，工件的平面角度值求解步骤为：S51、由步骤S4计算出工件上的n个特征点的三维坐标，分别为P1、P2…、Pn；从上述n个特征点中，任选3个特征点为一组，计算上述3个特征点所在平面的法向量其中，S52、构建一个三元一次方程...

【专利技术属性】
技术研发人员：陈鑫，简旭，刘振焘，孙一仆，贺文朋，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42