一种基于激光视觉引导的机器人定位抓取方法及系统技术方案

本发明专利技术涉及一种基于激光视觉引导的机器人定位抓取方法及系统，所述方法包括：通过3个不共线的距离测量仪对目标物体进行测距，确定目标物体所在平面的法向量；根据法向量，调整视觉传感器的位姿；通过视觉传感器捕捉目标物体的二维图像信息；根据二维图像信息，确定目标物体的位姿，实现对目标物体的抓取；所述系统包括定位抓取臂、PLC控制器和上位机，PLC控制器封装于定位抓取臂内部，并与上位机连接，定位抓取臂上设有与PLC控制器连接的视觉传感器，视觉传感器所在平面上设有3个不共线的距离测量仪。与现有技术相比，本发明专利技术具有计算量小、精度高且抓取速度快等优点。

Robot positioning and grasping method and system based on laser vision guidance

The invention relates to a method and system for locating and grasping a robot based on a laser visual guidance. The method includes: measuring the target object by 3 non collinear distance measuring instruments and determining the normal vector of the plane of the target object; adjust the position of the visual sensor according to the normal vector; capture the visual sensor by the visual sensor. The two-dimensional image information of the target object, according to the two-dimensional image information, determine the position and position of the object, and realize the capture of the object. The system includes the positioning grabbing arm, the PLC controller and the upper computer. The PLC controller is encapsulated in the positioning grip arm, connected with the upper computer, and the positioning grab arm is equipped with the PLC controller. There are 3 non collinear distance measuring instruments on the plane of the vision sensor connected to the visual sensor. Compared with the existing technology, the invention has the advantages of small amount of calculation, high accuracy and fast grasping speed.

【技术实现步骤摘要】
一种基于激光视觉引导的机器人定位抓取方法及系统
本专利技术涉及机器人视觉领域，尤其是涉及一种基于激光视觉引导的机器人定位抓取方法及系统。
技术介绍
工业机器人已经成为了先进制造业中不可替代的重要装备。把计算机视觉技术运用到视觉引导上面，经过图像处理将目标物体的位姿确定，给工业机器人完成特定的动作提供位置和姿态，视觉系统的精度直接影响到工业生产过程中机器人跟踪的精度与抓取的准确度。目前，各
对目标进行识别和求取目标位姿有不同的视觉测量技术。该领域中较为常用的立体视觉方式有双目视觉和激光线扫描技术。对于立体视觉中的双目视觉技术，如果要恢复出完整的目标深度信息，需要从多角度拍摄目标图像，并针对各个图像进行匹配，再恢复目标物体的完整深度信息，其过程非常复杂，计算量很大，且精度不高。激光线扫描方法只能获取工件的高度信息，适合于测量变化平缓的表面，且具体的坐标未知，棱边和边界特征识别需要大量的数据及计算处理，以至于目标的识别过程较慢，工作效率不高。
技术实现思路
本专利技术的目的是针对上述问题提供一种基于激光视觉引导的机器人定位抓取方法及系统。本专利技术的目的可以通过以下技术方案来实现：一种基于激光视觉引导的机器人定位抓取方法，所述方法包括下列步骤：s1)通过3个不共线的距离测量仪对目标物体进行测距，确定目标物体所在平面的法向量；s2)根据步骤s1)确定的法向量，调整视觉传感器的位姿；s3)通过视觉传感器捕捉目标物体的二维图像信息；s4)根据步骤s3)中捕捉到的二维图像信息，确定目标物体的位姿，实现对目标物体的抓取。优选地，所述步骤s1)包括：s11)通过3个不共线的距离测量仪，对目标物体进行测距；s12)根据步骤s11)的测距结果，结合三点共面原理，确定目标物体所在平面上的向量信息；s13)根据步骤s12)中得到的向量信息，计算得到目标物体所在平面的法向量。优选地，所述目标物体所在平面的法向量具体为：其中，i、j和k分别为三个方向的法向量，(x1,y1,z1)、(x2,y2,z2)和(x3,y3,z3)分别为3个不共线的距离测量仪测得的3个目标点的坐标。优选地，所述距离测量仪包括激光测距仪、超声波传感器或涡电流传感器。优选地，所述步骤s2)具体为：根据步骤s1)确定的法向量，调整视觉传感器的位姿，确保视觉传感器的视觉捕捉轴线与步骤s1)确定的法向量平行。优选地，所述步骤s4)包括：s41)对步骤s3)中捕捉到的二维图像信息进行畸变校正；s42)对步骤s41)中经过畸变校正的图像进行图像预处理；s43)对步骤s42)中预处理后的图像转化成数字信号，通过坐标转换确定目标物体的位姿，实现对目标物体的抓取。优选地，所述图像预处理包括灰度转化、平滑滤波和边缘检测。一种基于激光视觉引导的机器人定位抓取系统，包括定位抓取臂、PLC控制器和上位机，所述PLC控制器封装于定位抓取臂内部，并与上位机连接，所述定位抓取臂上设有与PLC控制器连接的视觉传感器，所述视觉传感器所在平面上设有3个不共线的距离测量仪。优选地，所述距离测量仪包括激光测距仪、超声波传感器或涡电流传感器。优选地，所述视觉传感器通过I/O线缆与PLC控制器连接。与现有技术相比，本专利技术具有以下有益效果：(1)本专利技术提出的机器人定位抓取方法，利用不共线的三点可以确定平面的原理，通过3个不共线的距离测量仪确定目标物体所在平面的法向量，从而可以调整视觉传感器的位置使得视觉传感器与目标物体平行，从而可以保证完整地拍到目标物体的平面景象，继而将三维立体识别问题转化为二维上的图像识别，由于目前二维图像识别的技术越发的成熟，因此后续对于目标物体的定位足够准确，而且计算量比起现有的双目视觉技术来说大大减小，同时由于将三维识别转化为二维识别，因此无需考虑目标物体的表面平坦程度，适用范围广，同时识别速度加快，提高整个抓取的速度和流程，继而提高了机器人的工作效率。(2)在确定目标物体所在平面的过程中，在确定了目标物体所在的平面后还需求取其法向量，这是由于如果根据平面向量直接调整视觉传感器的位姿使其与目标物体平行，这种操作具有一定的困难，而视觉传感器因为要进行图像捕捉，因此都会存在一个光轴，这个光轴与目标物体所在平面的法向量平行的话，自然就可以保证视觉传感器和目标物体的平行，因此提升了方法的简易程度和工作效率。(3)距离测量仪包括激光测距仪、超声波传感器或涡电流传感器等距离测量仪，根据目标物体的具体内容和所处环境，可以灵活选取距离测量仪，使得本专利技术提出的方法适用范围广，易于推广。(4)在对二维图像进行识别时，依次要经过畸变校正、图像预处理和坐标转换三个过程，这是由于虽然通过三点测距可以大致保证视觉传感器和目标物体的平行，但是不排除由于目标物体表面凹凸不平而导致的测量误差，因此通过畸变校正、图像预处理和坐标转换的过程，可以尽量减小误差，增加抓取精度。(5)本专利技术提出的定位抓取系统，在现有抓取系统的基础上，硬件结构主要是增加了3个不共线的距离测量仪，增加的硬件少，但是3个不共线的距离测量仪即可确定目标物体所在平面，通过控制视觉传感器的位姿可以将三维立体识别转换为二维图像识别，达到较好的识别效果且硬件成本低，具有极高的性价比，适合普遍推广。(6)视觉传感器通过I/O线缆与PLC控制器连接，信息传输稳定，控制精度高且控制速度快，从而提升整个系统的工作速度和准确性。附图说明图1为基于激光视觉引导的机器人定位抓取方法的方法流程图；图2为基于激光视觉引导的机器人定位抓取系统的结构示意图；图3为本实施例中视觉引导系统的具体结构图，其中，(3a)为视觉引导系统的立体图，(3b)为其中视觉捕捉部分的左视图，(3c)为其中视觉捕捉部分的主视图，(3d)为其中视觉捕捉部分的右视图；图4为通过激光测距进行平面确认的原理图；图5为测距点分布和坐标系统俯视图；其中，1为上位机，2为PLC控制器，3为视觉传感器，4为激光测距仪，5为换手盘母盘，6为相机，7为换手盘公盘，8为固定支架，9为法兰盘，10为机器人控制器。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。如图2所示，本实施例提出了一种基于激光视觉引导的机器人定位抓取系统，包括定位抓取臂、PLC控制器2和上位机1，PLC控制器2封装于定位抓取臂内部，并与上位机1连接，定位抓取臂上设有与PLC控制器2连接的视觉传感器3，视觉传感器3所在平面上设有3个不共线的距离测量仪。距离测量仪可以是激光测距仪4、超声波传感器或涡电流传感器等任意一种可以测量物体之间距离的传感器，本实施例中，下面均以激光测距仪4作为距离测量仪进行描述。从图2中可以看出，上位机1通过RS232电缆与PLC控制器2相连，然后采用RS485电缆与激光测距仪4相连，激光测距仪4用于配合机器人实现测量时候的垂直姿态。采用的视觉传感器3(本实施例中为相机6)具有高分辨率和高质量图像，用于识别和定位，可连续采集。图像信号经千兆网传输到计算机，使计算机能对相机6拍摄到的物体图像进行实时处理、储存和显示。该系统的工作原理如图4所示：由于3个激光测距仪4不共线，因此利用激光三角反射式测量原理可以本文档来自技高网...

【技术保护点】
1.一种基于激光视觉引导的机器人定位抓取方法，其特征在于，所述方法包括下列步骤：s1)通过3个不共线的距离测量仪对目标物体进行测距，确定目标物体所在平面的法向量；s2)根据步骤s1)确定的法向量，调整视觉传感器的位姿；s3)通过视觉传感器捕捉目标物体的二维图像信息；s4)根据步骤s3)中捕捉到的二维图像信息，确定目标物体的位姿，实现对目标物体的抓取。

【技术特征摘要】
1.一种基于激光视觉引导的机器人定位抓取方法，其特征在于，所述方法包括下列步骤：s1)通过3个不共线的距离测量仪对目标物体进行测距，确定目标物体所在平面的法向量；s2)根据步骤s1)确定的法向量，调整视觉传感器的位姿；s3)通过视觉传感器捕捉目标物体的二维图像信息；s4)根据步骤s3)中捕捉到的二维图像信息，确定目标物体的位姿，实现对目标物体的抓取。2.根据权利要求1所述的基于激光视觉引导的机器人定位抓取方法，其特征在于，所述步骤s1)包括：s11)通过3个不共线的距离测量仪，对目标物体进行测距；s12)根据步骤s11)的测距结果，结合三点共面原理，确定目标物体所在平面上的向量信息；s13)根据步骤s12)中得到的向量信息，计算得到目标物体所在平面的法向量。3.根据权利要求2所述的基于激光视觉引导的机器人定位抓取方法，其特征在于，所述目标物体所在平面的法向量具体为：其中，i、j和k分别为三个方向的法向量，(x1,y1,z1)、(x2,y2,z2)和(x3,y3,z3)分别为3个不共线的距离测量仪测得的3个目标点的坐标。4.根据权利要求1所述的基于激光视觉引导的机器人定位抓取方法，其特征在于，所述距离测量仪包括激光测距仪、超声波传感器或涡电流传感器。5.根据权利要求1所述的基于激光视觉引导的机...

【专利技术属性】
技术研发人员：单鸿涛，孙园园，刘方湖，闫普虹，章文俊，
申请(专利权)人：上海工程技术大学，上海杨岐视觉机器人有限公司，
类型：发明
国别省市：上海,31