机器人的视觉抓取方法和装置制造方法及图纸

本发明专利技术实施例提供了机器人的视觉抓取方法和装置，包括：将标定图片进行水平面旋转和中心旋转，得到多张第一图片和多张第二图片；将每张第一图片输入映射矩阵算法，得到映射矩阵；将每张第二图片输入tcp偏移量算法，得到tcp偏移量；根据tcp偏移量确定标定结果的准确度；从待抓取工件的图片中获取图片处理区域；将图片处理区域通过图像处理算法，得到最小外接矩形的中心点和角度；将最小外接矩形的中心点和角度通过映射矩阵进行坐标转换，得到待抓取工件在机器人坐标系下的中心点和角度；标定过程中可自动检测出标志物在图像中的位置和自动从机器人端获取机器人当前位置，提高标定准确度；可以对图片处理参数进行调整，提高用户体验。

Visual Grabbing Method and Device of Robot

【技术实现步骤摘要】
机器人的视觉抓取方法和装置
本专利技术涉及机器人
，尤其是涉及机器人的视觉抓取方法和装置。
技术介绍
目前工业中的2D视觉抓取方法是通过机器人和工业相机来完成的，工业相机在获取图片后，通过VisionPro软件或者Halcon软件对图片进行处理。工业相机在标定过程中，通过手动框出标志物在图片中的位置，并手动输出机器人的位置，从而导致检测不准确。并且在图片处理过程中无法对参数进行调整。
技术实现思路
有鉴于此，本专利技术的目的在于提供机器人的视觉抓取方法和装置，标定过程中可自动检测出标志物在图像中的位置和自动从机器人端获取机器人当前的位置坐标，提高标定的准确度；可以对图片处理过程中的参数进行调整，提高用户体验。第一方面，本专利技术实施例提供了机器人的视觉抓取方法，应用于客户端，所述方法包括：获取待抓取工件的图片和标定图片；将所述标定图片进行水平面旋转和中心旋转，分别得到多张第一图片和多张第二图片；将每张第一图片输入映射矩阵算法，得到映射矩阵；将每张第二图片输入工具坐标点tcp偏移量算法，得到tcp偏移量；根据所述tcp偏移量确定标定结果的准确度；从所述待抓取工件的图片中获取图片处理区域；将所述图片处理区域通过图像处理算法，得到最小外接矩形的中心点和角度；将所述最小外接矩形的中心点和所述角度通过所述映射矩阵进行坐标转换，得到所述待抓取工件在机器人坐标系下的中心点和角度。进一步的，所述将每张第一图片输入映射矩阵算法，得到映射矩阵，包括：获取所述每张第一图片对应的机器人位置坐标；获取所述每张第一图片中标志物对应的像素坐标；将所述每张第一图片对应的机器人位置坐标和所述每张第一图片中标志物对应的像素坐标通过映射矩阵算法，得到所述映射矩阵。进一步的，所述将每张第二图片输入工具坐标系统tcp偏移量算法，得到tcp偏移量，包括：获取所述多张第二图片对应的机器人位置坐标；获取所述每张第二图片中标志物对应的像素坐标；将所述每张第二图片中标志物对应的像素坐标通过最小二乘法拟合圆，得到圆心坐标；根据所述映射矩阵，计算所述圆心坐标对应的机器人位置坐标；根据所述多张第二图片对应的机器人位置坐标和所述圆心坐标对应的机器人位置坐标，得到所述tcp偏移量。进一步的，所述将所述图片处理区域通过图像处理算法，得到最小外接矩形的中心点和角度，包括：将所述图片处理区域的图片根据滤波参数进行滤波处理，得到滤波的图片；将所述滤波的图片进行二值化，得到分离的图片；将所述分离的图片进行形态学开运算或形态学闭运算，得到轮廓处理后的图片；从所述轮廓处理后的图片中查找轮廓，并根据轮廓大小筛选出多个轮廓；计算每个轮廓的最小外接矩形；根据所述最小外接矩形，得到所述最小外接矩形的中心点和角度；将所述最小外接矩形的中心点和角度显示在所述待抓取工件的图片上。进一步的，所述方法还包括：获取所述待抓取工件的图片的图像亮度值；将所述图像亮度值与图像的平均灰度值进行比较；如果所述图像亮度值小于所述平均灰度值，则增加相机的曝光时间；如果所述图像亮度值大于所述平均灰度值，则减少所述相机的所述曝光时间。第二方面，本专利技术实施例提供了机器人的视觉抓取装置，应用于客户端，所述装置包括：图片获取单元，用于获取待抓取工件的图片和标定图片；旋转单元，用于将所述标定图片进行水平面旋转和中心旋转，分别得到多张第一图片和多张第二图片；映射矩阵获取单元，用于将每张第一图片输入映射矩阵算法，得到映射矩阵；偏移量获取单元，用于将每张第二图片输入工具坐标系统tcp偏移量算法，得到tcp偏移量；确定单元，用于根据所述tcp偏移量确定标定结果的准确度；图片处理区域获取单元，用于从所述待抓取工件的图片中获取图片处理区域；中心点获取单元，用于将所述图片处理区域通过图像处理算法，得到最小外接矩形的中心点和角度；坐标转换单元，用于将所述最小外接矩形的中心点和所述角度通过所述映射矩阵进行坐标转换，得到所述待抓取工件在机器人坐标系下的中心点和角度。进一步的，所述映射矩阵获取单元具体用于：获取所述每张第一图片对应的机器人位置坐标；获取所述每张第一图片中标志物对应的像素坐标；将所述每张第一图片对应的机器人位置坐标和所述每张第一图片中标志物对应的像素坐标通过映射矩阵算法，得到所述映射矩阵。进一步的，所述偏移量获取单元具体用于：获取所述多张第二图片对应的机器人位置坐标；获取所述每张第二图片中标志物对应的像素坐标；将所述每张第二图片中标志物对应的像素坐标通过最小二乘法拟合圆，得到圆心坐标；根据所述映射矩阵，计算所述圆心坐标对应的机器人位置坐标；根据所述多张第二图片对应的机器人位置坐标和所述圆心坐标对应的机器人位置坐标，得到所述tcp偏移量。第三方面，本专利技术实施例提供了电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。第四方面，本专利技术实施例提供了具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行如上所述的方法。本专利技术实施例提供了机器人的视觉抓取方法和装置，包括：获取待抓取工件的图片和标定图片；将标定图片进行水平面旋转和中心旋转，分别得到多张第一图片和多张第二图片；将每张第一图片输入映射矩阵算法，得到映射矩阵；将每张第二图片输入工具坐标点tcp偏移量算法，得到tcp偏移量；根据tcp偏移量确定标定结果的准确度；从待抓取工件的图片中获取图片处理区域；将图片处理区域通过图像处理算法，得到最小外接矩形的中心点和角度；将最小外接矩形的中心点和角度通过映射矩阵进行坐标转换，得到待抓取工件在机器人坐标系下的中心点和角度；标定过程中可自动检测出标志物在图像中的位置和自动从机器人端获取机器人当前的位置坐标，提高标定的准确度；可以对图片处理过程中的参数进行调整，提高用户体验。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一提供的机器人的视觉抓取方法流程图；图2为本专利技术实施例二提供的机器人的视觉抓取装置示意图；图3为本专利技术实施例三提供的机器人的视觉抓取系统示意图；图4为本专利技术实施例三提供的机器人末端法兰和标定板装配示意图；图5为本专利技术实施例三提供的机器人末端法兰示意图；图6为本专利技术实施例三提供的标定板主视图。图标：10-图片获取单元；20-旋转单元；30-映射矩阵获取单元；40-偏移量获取单元；50-确定单元；60-图片处理区域获取单元；70-中心点获取单元；80-坐标转换单元；1-机器人；2-末端吸爪；3-相机；4-相机支架；5-锂电池；6-标定板；7-螺钉；8-末端法兰。具体实施方式为使本专利技术实施例的目的、技本文档来自技高网...

【技术保护点】
1.一种机器人的视觉抓取方法，其特征在于，应用于客户端，所述方法包括：获取待抓取工件的图片和标定图片；将所述标定图片进行水平面旋转和中心旋转，分别得到多张第一图片和多张第二图片；将每张第一图片输入映射矩阵算法，得到映射矩阵；将每张第二图片输入工具坐标点tcp偏移量算法，得到tcp偏移量；根据所述tcp偏移量确定标定结果的准确度；从所述待抓取工件的图片中获取图片处理区域；将所述图片处理区域通过图像处理算法，得到最小外接矩形的中心点和角度；将所述最小外接矩形的中心点和所述角度通过所述映射矩阵进行坐标转换，得到所述待抓取工件在机器人坐标系下的中心点和角度。

【技术特征摘要】
1.一种机器人的视觉抓取方法，其特征在于，应用于客户端，所述方法包括：获取待抓取工件的图片和标定图片；将所述标定图片进行水平面旋转和中心旋转，分别得到多张第一图片和多张第二图片；将每张第一图片输入映射矩阵算法，得到映射矩阵；将每张第二图片输入工具坐标点tcp偏移量算法，得到tcp偏移量；根据所述tcp偏移量确定标定结果的准确度；从所述待抓取工件的图片中获取图片处理区域；将所述图片处理区域通过图像处理算法，得到最小外接矩形的中心点和角度；将所述最小外接矩形的中心点和所述角度通过所述映射矩阵进行坐标转换，得到所述待抓取工件在机器人坐标系下的中心点和角度。2.根据权利要求1所述的机器人的视觉抓取方法，其特征在于，所述将每张第一图片输入映射矩阵算法，得到映射矩阵，包括：获取所述每张第一图片对应的机器人位置坐标；获取所述每张第一图片中标志物对应的像素坐标；将所述每张第一图片对应的机器人位置坐标和所述每张第一图片中标志物对应的像素坐标通过映射矩阵算法，得到所述映射矩阵。3.根据权利要求1所述的机器人的视觉抓取方法，其特征在于，所述将每张第二图片输入工具坐标系统tcp偏移量算法，得到tcp偏移量，包括：获取所述多张第二图片对应的机器人位置坐标；获取所述每张第二图片中标志物对应的像素坐标；将所述每张第二图片中标志物对应的像素坐标通过最小二乘法拟合圆，得到圆心坐标；根据所述映射矩阵，计算所述圆心坐标对应的机器人位置坐标；根据所述多张第二图片对应的机器人位置坐标和所述圆心坐标对应的机器人位置坐标，得到所述tcp偏移量。4.根据权利要求1所述的机器人的视觉抓取方法，其特征在于，所述将所述图片处理区域通过图像处理算法，得到最小外接矩形的中心点和角度，包括：将所述图片处理区域的图片根据滤波参数进行滤波处理，得到滤波的图片；将所述滤波的图片进行二值化，得到分离的图片；将所述分离的图片进行形态学开运算或形态学闭运算，得到轮廓处理后的图片；从所述轮廓处理后的图片中查找轮廓，并根据轮廓大小筛选出多个轮廓；计算每个轮廓的最小外接矩形；根据所述最小外接矩形，得到所述最小外接矩形的中心点和角度；将所述最小外接矩形的中心点和角度显示在所述待抓取工件的图片上。5.根据权利要求1所述的机器人的视觉抓取方法，其特征在于，所述方法还包括：获...

【专利技术属性】
技术研发人员：李明洋，许国树，
申请(专利权)人：上海节卡机器人科技有限公司，
类型：发明
国别省市：上海,31