一种基于视觉图像的机械臂控制方法及装置制造方法及图纸

本申请公开了一种基于视觉图像的机械臂控制方法及装置。机械臂控制装置中，机械抓手的每个抓取指上都固定有一根照明光纤，激光器可通过该照明光纤向工作台投射指示光斑；设置于各个抓取指之间的中央摄像头用于拍摄工作台，在中央摄像头所拍摄的当前画面中既包括目标物体又包括各个指示光斑；控制装置可以识别当前画面中的目标物体和指示光斑；连接各个指示光斑构成抓取范围轮廓，确定抓取范围轮廓的轮廓中心点；通过轮廓中心点与目标物体的目标中心点的位置关系，快速准确地标定机械臂与目标物体之间的相对位置。标物体之间的相对位置。标物体之间的相对位置。

【技术实现步骤摘要】
一种基于视觉图像的机械臂控制方法及装置


[0001]本申请涉及智能机器人领域，特别涉及一种基于视觉图像的机械臂控制方法及装置。

技术介绍

[0002]目前，各种自动化行业飞速发展，对一些简单重复而且要求精度较高的操作，人为操作存在一定的偏差，需要高精度的机械臂进行操作。机器视觉是人工智能正在快速发展的一个分支，简单说来，机器视觉就是用机器代替人眼来做测量和判断。工业机器人在实现基于机器视觉的机械臂物体抓取的过程中，需要用摄像机采集目标物体图片、确定目标物体的位置信息、标定机械臂与目标物体之间的相对位置，从而控制机械臂进行相关操作以抓取目标物体。
[0003]其中，如何快速准确地标定机械臂与目标物体之间的相对位置是最为关键的问题。

技术实现思路

[0004]本申请的目的在于提供一种基于视觉图像的机械臂控制方法及装置，其能够改善上述问题。
[0005]本申请的实施例是这样实现的：第一方面，本申请提供一种基于视觉图像的机械臂控制装置，其包括：机械抓手，包括抓取驱动件和至少两支抓取指，所述抓取驱动件用于驱动所述至少两支抓取指实现抓取动作；运动驱动组件，用于驱动所述机械抓手在三维空间移动；中央摄像头，设置于所述机械抓手上且设置于所述至少两支抓取指之间；至少两根照明光纤，每根所述照明光纤的末端通过光纤固定装置固定于对应的所述抓取指上，所述照明光纤的末端与所述中央摄像头均朝向所述抓取指的延伸方向设置；激光器，所述激光器的输出端与所述照明光纤的首端连接；控制装置，分别与所述激光器、所述中央摄像头、所述运动驱动组件和所述抓取驱动件电连接。
[0006]可以理解，本申请公开了一种基于视觉图像的机械臂控制装置，机械抓手的每个抓取指上都固定有一根照明光纤，激光器可通过该照明光纤向工作台投射指示光斑；设置于各个抓取指之间的中央摄像头用于拍摄工作台，在中央摄像头所拍摄的当前画面中既包括目标物体又包括各个指示光斑；控制装置通过分析当前画面可以快速准确地标定机械臂与目标物体之间的相对位置。
[0007]在本申请可选的实施例中，所述光纤固定装置包括光筒，固定件和扩束光学元件；所述照明光纤的末端插入所述光筒，且通过所述固定件固定于所述光筒上，所述照明光纤的输出光路上还设置有所述扩束光学元件，所述扩束光学元件用于对所述照明光纤的出射
光束进行扩束。
[0008]可以理解，上述照明光纤的输出光路上还设置有扩束光学元件，该扩束光学元件可以是多个透镜组成的透镜组件，用于对照明光纤的出射光束进行扩束，以扩大投射于工作台上的指示光斑的面积。
[0009]在本申请可选的实施例中，所述光纤固定装置还包括扩束驱动件，所述扩束驱动件用于在所述控制装置的控制下驱动所述扩束光学元件对所述照明光纤的出射光束进行扩束。
[0010]可以理解，上述扩束光学元件可以是电控扩束光学元件，在控制装置的控制下对照明光纤的出射光束进行扩束，在未接收到控制装置的控制指令时对照明光纤的出射光束只起到透射作用。
[0011]第二方面，本申请提供一种基于视觉图像的机械臂控制方法，应用于如第一方面任一项的所述基于视觉图像的机械臂控制装置的所述控制装置上，该机械臂控制方法包括：S1、向所述激光器发送启动指令，使得所述激光器通过所述照明光纤向工作台投射出指示光斑后，获取所述中央摄像头所拍摄的当前画面；S2、识别所述当前画面中的目标物体，确定所述当前画面中所述目标物体的目标中心点；S3、识别所述当前画面中的所述指示光斑，通过直线依次连接各个所述指示光斑形成抓取范围轮廓，确定所述抓取范围轮廓的轮廓中心点；S4、向所述运动驱动组件发送运动指令驱动所述机械抓手向所述目标物体移动，使得所述轮廓中心点与所述目标中心点重合。
[0012]其中,S1、S2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤S2再执行步骤S1，本申请不做限制。
[0013]可以理解，本申请公开了一种基于视觉图像的机械臂控制方法，应用于上述任一项基于视觉图像的机械臂控制装置的所述控制装置上，该方法主要包括：在工作台被投射指示光斑后，获取中央摄像头所拍摄的既包括目标物体又包括各个指示光斑的当前画面；识别当前画面中的目标物体和指示光斑；连接各个指示光斑构成抓取范围轮廓，确定抓取范围轮廓的轮廓中心点；通过轮廓中心点与目标物体的目标中心点的位置关系，快速准确地标定机械臂与目标物体之间的相对位置。在轮廓中心点与目标中心点重合的情况下，判断机械抓手移动至目标物体的正上方，最适合进行抓取操作，因此，控制运动驱动组件驱动机械抓手向目标物体移动，使得轮廓中心点与目标中心点重合。
[0014]在本申请可选的实施例中，步骤S2包括：S21、识别所述当前画面中的目标物体，确定所述当前画面中所述目标物体的物体轮廓；S22、计算所述物体轮廓内每个像素点对应的边缘距离差值；S23、在所述物体轮廓内找出所述边缘距离差值最小的像素点，作为所述目标物体的目标中心点。
[0015]可以理解，在物体轮廓内边缘距离差值最小的像素点即为目标物体的目标中心点，该目标中心点沿相反相两方向至物体轮廓边缘的距离差值最小。在物体轮廓内边缘向
内均匀施加外力的情况下，该目标中心点的受力最为均匀。
[0016]在本申请可选的实施例中，步骤S22包括：S221、逐一将所述物体轮廓内每个像素点作为目标像素点；S222、以所述目标像素点为交点生成至少一组方向线组，所述方向线组包括相互垂直的两条方向线；S223、将所述方向线与所述物体轮廓的两个交点分别作为第一交点和第二交点，将所述第一交点与所述目标像素点的距离作为第一距离值，将所述第二交点与所述目标像素点的距离作为第二距离值；S224、计算所述目标像素点对应的各组所述方向线组中的所述第一距离值的平均值作为第一平均距离值，计算所述目标像素点对应的各组所述方向线组中的所述第二距离值的平均值作为第二平均距离值；S225、将所述第一平均距离值和所述第二平均距离值的差值的绝对值作为所述目标像素点对应的边缘距离差值。
[0017]在本申请可选的实施例中，步骤S3包括：S31、识别所述当前画面中的所述指示光斑，确定所述指示光斑的几何中心点作为光斑点；S32、在所述当前画面中所述指示光斑的数量为2的情况下，通过直线连接两个所述指示光斑的所述光斑点形成抓取线段；S33、将所述抓取线段的几何中心点作为轮廓中心点。
[0018]可以理解，在机械抓手为两指抓手的情况下，左右两指处照明光纤所投射的指示光斑可分别代表当前两抓取指在工作台的正投射位置。在机械抓手抓取目标物体时，左右两指均匀向目标物体施加外力以抓取目标物体。因此，抓取线段的中心点与上述目标物体的目标中心点重合的情况下，机械抓手移动至目标物体的正上方，最适合进行抓取操作。
[0019]在本申请可选的实施例中，步骤S3包括：S34、识别所述当前画面中的所述指示光斑，确定所述指示光斑的几何中心点作为光斑点；S35、在所述当前画面中所述指示光斑的数量为3的情况下，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉图像的机械臂控制装置，其特征在于，包括：机械抓手，包括抓取驱动件和至少两支抓取指，所述抓取驱动件用于驱动所述至少两支抓取指实现抓取动作；运动驱动组件，用于驱动所述机械抓手在三维空间移动；中央摄像头，设置于所述机械抓手上且设置于所述至少两支抓取指之间；至少两根照明光纤，每根所述照明光纤的末端通过光纤固定装置固定于对应的所述抓取指上，所述照明光纤的末端与所述中央摄像头均朝向所述抓取指的延伸方向设置；激光器，所述激光器的输出端与所述照明光纤的首端连接；控制装置，分别与所述激光器、所述中央摄像头、所述运动驱动组件和所述抓取驱动件电连接。2.根据权利要求1所述的基于视觉图像的机械臂控制装置，其特征在于，所述光纤固定装置包括光筒，固定件和扩束光学元件；所述照明光纤的末端插入所述光筒，且通过所述固定件固定于所述光筒上，所述照明光纤的输出光路上还设置有所述扩束光学元件，所述扩束光学元件用于对所述照明光纤的出射光束进行扩束。3.根据权利要求2所述的基于视觉图像的机械臂控制装置，其特征在于，所述光纤固定装置还包括扩束驱动件，所述扩束驱动件用于在所述控制装置的控制下驱动所述扩束光学元件对所述照明光纤的出射光束进行扩束。4.一种基于视觉图像的机械臂控制方法，应用于如权利要求1至3任一项的所述基于视觉图像的机械臂控制装置的所述控制装置上，其特征在于，包括：向所述激光器发送启动指令，使得所述激光器通过所述照明光纤向工作台投射出指示光斑后，获取所述中央摄像头所拍摄的当前画面；识别所述当前画面中的目标物体，确定所述当前画面中所述目标物体的目标中心点；识别所述当前画面中的所述指示光斑，通过直线依次连接各个所述指示光斑形成抓取范围轮廓，确定所述抓取范围轮廓的轮廓中心点；向所述运动驱动组件发送运动指令驱动所述机械抓手向所述目标物体移动，使得所述轮廓中心点与所述目标中心点重合。5.根据权利要求4所述的基于视觉图像的机械臂控制方法，其特征在于，所述识别所述当前画面中的目标物体，确定所述当前画面中所述目标物体的目标中心点，包括：识别所述当前画面中的目标物体，确定所述当前画面中所述目标物体的物体轮廓；计算所述物体轮廓内每个像素点对应的边缘距离差值；在所述物体轮廓内找出所述边缘距离差值最小的像素点，作为所述目标物体的目标中心点。6.根据权利要求5所述的基于视觉图像的机械臂控制方法，其特征在于，所述计算所述物体轮廓...

【专利技术属性】
技术研发人员：陈国栋，姚军亭，贾风光，李志锋，丁斌，古缘，
申请(专利权)人：山东中清智能科技股份有限公司，
类型：发明
国别省市：