一种动态视觉机械臂抓取方法、系统及电子设备技术方案

本发明专利技术涉及物品抓取技术领域，具体公开了一种动态视觉机械臂抓取方法、系统及电子设备，包括：S1、数据获取：通过三维扫描仪采集并搭建出抓取物的三维图形数据；S2、图像识别：读取摄像头采集到的图像信息，在图像中识别出待抓取的的物体并得到其坐标与角度；本发明专利技术通过扫描待抓取物体的三维数据并建立模型，通过采集到的图像信息得到其坐标及角度，将三维模型放置于构建的三维坐标系当中，使末端执行器可以根据三维模型计算不同且合适的抓取路径和抓取姿态，使机械臂在进行物品抓取时与被抓取物之间的稳定性更好，保证被抓取物的安全性。保证被抓取物的安全性。保证被抓取物的安全性。

【技术实现步骤摘要】
一种动态视觉机械臂抓取方法、系统及电子设备


[0001]本专利技术属于物品抓取
，具体涉及一种动态视觉机械臂抓取方法、系统及电子设备。

技术介绍

[0002]机械臂是指高精度，多输入多输出、高度非线性、强耦合的复杂系统，因其独特的操作灵活性，已在工业装配、安全防爆等领域得到广泛应用，存在着参数摄动、外界干扰及未建模动态等不确定性，因而机械臂的建模模型也存在着不确定性，对于不同的任务，需要规划机械臂关节空间的运动轨迹，从而级联构成末端位姿。
[0003]而目前的动态视觉机械臂在进行物品抓取时，仅通过采集物品的外部图像信息，从而控制机械臂对该物品进行抓取，但由于不同的物体形状材质的不同，仅通过图像来控制机械臂来进行抓取容易使末端执行器与物体之间抓取的力度不足和对物体造成损伤等现象，使用较为不便。

技术实现思路

[0004]本专利技术的目的在于提供一种动态视觉机械臂抓取方法、系统及电子设备，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种动态视觉机械臂抓取方法、系统及电子设备，包括：
[0007]S1、数据获取：通过三维扫描仪采集并搭建出抓取物的三维图形数据；
[0008]S2、图像识别：读取摄像头采集到的图像信息，在图像中识别出待抓取的的物体并得到其坐标与角度；
[0009]S3、坐标转换：将物体在在相机中的坐标转换为相对于相机光心的三维坐标，在将其转换为依托于机械臂底座为坐标圆心的三维坐标系，将采集到的三维图形数据根据得到的坐标与角度放置于三维坐标系中；
[0010]S4、路径计算：通过三维坐标系计算出机械臂末端执行器与待抓取物之间的空间距离，再根据有无障碍物、路径距离要求、时间要求规划出合适的路径；
[0011]S5、抓取控制：根据抓取物的三维图形数据计算出机械臂末端执行器抓取物体时的姿态，并通过已知的目标位置和末端执行器的位姿信息来计算机械臂上每个电机应转动的角度；
[0012]S6、完成抓取：根据计算完成的数据驱动机械臂上的每个电机，使机械臂各个关节到达计算好的路径位置上，使末端执行器完成对待抓取物的抓取并投放至指定的位置。
[0013]优选的，在所述S2步骤中，图像识别的过程时，依据检测矩形框锁定图像信息，裁剪图像中检测框的目标区域，经过裁剪的图像有效过滤屏蔽掉目标外的冗余图像信息，并对裁剪目标区域实时图像增强处理,增强亮度提高对比度。
[0014]优选的，在所述S3步骤中，把目标物体的中心作为位置原点选取目标物体的一边
作为参考基准边，以垂直于该基准边的方向作为x轴，平行于该基准边的方向作为y轴，以垂直于物体表面向上的方向作为z轴构建目标物体的虚拟坐标系。
[0015]一种动态视觉机械臂抓取系统，包括：
[0016]三维扫描仪，用于采集待抓取物体的外部点云数据，并可以根据点云数据构建物体的三维模型；
[0017]摄像头，用于采集待抓取的物体的图像数据，并可以对图像数据进行预处理。
[0018]一种动态视觉机械臂抓取用电子设备，包括：
[0019]处理器，用于执行所述数据处理程序实现权利要求书1
‑
3中任意一项图像处理的步骤；
[0020]存储器，用于存储数据处理程序。
[0021]与现有技术相比，本专利技术的有益效果是：
[0022]通过扫描待抓取物体的三维数据并建立模型，通过采集到的图像信息得到其坐标及角度，将三维模型放置于构建的三维坐标系当中，使末端执行器可以根据三维模型计算不同且合适的抓取路径和抓取姿态，使机械臂在进行物品抓取时与被抓取物之间的稳定性更好，保证被抓取物的安全性。
附图说明
[0023]图1为本专利技术的动态视觉机械臂抓取方法流程图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]实施例：
[0026]请参阅图1所示，一种动态视觉机械臂抓取方法，包括包括以下步骤：
[0027]S1、数据获取：通过三维扫描仪采集并搭建出抓取物的三维图形数据；
[0028]S2、图像识别：读取摄像头采集到的图像信息，在图像中识别出待抓取的的物体并得到其坐标与角度；
[0029]S3、坐标转换：将物体在在相机中的坐标转换为相对于相机光心的三维坐标，在将其转换为依托于机械臂底座为坐标圆心的三维坐标系，将采集到的三维图形数据根据得到的坐标与角度放置于三维坐标系中；
[0030]S4、路径计算：通过三维坐标系计算出机械臂末端执行器与待抓取物之间的空间距离，再根据有无障碍物、路径距离要求、时间要求规划出合适的路径；
[0031]S5、抓取控制：根据抓取物的三维图形数据计算出机械臂末端执行器抓取物体时的姿态，并通过已知的目标位置和末端执行器的位姿信息来计算机械臂上每个电机应转动的角度；
[0032]S6、完成抓取：根据计算完成的数据驱动机械臂上的每个电机，使机械臂各个关节到达计算好的路径位置上，使末端执行器完成对待抓取物的抓取并投放至指定的位置。
[0033]本专利技术中，在所述S2步骤中，图像识别的过程时，依据检测矩形框锁定图像信息，裁剪图像中检测框的目标区域，经过裁剪的图像有效过滤屏蔽掉目标外的冗余图像信息，并对裁剪目标区域实时图像增强处理,增强亮度提高对比度；
[0034]其中，图像增强处理包括：
[0035]1.灰度变换：去掉图像中冗余的信息同时将图像中不明显的有效信息体现出来；
[0036][0037]式中，x＝f(i,j)为原图像灰度值，y＝h(x)为灰度变换后图像的灰度值。
[0038]2.直方图均衡化：调整灰度值以实现增强图像对比度。
[0039]3.平滑滤波：降低或消除噪声污染；
[0040][0041]式中，A表示邻域，M表示该邻域的面积。
[0042]4，图像锐化：降低或消除噪声污染
[0043]本专利技术中，在所述S3步骤中，把目标物体的中心作为位置原点选取目标物体的一边作为参考基准边，以垂直于该基准边的方向作为x轴，平行于该基准边的方向作为y轴，以垂直于物体表面向上的方向作为z轴构建目标物体的虚拟坐标系。
[0044]一种动态视觉机械臂抓取系统，包括：
[0045]三维扫描仪，用于采集待抓取物体的外部点云数据，并可以根据点云数据构建物体的三维模型；
[0046]摄像头，用于采集待抓取的物体的图像数据，并可以对图像数据进行预处理。
[0047]一种动态视觉机械臂抓取用电子设备，包括：
[0048]处理器，用于执行所述数据处理程序实现权利要求书1...

【技术保护点】

【技术特征摘要】
1.一种动态视觉机械臂抓取方法，其特征在于，包括以下步骤：S1、数据获取：通过三维扫描仪采集并搭建出抓取物的三维图形数据；S2、图像识别：读取摄像头采集到的图像信息，在图像中识别出待抓取的的物体并得到其坐标与角度；S3、坐标转换：将物体在在相机中的坐标转换为相对于相机光心的三维坐标，在将其转换为依托于机械臂底座为坐标圆心的三维坐标系，将采集到的三维图形数据根据得到的坐标与角度放置于三维坐标系中；S4、路径计算：通过三维坐标系计算出机械臂末端执行器与待抓取物之间的空间距离，再根据有无障碍物、路径距离要求、时间要求规划出合适的路径；S5、抓取控制：根据抓取物的三维图形数据计算出机械臂末端执行器抓取物体时的姿态，并通过已知的目标位置和末端执行器的位姿信息来计算机械臂上每个电机应转动的角度；S6、完成抓取：根据计算完成的数据驱动机械臂上的每个电机，使机械臂各个关节到达计算好的路径位置上，使末端执行器完成对待抓取物的抓取并投放至指定的位置。2.根据权利要求1所述的一种动态视觉机械臂抓取...

【专利技术属性】
技术研发人员：张明珍，李想，韦佳露，
申请(专利权)人：广西大学，
类型：发明
国别省市：