基于视觉伺服的机械臂抓取系统及方法技术方案

本发明专利技术公开基于视觉伺服的机械臂抓取方法，采用上述的基于视觉伺服的机械臂抓取系统，具体为：Step1：驱动深度相机运动进行参数标定，通过深度相机获得环境深度信息，进行图像分割、特征提取任务之后，获得所抓取物体的大致轮廓；Step2：通过中心点与标定参数得到所抓取物体的三维坐标信息；Step3：利用上位机进行机械臂运动规划，并将动作解析所得到的关节角度规划信息通信发送给下位机，下位机收到信息后解析；Step4：机械臂开始移动并抓取，在此过程当中，位置姿态信息会同步反馈给上位机，最终实现物体抓取的闭环控制。该方法实现了目标物体的准确定位和机械臂的抓取控制。还包括有基于视觉伺服的机械臂抓取系统。有基于视觉伺服的机械臂抓取系统。有基于视觉伺服的机械臂抓取系统。

【技术实现步骤摘要】
基于视觉伺服的机械臂抓取系统及方法


[0001]本专利技术属于机器人
，具体涉及一种基于视觉伺服的机械臂抓取方法，还涉及一种基于视觉伺服的机械臂抓取系统。

技术介绍

[0002]在现代工业和自动化应用中，机器人系统的发展越来越重要。机器人臂的灵活抓取能力对于各种自动化任务的成功执行至关重要。然而，准确地定位和抓取不同形状和尺寸的物体是一个具有挑战性的任务。
[0003]传统的机器人抓取系统通常使用预定义的抓取姿态或通过机械臂控制实现粗略的定位。然而，由于物体的多样性和环境的不确定性，传统方法在准确抓取复杂形状物体时存在局限性。

技术实现思路

[0004]本专利技术的第一个目的是提供一种基于视觉伺服的机械臂抓取方法，通过使用机械臂和深度相机，以及基于机器人操作系统ROS软件平台的技术，实现了目标物体的准确定位和机械臂的抓取控制。
[0005]本专利技术的第二个目的是提供一种基于视觉伺服的机械臂抓取系统，通过使用机械臂和深度相机，以及基于机器人操作系统ROS软件平台的技术，实现了目标物体的准确定位和机械臂的抓取控制。
[0006]本专利技术所采用的第一个技术方案是，基于视觉伺服的机械臂抓取系统，包括有：
[0007]上位机：机器人操作系统软件平台，根据获取环境深度信息实现机械臂的控制和协调；
[0008]下位机：包含一个深度相机，用于获取环境深度信息；一个机械臂，用于执行抓取任务。
[0009]本专利技术所采用的第二个技术方案是，基于视觉伺服的机械臂抓取方法，采用上述的基于视觉伺服的机械臂抓取系统，具体按照以下步骤实施：
[0010]Step1：驱动深度相机运动进行参数标定，通过深度相机获得环境深度信息，进行图像分割、特征提取任务之后，获得所抓取物体的大致轮廓；
[0011]Step2：通过中心点与标定参数得到所抓取物体的三维坐标信息；
[0012]Step3：利用上位机进行机械臂运动规划，并将动作解析所得到的关节角度规划信息通信发送给下位机，下位机收到信息后解析；
[0013]Step4：机械臂开始移动并抓取，在此过程当中，位置姿态信息会同步反馈给上位机，最终实现物体抓取的闭环控制。
[0014]本专利技术的特征还在于，
[0015]步骤S1具体为：
[0016]S1.1：采用机械臂控制深度相机的运动，或者使用上位机进行深度相机的旋转和
平移；
[0017]S1.2：利用已知的标定板或标定物体，通过Harris角点检测识别标定点，并通过角点匹配算法计算出深度相机的内外参数作为标定参数，标定参数包括深度相机的内参矩阵和畸变参数；
[0018]S1.3：根据获取的标定参数，对深度相机采集的所有图像进行矫正，消除图像畸变，然后使用深度相机获取环境中物体的深度图像和彩色图像。
[0019]S1.4：进行图像分割：通过分析深度图像和彩色图像，将物体与背景进行分离，得到感兴趣的物体区域；对于得到的深度图像和彩色图像，使用阈值分割、基于颜色或纹理的分割算法来进行特征提取，然后基于所提取到的特征使用Canny边缘检测算法，从而获得所抓取物体的大致轮廓。
[0020]步骤S2具体为：
[0021]S2.1：使用多视角几何原理，根据物体在不同视角下的投影位置，通过三角形相似性计算物体的深度；
[0022]S2.2：根据物体在所采集图像中的中心点和深度相机的内参矩阵，计算物体在深度相机坐标系下的三维坐标，使用上位机中透视投影模型，将所采集图像中的像素坐标映射到深度相机坐标系中的三维坐标。
[0023]步骤S3具体为：
[0024]S3.1：首先使用上位机的MoveIt！机械臂运动规划库，根据目标物体的位置和姿态进行路径规划；
[0025]S3.2：根据目标物体的位置和姿态，通过逆运动学算法计算机械臂的关节角度规划，以实现精确的抓取动作，使用解析逆运动学方法求解机械臂的关节角度；
[0026]S3.3：使用了D
‑
H参数法来对四自由度机械臂进行建模；
[0027]S3.4：确定各个连杆的结构系数以及末端执行器的空间位置，接着计算各个连杆机构的关节量，并得出相关的变换矩阵，随后再展开关节矢量的计算，然后用矩阵逆乘法计算关节角度，机械臂就能够执行抓取动作。
[0028]步骤S4具体为：
[0029]S4.1：首先将动作解析所得到的关节角度规划信息通过上位机中的通信模块发送给下位机。
[0030]S4.2：使用上位机中的消息传递机制，将关节角度规划信息发送给下位机；
[0031]S4.3：然后下位机接收到信息后进行解析，将关节角度控制指令传递给机械臂，下位机使用相运动控制算法对机械臂执行精确的运动控制，之后进行物体抓取与闭环控制。
[0032]步骤S4.3中，进行物体抓取与闭环控制的具体步骤如下：
[0033](1)机械臂开始移动并抓取目标物体：根据运动规划生成的关节角度信息，控制机械臂执行精确的抓取动作，使用机械臂对物体进行抓取；
[0034](2)在抓取过程中，位置姿态信息实时反馈给上位机，通过机械臂的传感器
‑
视觉反馈，获取机械臂末端执行器的实时位置和姿态信息；
[0035](3)根据反馈信息调整机械臂的轨迹、力的控制，实现更精确的抓取。
[0036]本专利技术的有益效果是：
[0037](1)本专利技术方法具有准确定位能力：本专利技术方法利用深度相机和图像处理算法，能
够实现目标物体的准确定位。相较于传统的基于视觉伺服的机械臂抓取技术，本专利技术在目标物体检测和定位方面更加精确，减少了误差和不确定性。
[0038](2)本专利技术方法具有强大的抓取控制能力：通过使用ROS软件平台和相关程序模块，本专利技术能够实现高级的机械臂运动规划和抓取控制。与传统的方法相比，本专利技术能够提供更精确的抓取动作，使机械臂能够更准确地抓取目标物体，提高了抓取成功率和效率。
[0039](3)本专利技术方法具有实时反馈和闭环控制：本专利技术实现了物体抓取的闭环控制，通过实时反馈机械臂的位置姿态信息给上位机，能够及时调整和修正抓取过程中的姿态和位置，提高抓取的稳定性和精确性。相较于传统的开环控制方法，本专利技术能够更好地适应复杂的工作环境和物体形状变化。
[0040](4)本专利技术方法具有灵活性和可定制性：本专利技术采用开放式的机器人操作系统ROS作为软件平台，具有较高的灵活性和可定制性。根据不同应用需求进行系统的定制和功能扩展，适应不同场景和任务的要求。
[0041](5)本专利技术方法具有高效的算法和实时性：本专利技术设计了高效的图像处理和特征提取算法，能够在实时性要求下进行快速的目标物体识别和定位。相较于传统方法，本专利技术在处理速度和算法效率上具备明显优势，更快速地响应和执行抓取任务。
[0042](6)本专利技术方法具有提升工作安全性：由于本专利技术能够准确定位目标物体和实现闭环控制，减少了机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉伺服的机械臂抓取系统，其特征在于，包括有：上位机：机器人操作系统软件平台，根据获取环境深度信息实现机械臂的控制和协调；下位机：包含一个深度相机，用于获取环境深度信息；一个机械臂，用于执行抓取任务。2.基于视觉伺服的机械臂抓取方法，其特征在于，采用权利要求1所述的基于视觉伺服的机械臂抓取系统，具体按照以下步骤实施：Step1：驱动深度相机运动进行参数标定，通过深度相机获得环境深度信息，进行图像分割、特征提取任务之后，获得所抓取物体的大致轮廓；Step2：通过中心点与标定参数得到所抓取物体的三维坐标信息；Step3：利用上位机进行机械臂运动规划，并将动作解析所得到的关节角度规划信息通信发送给下位机，下位机收到信息后解析；Step4：机械臂开始移动并抓取，在此过程当中，位置姿态信息会同步反馈给上位机，最终实现物体抓取的闭环控制。3.根据权利要求2所述的基于视觉伺服的机械臂抓取方法，其特征在于，步骤S1具体为：S1.1：采用机械臂控制深度相机的运动，或者使用上位机进行深度相机的旋转和平移；S1.2：利用已知的标定板或标定物体，通过Harris角点检测识别标定点，并通过角点匹配算法计算出深度相机的内外参数作为标定参数，标定参数包括深度相机的内参矩阵和畸变参数；S1.3：根据获取的标定参数，对深度相机采集的所有图像进行矫正，消除图像畸变，然后使用深度相机获取环境中物体的深度图像和彩色图像；S1.4：进行图像分割：通过分析深度图像和彩色图像，将物体与背景进行分离，得到感兴趣的物体区域；对于得到的深度图像和彩色图像，使用阈值分割、基于颜色或纹理的分割算法来进行特征提取，然后基于所提取到的特征使用Canny边缘检测算法，从而获得所抓取物体的大致轮廓。4.根据权利要求2所述的基于视觉伺服的机械臂抓取方法，其特征在于，步骤S2具体为：S2.1：使用多视角几何原理，根据物体在不同视角下的投影位置，通过三角形相似性计算物体的深度；S2....

【专利技术属性】
技术研发人员：张蕾，严松，袁媛，张旭，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：