一种基于YOLO-GGCNN的机械臂检测抓取方法技术

本发明专利技术公开了一种基于YOLO

【技术实现步骤摘要】
一种基于YOLO
‑
GGCNN的机械臂检测抓取方法


[0001]本专利技术涉及一种基于YOLO
‑
GGCNN的机械臂检测抓取方法，属于智能机器人领域。

技术介绍

[0002]近年来，机器人越来越广泛的被应用于各种领域与场景，在机器人的配合下，可以解决许多人力难以完成的工作和任务，人类的工作可以更加简单高效。比如，搭载机械臂、具有抓取功能的抓取机器人可以代替人类进行工件的抓取等工作，并且机器人不知疲倦，可以举起重物，相比人手具有许多更优秀的能力。因此，研究机械臂的抓取技术具有重要的意义。
[0003]过去最传统的机械臂抓取一般使用示教器进行离线编程的方法，让机器人沿着运行过的路径，进行点到点的运动。因此复杂的运动轨迹机器人难以实现，并且机器人更无法适应柔性的工作环境，对于不同的抓取物体无法自主调整姿态。这种传统的方法对抓取物体摆放的位置也有一定的要求，机器人无法运行到没有示教的地方，能够完成的任务较为单一。并且这种方法对技术操作人员要求较高，需要了解当前机器人的编程体系。一般情况下，如果需要抓取的物品发生了变换或位姿变动，就需要重新进行编程。因此，为了提高机器臂抓取的灵活性和精准性，开始将视觉定位系统和压力反馈系统作为辅助工具，与机器人控制系统相结合，在各个场景都取得了较好的使用效果，成为了机器人行业发展的新趋势。在视觉传感器的帮助下，机器人可以对抓取物体进行定位，然后机械臂根据抓取方案到达目标物体的位置实现相应的抓取任务。
[0004]带有视觉感知的机器人抓取系统通常由抓取检测、抓取规划和控制单元组成。为了完成抓取任务，机器人需要提前检测到抓取物体。在早期抓取工作中，抓取的物体主要放在一个简单而结构化的场景中。抓取方案是根据物体的几何形状通过力学分析制定的，通常涉及到需要复杂计算的静力学和运动学约束。随着深度学习在实例分割和识别方面的成功应用和不断发展，其已被广泛应用于机器人抓取检测，一种方法是使用卷积神经网络(CNN)与摄像机相结合，识别抓取物体的结构特征并评估候选抓取姿势。这种方法一般会提供了一个系统，该系统允许机器人抓取各种形状，其中CNN用于训练形状检测模型。这种方法通过感知被抓取物体的形状来生成抓取点，但对于抓取不规则形状的物体而言，这些方法并不有效。
[0005]另一种方法是直接生成抓取方案，使用学习方法来评分抓取质量。通常生成抓取方案需首先检测和识别物体的位置，然后采用传统的几何分析方法，最终制定抓取计划。在几何结构分析过程中，通常涉及到大量计算。因此，可以使用深度学习网络来直接训练抓取检测，其中抓取方案是从图像中获得的，以实现端到端抓取。这种方法会提出了一个模型，通过输入图像，可以输出机器人的最佳抓取姿势。该模型使用卷积神经网络从场景中提取特征，再使用卷积神经网预测感兴趣对象的抓取配置。例如一种用于闭环抓取的实时抓取合成方法——生成性抓取卷积神经网络(GGCNN)。该系统预测了每个像素处抓握的质量和姿势。然而，这些方法不能识别被抓取的物体，抓取场景中其他非抓取物体对抓取检测的影
响无法避免。

技术实现思路

[0006]为了避免抓取场景中其他非抓取物体对抓取检测的影响，本专利技术提供了一种基于YOLO
‑
GGCNN深度学习网络的机械臂检测抓取技术。首先使用YOLOv4深度学习网络对需要抓取的目标物体进行训练，得到模型。在机械臂抓取前，使用机械爪上的深度相机获取一张抓取平台上无抓取物体的空白深度图像。放置抓取物体后，开始抓取时YOLOv4深度学习网络通过深度相机拍摄的RGB图像识别出待抓取目标物体，将识别框作为感兴趣区域(ROI候选框)，将ROI候选框对应像素的深度图像部分提取出来，替换掉一开始获取的空白图像的像素对应部分，可以获得一张排除其他干扰物体、只包含抓取目标的深度图像。将这张图像进行裁剪处理后满足GGCNN的图片大小要求，将其输入GGCNN网络，再进行从图像坐标系到机械臂本体坐标系的转化，最终输出最优的机械臂抓取方案，机械臂根据抓取方案依次抓取所要抓取的目标物体。一种基于YOLO
‑
GGCNN的机械臂检测抓取方法，所述方法应用于机械爪上方搭载有深度相机的机械臂，所述方法包括：
[0007]步骤1，在机械臂开始抓取前，利用所述深度相机获取未放置待抓取目标时抓取平台正对机械臂方向上的图像信息，包括RGB彩色图像和深度图像，其中所述深度图像记为空白深度图像；
[0008]步骤2，在所述抓取平台放置待抓取目标后，利用所述深度相机获取放置待抓取目标后抓取平台正对机械臂方向上的图像信息，并利用训练好的YOLOv4检测模型提取图像中的感兴趣区域，并将每个感兴趣区域的边界框作为ROI候选框并进行标注索引；所述训练好的YOLOv4检测模型为提前利用所有待抓取目标的样本图像进行训练后模型；
[0009]步骤3，获得每个ROI候选框的索引，将所有ROI候选框位置对应到步骤1获得的空白深度图像中的位置，用框选出来的ROI候选框内区域替换所述空白深度图像的对应区域，得到只含有待抓取目标的深度图像；
[0010]步骤4，将步骤3得到的只含有待抓取目标的深度图像进行裁剪处理，输入至GGCNN深度学习网络中，获得对应的抓取方案，并进行机械手到机械臂的坐标转换，按照转换后的坐标完成抓取任务。
[0011]可选的，所述步骤4中将只含有待抓取目标的深度图像进行裁剪处理，输入至GGCNN深度学习网络中，获得对应的抓取方案，包括：
[0012]将仅包含目标物体的深度图像剪切成预定大小，使得其满足GGCNN深度学习网络的图像输入大小要求，同时，修复其中出现的无效值；所述无效值指由于深度相机没有测量出该像素深度而产生的空值；
[0013]将剪切修复后的深度图像输入至GGCNN深度学习网络后，GGCNN网络为其中的每个的像素位置生成一个抓取方案和对应的置信度评估值，选取置信度评估值最高的抓取方案作为最终抓取方案。
[0014]可选的，所述GGCNN网络为其中的每个的像素位置生成一个抓取方案和对应的置信度评估值，选取置信度评估值最高的抓取方案作为最终抓取方案，包括：
[0015]假设使用抓取框g＝(p,φ,w,q)定义抓取参数，其中，p＝(x,y,z)是机械爪的中心位置，φ表示旋转的抓取角度，w是机械爪张开的宽度，q表示抓取框的置信度；
[0016]在高为H宽为W的2.5D深度图像中，抓取参数使用来描述，其中，s＝(u,v)是抓取中心在深度图像中的像素坐标，是在深度相机参考系中的旋转角度，是图像坐标系中机械爪张开的宽度；通过下式将图像坐标系中的抓取转换到世界坐标系中抓取参数g：
[0017][0018]式中
[0019]——深度图像坐标系I到相机坐标系C的转换矩阵；
[0020]——相机坐标系C到机器人坐标系R的转换矩阵；
[0021]将图像空间中产生的一系列图称为抓取图G：
[0022]G＝(Φ,W,Q)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于YOLO
‑
GGCNN的机械臂检测抓取方法，所述方法应用于机械爪上方搭载有深度相机的机械臂，其特征在于，所述方法包括：步骤1，在机械臂开始抓取前，利用所述深度相机获取未放置待抓取目标时抓取平台正对机械臂方向上的图像信息，包括RGB彩色图像和深度图像，其中所述深度图像记为空白深度图像；步骤2，在所述抓取平台放置待抓取目标后，利用所述深度相机获取放置待抓取目标后抓取平台正对机械臂方向上的图像信息，并利用训练好的YOLOv4检测模型提取图像中的感兴趣区域，并将每个感兴趣区域的边界框作为ROI候选框并进行标注索引；所述训练好的YOLOv4检测模型为提前利用所有待抓取目标的样本图像进行训练后模型；步骤3，获得每个ROI候选框的索引，将所有ROI候选框位置对应到步骤1获得的空白深度图像中的位置，用框选出来的ROI候选框内区域替换所述空白深度图像的对应区域，得到只含有待抓取目标的深度图像；步骤4，将步骤3得到的只含有待抓取目标的深度图像进行裁剪处理，输入至GGCNN深度学习网络中，获得对应的抓取方案，并进行机械手到机械臂的坐标转换，按照转换后的坐标完成抓取任务。2.根据权利要求1所述的方法，其特征在于，所述步骤4中将只含有待抓取目标的深度图像进行裁剪处理，输入至GGCNN深度学习网络中，获得对应的抓取方案，包括：将仅包含目标物体的深度图像剪切成预定大小，使得其满足GGCNN深度学习网络的图像输入大小要求，同时，修复其中出现的无效值；所述无效值指由于深度相机没有测量出该像素深度而产生的空值；将剪切修复后的深度图像输入至GGCNN深度学习网络后，GGCNN网络为其中的每个的像素位置生成一个抓取方案和对应的置信度评估值，选取置信度评估值最高的抓取方案作为最终抓取方案。3.根据权利要求2所述的方法，其特征在于，所述GGCNN网络为其中的每个的像素位置生成一个抓取方案和对应的置信度评估值，选取置信度评估值最高的抓取方案作为最终抓取方案，包括：假设使用抓取框g＝(p,φ,w,q)定义抓取参数，其中，p＝(x,y,z)是机械爪的中心位置，φ表示旋转的抓取角度，w是机械爪张开的宽度，q表示抓取框的置信度；在高为H宽为W的2.5D深度图像中，抓取参数使用来描述，其中，s＝(u,v)是抓取中心在深度图像中的像素坐标，是在深度相机参考系中的旋转角度，是图像坐标系中机械爪张开的宽度；通过下式将图像坐标系中的...

【专利技术属性】
技术研发人员：徐本连，李震，赵康，鲁明丽，从金亮，吴迪，周理想，
申请(专利权)人：苏州科技大学，
类型：发明
国别省市：