一种基于改进CascadeR-CNN网络的机械臂抓取检测方法技术

本发明专利技术公开一种基于改进Cascade R

【技术实现步骤摘要】
一种基于改进Cascade R
‑
CNN网络的机械臂抓取检测方法


[0001]本专利技术涉及图像检测和机器人抓取
，具体的说是一种基于改进Cascade R
‑
CNN网络的机械臂抓取检测方法。

技术介绍

[0002]基于视觉的抓取已经是当前机器人的重点研究方向，可用于装配、分拣和码垛等应用场景，抓取检测通过相机转换为计算机视觉问题，机器人使用相机等传感器来检测环境中可抓取的物体。虽然基于视觉的抓取任务对于人类来说是简单的动作，但仍然是机器人智能抓取当前面临的热点问题。
[0003]以二维图像为输入，近年来兴起了许多基于深度学习的研究，并取得了相当丰硕的成果。机器人抓取预测最常用的深度学习方法是滑动窗口检测框架。目前很多抓取都是使用滑动窗口法进行抓取，在滑动窗口检测框架中，从一幅图像中提取多个图像块，然后依次输入深度神经网络预测每个图像块的抓取姿态。
[0004]然而，现有的基于深度学习的抓取检测方法大多数针对的是单物体抓取，对多物体的抓取研究较少。因此，亟需一种多物体抓取方法，解决复杂环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Cascade R
‑
CNN网络的机械臂抓取检测方法，其特征在于,包括如下步骤：S1、将realsense摄像头通过平行夹持器固定在机器人机械臂末端进行手眼标定和摄像头内参标定；S2、通过realsense摄像头拍摄包含多种物品的RGB图像，构成原始图像数据集，为原始RGB图像标注矩形抓取框，获得多目标抓取图像数据集；S3、构建改进Cascade R
‑
CNN网络，并利用原始图像数据集和多目标抓取图像数据集对改进Cascade R
‑
CNN网络进行训练及验证；S4、通过realsense摄像头获取RGB图像，并输入到验证合格的改进Cascade R
‑
CNN网络，来预测RGB图像中每个物品的可行抓取框；S5、机械臂根据预测的可行抓取框，确定物品位置并进行抓取。2.根据权利要求1所述的一种基于改进Cascade R
‑
CNN网络的机械臂抓取检测方法，其特征在于，所述步骤S1中的手眼标定具体为：1)打印一个标定板，贴在平面上；2)将机械臂移动到某个位姿，记录机械臂在当前位姿时末端的姿态；3)使用机械臂上的相机，采集标定板在相机中的位姿，并记录；4)将机械臂的位姿X和机械臂在位姿X时相机采集到标定板在相机中的位姿组成一组位姿信息；5)重复2)、3)直到采集了17组以上位姿信息；6)根据采集的多组位姿信息进行计算，获得关系转换矩阵。3.根据权利要求2所述的一种基于改进Cascade R
‑
CNN网络的机械臂抓取检测方法，其特征在于，所述步骤S1中的摄像头内参标定具体为：1)打印一张棋盘格并贴在一个平面上，作为标定物；2)通过调整标定物或相机的方向，为标定物拍摄一些不同方向的照片；3)从照片中提取棋盘格角点；4)估算理想无畸变的情况下，五个内参和六个外参；5)应用最小二乘法估算实际存在径向畸变下的畸变系数；6)据径向畸变下的畸变系数，采用极大似然法，进行优化估算，得到相机的内参矩阵、径向畸变和切向畸变。4.根据权利要求1所述的一种基于改进Cascade R
‑
CNN网络的机械臂抓取检测方法，其特征在于，所述步骤S2具体包括如下流程：S2.1、选取32类物品，将不同物品组合以不同姿态摆放，通过realsense摄像头采集抓取物体的RGB图像，构成原始图像数据集；S2.2、通过labmel软件为RGB图像中的每个物品进行矩形抓取框标注，使得每个RGB图像具有抓取标签，包含所标注物体的种类信息、矩形抓取框的位置参数和角度分类；S2.3、使用抓取检测标注工具标注RGB图像对应的矩形抓取框信息，每一个物体对应一个最优矩形抓取框；S2.4、所有RGB图像对应的矩形抓取框信息标注完成后，得到多目标抓取图像数据集。5.根据权利要求4所述的一种基于改进Cascade R
‑
CNN网络的机械臂抓取检测方法，其
特征在于，执行步骤S2.2，矩形抓取框的位置参数包括：矩形抓取框的高度、宽度、质心坐标和抓取角度，所述抓取角度为矩形抓取框高度方向与RGB图像横轴的夹角；矩形抓取框的角度分类为：在0
°
～180
°
内将各物品的矩形抓取框与RGB图像横轴方向的夹角分为18个类别。6.根据权利要求1所述的一种基于改进Cascade R
‑
CNN网络的机械臂抓取检测方法，其特征在于，执行步骤S3，构建的改进Cascade R
‑
CNN网络包括ResNeXt特征...

【专利技术属性】
技术研发人员：王怀震，黄洋，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：