一种基于FasterR-CNN和GRCNN的机械臂智能抓取方法及系统技术方案

本发明专利技术属于机器人智能控制技术领域，具体涉及一种基于Faster R

【技术实现步骤摘要】
一种基于FasterR
‑
CNN和GRCNN的机械臂智能抓取方法及系统


[0001]本专利技术属于机器人智能控制
，具体涉及一种基于Faster R
‑
CNN和GRCNN的机械臂智能抓取方法及系统。

技术介绍

[0002]机械臂是人工智能、自动化和控制学等多个领域交叉应用的产物，在各个领域都有广泛应用。例如，在快递分拣领域用于分拣任务，在工业领域用于零件的装配、加工和焊接，在服务领域用于咖啡的制作与售卖。然而，在这些结构化场景中，机械臂通常通过示教器或离线方式完成特定任务，前期需要进行大量调试和示教工作，并没有考虑复杂的轨迹规划。这种机械臂只能重复执行对固定位置的特定物体的搬运或抓取，无法适应其他目标物体，因此缺乏自主智能决策能力。一旦目标物体在非结构化环境中位置或外形发生变化，或者抓取场景发生迁移，整个抓取任务往往以失败告终。
[0003]早期研究者采用了物体形状分析及传统机器学习方法来处理特征，获取抓取位姿。然而，人工提取特征仅适用于描述形状规则简单的物体，对于外观复杂的物体无法生成抓取位姿。此外，人工提取特征存在主观性，所认为可抓取的点未必机械臂能够成功抓取。随着深度学习的发展，基于神经网络的反向传播和学习深层语义特征、自学习、自组织、自适应性等优势已超越传统算法。因此，神经网络常用于目标检测和位姿估计，从而获得最终的抓取位姿。然而，该方法受限于已知物体类别或模型，难以对数据库中没有的物体进行成功抓取。虽然深度学习技术已经发展多年，但在机器人抓取领域的探索仍处于初级阶段，这一过程面临诸多问题，例如不同形状、不同颜色、摆放位置和遮挡对抓取造成困难。此外，准确映射物体位姿到机械手抓取位姿也是一个难题，机械臂视觉抓取检测面临抓取位姿模型适应性差、泛化能力弱等问题。因此，实现机械臂对任意摆放的各类未知物体进行抓取仍是一个亟需研究的难题。

技术实现思路

[0004]本专利技术的目的就在于提供一种基于Faster R
‑
CNN和GRCNN的机械臂智能抓取方法及系统，以解决
技术介绍
中提出的现有机械臂只能定点抓取特定固定的物体、无法与环境感知交互、智能化水平低以及抓取成功率低等问题。
[0005]本专利技术通过以下技术方案来实现上述目的：
[0006]一种基于Faster R
‑
CNN和GRCNN的机械臂智能抓取方法，应用于执行抓取的机械臂、以及固定在机械臂末端的深度相机，方法包括如下步骤：
[0007]S1：基于Halcon标定法确定机械臂末端夹爪与固定在机械臂末端的深度相机间的位置关系，在生成两者间的旋转矩阵后，初始化机械臂的抓取位姿。
[0008]S2：通过深度相机采集对应所述初始抓取位姿下的抓取场景中目标物体的彩色图像和深度图像，基于预先构建的Faster R
‑
CNN网络模型对所述彩色图像进行目标检测，以识别出目标物体的类别、以及在彩色图像中的位置，在对位置进行修正后将目标物体在所
述深度图像中对应像素部分进行提取，以生成包含目标物体的待处理图像；
[0009]S3：在对待处理图像按设定格式进行预处理后输入到RCNN网络模型中并进行处理，输出目标物体在深度图像空间中的最优抓取位姿，经过变换处理得到机械臂坐标系下的最优抓取位姿，机械臂控制器对其坐标系下的最优抓取位姿采用逆运动学解算与运动轨迹规划生成机械臂关节动作，机械臂执行该关节动作进行抓取。
[0010]作为本专利技术的进一步优化方案，预先构建的Faster R
‑
CNN网络模型包括：
[0011]卷积层，用于提取图像特征并得到公共特征图；
[0012]RPN网络，用于接收所述公共特征图并进行处理，以输出多个感兴趣区域ROI；
[0013]ROI pooling层，用于接收所述ROI和所述公共特征图，并将两者进行综合后得到固定大小的区域特征图；
[0014]全连接层，用于接收所述区域特征图并进行处理，以输出对应ROI中物体所述类别和物体在图像中的精确位置。
[0015]作为本专利技术的进一步优化方案，步骤S2中，采用预先构建Faster R
‑
CNN网络模型进行目标检测的流程包括：
[0016]S2.1：将所述彩色图像输入到所述卷积层提取得到公共特征层，并生成若干网格和先验框，利用所述RPN网络获取对应所述先验框的建议框，利用所述建议框在所述公共特征层进行特征提取，提取出不同特征层对应所述彩色图像上的不同位置，并传入到ROI pooling层中；
[0017]S2.2：ROI pooling层将不同特征层尺寸调整成相同大小的区域特征图，并判断建议框中彩色图像特征层中目标物体的类别和位置，在全连接层中对建议框中目标物体位置进行修正后输出目标物体的精确位置。
[0018]作为本专利技术的进一步优化方案，步骤S2.2中，对建议框中目标物体位置进行修正后输出目标物体的精确位置包括：
[0019]采用全连接层中softmax函数计算彩色图像每个区域建议框中目标物体的具体隶属类别，并输出相应的概率向量，同时采用边界框回归预测每个区域建议框的位置偏移量，再通过回归修正获得更加精确的目标物体位置；
[0020]回归修正公式为：
[0021]t
x
＝(x
‑
x
a
)/w
a
ꢀꢀ
t
y
＝(y
‑
y
a
)/h
a
[0022]t
w
＝log(w/w
a
)
ꢀꢀ
t
h
＝log(h/h
a
)；
[0023]其中，[xa,ya,wa,ha]是建议框的中心点坐标和宽高，[tx,ty,tw,th]为边界框预测的偏移量，[x,y,w,h]为修正后的建议框坐标。
[0024]作为本专利技术的进一步优化方案，步骤S3中，将所述待处理图像按设定格式进行预处理具体包括：
[0025]对选取的深度图像进行剪裁、调整大小以及归一化得到240*240的像素来适应网络的输入格式，经过opencv进行深度值的补全后送入到GRCNN网络模型中，GRCNN网络模型逐像素生成抓取矩形框。
[0026]作为本专利技术的进一步优化方案，步骤S3中，输出目标物体在深度图像空间中的最优抓取位姿之前还包括抓取位姿的确定规则：
[0027]若深度图像中高度为h，宽度为w，通道数为n，其深度图像空间上的抓取位姿定义
为：
[0028]Gi＝(x,y,Θi,Wi,Q)，
[0029]其中，(x,y)为图像中像素坐标系定义的抓取点；Θi是深度相机绕参考坐标系的旋转度，也即抓取角度，Θi∈[
‑
π/2,π/2]；Wi是图像中像素坐标系定义的抓取宽度；Q是图像中对应像素抓取点(x,y)的置信度，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Faster R
‑
CNN和GRCNN的机械臂智能抓取方法，应用于执行抓取的机械臂、以及固定在机械臂末端的深度相机，其特征在于，方法包括如下步骤：S1：基于Halcon标定法确定机械臂末端夹爪与固定在机械臂末端的深度相机间的位置关系，在生成两者间的旋转矩阵后，初始化机械臂的抓取位姿；S2：通过深度相机采集对应所述初始抓取位姿下的抓取场景中目标物体的彩色图像和深度图像，基于预先构建的Faster R
‑
CNN网络模型对所述彩色图像进行目标检测，以识别出目标物体的类别、以及在彩色图像中的位置，在对位置进行修正后将目标物体在所述深度图像中对应像素部分进行提取，以生成包含目标物体的待处理图像；S3：在对待处理图像按设定格式进行预处理后输入到GRCNN网络模型中并进行处理，输出目标物体在深度图像空间中的最优抓取位姿，经过变换处理得到机械臂坐标系下的最优抓取位姿，机械臂控制器对其坐标系下的最优抓取位姿采用逆运动学解算与运动轨迹规划生成机械臂关节动作，机械臂执行该关节动作进行抓取。2.根据权利要求1所述的一种基于Faster R
‑
CNN和GRCNN的机械臂智能抓取方法，其特征在于：预先构建的Faster R
‑
CNN网络模型包括：卷积层，用于提取图像特征并得到公共特征图；RPN网络，用于接收所述公共特征图并进行处理，以输出多个感兴趣区域ROI；ROIpooling层，用于接收所述ROI和所述公共特征图，并将两者进行综合后得到固定大小的区域特征图；全连接层，用于接收所述区域特征图并进行处理，以输出对应ROI中物体所述类别和物体在图像中的精确位置。3.根据权利要求2所述的一种基于Faster R
‑
CNN和GRCNN的机械臂智能抓取方法，其特征在于：步骤S2中，采用预先构建Faster R
‑
CNN网络模型进行目标检测的流程包括：S2.1：将所述彩色图像输入到所述卷积层提取得到公共特征层，并生成若干网格和先验框，利用所述RPN网络获取对应所述先验框的建议框，利用所述建议框在所述公共特征层进行特征提取，提取出不同特征层对应所述彩色图像上的不同位置，并传入到ROIpooling层中；S2.2：ROIpooling层将不同特征层尺寸调整成相同大小的区域特征图，并判断建议框中彩色图像特征层中目标物体的类别和位置，在全连接层中对建议框中目标物体位置进行修正后输出目标物体的精确位置。4.根据权利要求3所述的一种基于Faster R
‑
CNN和GRCNN的机械臂智能抓取方法，其特征在于：步骤S2.2中，对建议框中目标物体位置进行修正后输出目标物体的精确位置包括：采用全连接层中softmax函数计算彩色图像每个区域建议框中目标物体的具体隶属类别，并输出相应的概率向量，同时采用边界框回归预测每个区域建议框的位置偏移量，再通过回归修正获得更加精确的目标物体位置；回归修正公式为：t
x
＝(x
‑
x
a
)/w
a t
y
＝(y
‑
y
a
)/h
a
t
w
＝log(w/w
a
)t
h
＝log(h/h
a

【专利技术属性】
技术研发人员：高赫佳，赵俊杰，胡钜奇，孙长银，
申请(专利权)人：安徽大学，
类型：发明
国别省市：