一种非结构化环境的机器人灵活抓取检测方法技术

本发明专利技术公开了一种非结构化环境的机器人灵活抓取检测方法，包括，利用Kinect x1相机采集抓取场景中的彩色图，并制作目标检测数据集，通过目标检测网络架构识别出场景中的各个目标；根据识别出的所述各个目标，结合多目标抓取姿态生成网络生成各目标的抓取位姿；以目标检测结果中的对象区域和抓取检测结果中的位姿信息为基准，筛选最优的抓取位姿，控制机械臂完成抓取任务。本发明专利技术提高了目标物体最优抓取区域的检测精度，并避免了机械臂抓取时对其他目标的干扰，最终增强了机械臂在抓取任务中对非结构化场景下多目标物体抓取的鲁棒性和适应性。和适应性。和适应性。

【技术实现步骤摘要】
一种非结构化环境的机器人灵活抓取检测方法


[0001]本专利技术涉及机械臂灵活抓取的
，尤其涉及一种非结构化环境的机器人灵活抓取检测方法。

技术介绍

[0002]基于点云的抓取姿态估计算法(PointNet
‑
grasp pose detection,PointNer
‑
GPD)，使用3D神经网络PointNet进行抓取姿态估计，这种方法依赖于物体的点云信息，相比之下，基于Faster RCNN(faster region based convolutional neural networks)网络的多物体抓取模型，就有较好的泛化能力和检测精度；Asif等从图像的不同层级来预测抓取区域，克服了只能从单个层级预测图像抓取区域的局限性，就准确度而言，该方法优于Cornell抓取数据集上的最新方法。陈丹等通过两日目标检测框与物体的最小包围矩形，计算出目标物体的抓取区域。金欢利用目标检测算法识别目标物体，将原始图像分割为多个仅包含单个物体的小块，再利用基于深度学习的抓取检测网络完成抓取任务。
[0003]现有的技术在实际应用中容易因为目标物体密集造成的抓取碰撞影响；并且没有考虑物体的最优抓取区域，对于不规则物体的抓取有一定的局限性；对物体的抓取准确率较低；无法高效准确的识别高分辨下的小物体。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有存在的问题，提出了本专利技术。
[0006]因此，本专利技术解决的技术问题是：一、容易因为目标物体密集造成的抓取碰撞影响，且没有考虑物体的最优抓取区域；二、对于不规则物体的抓取有一定的局限性；三、对物体的抓取准确率较低，无法高效准确的识别高分辨下的小物体。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：包括，利用Kinect x1相机采集抓取场景中的彩色图，并制作目标检测数据集，通过目标检测网络架构识别出场景中的各个目标；根据识别出的所述各个目标，结合多目标抓取姿态生成网络生成各目标的抓取位姿；以目标检测结果中的对象区域和抓取检测结果中的位姿信息为基准，筛选最优的抓取位姿，控制机械臂完成抓取任务。
[0008]作为本专利技术所述的非结构化环境的机器人灵活抓取检测方法的一种优选方案，其中：机器人抓取检测问题不仅需要预测出待抓取目标的回归边界，同时还需要筛选出机械臂最优的抓取姿态，为了对图像信息中抓取目标的最优抓取姿态进行预测，定义一种机械臂5D抓取姿态表示方法，包括，
[0009]A＝f(x,y,h,w,θ)
[0010]其中，A表示输入图像中的最优抓取区域，(x,y)表示图像抓取矩形左上角点坐标；
(h,w)表示抓取矩形的高度和宽度；θ表示抓取矩形框相对于图像水平方向的夹角，利用三维成像模型确定矩形对应的机器人最优抓取姿态。
[0011]作为本专利技术所述的非结构化环境的机器人灵活抓取检测方法的一种优选方案，其中：包括，数据增强、多尺度特征融合、区域特征聚集和连级检测头。
[0012]作为本专利技术所述的非结构化环境的机器人灵活抓取检测方法的一种优选方案，其中：所述数据增强包括，像素混合增光策略、基于自动机器学习的图像数据增光方法和图像信息删除策略。
[0013]作为本专利技术所述的非结构化环境的机器人灵活抓取检测方法的一种优选方案，其中：所述多尺度特征融合包括，将特征图集输入一个1X1的卷积层，以减少特征图的数量，生成低分辨率特征映射C5；通过嵌入式高斯函数对得到的平衡后的特征图进行非局部操作，得到进一步细化和提炼后的特征图；将得到的平衡语义特征图使用相同但是相反的方法重新缩放，获得新的特征图集{P2,P3,P4,P5}，以增强原始特征；将特征图集{P2,P3,P4,P5}输入目标检测网络RCNN进行类别与位置预测。
[0014]作为本专利技术所述的非结构化环境的机器人灵活抓取检测方法的一种优选方案，其中：所述区域特征聚集包括，在区域内均匀的选取N个点，找到特征图上距离每个点最近的4个点；通过双线性插值的方式，得到点的输出值；对N个点取平均值得到区域的输出。
[0015]作为本专利技术所述的非结构化环境的机器人灵活抓取检测方法的一种优选方案，其中：所述联级检测头采用一种联级回归的网络框架，以实现IOU阈值的动态选取，包括，
[0016][0017]其中，T表示总共使用的联级个数，f
T
表示每次回归的结果，初始分布{b1}随着每次回归的优化，最终达到相应阶段的样本分布{b
t
}。
[0018]作为本专利技术所述的非结构化环境的机器人灵活抓取检测方法的一种优选方案，其中：抓取最优位姿区域预测包括，选用ResNet50作为特征提取的骨干网络，并在残差结构中添加SE模块；通过Squeeze和Excitation这两个关键操作以学习的方式自动获取到每个特征通道的重要程度；依照所述重要程度提升有用的特征并抑制对当前任务用处不大的特征。
[0019]作为本专利技术所述的非结构化环境的机器人灵活抓取检测方法的一种优选方案，其中：在非结构化抓取检测任务中，利用目标检测识别出待抓取目标，通过抓取检测生成目标物体的可行抓取区域，结合多目标IOU混合区域姿态评估算法筛选出目标物体可行抓取区域中的最优抓取姿态。
[0020]本专利技术的有益效果：本专利技术方法在非结构化环境下，以多目标物体识别边界信息为参考，对图像中生成的多个可行抓取区域进行筛选，得出最优抓取位姿，提高了目标物体最优抓取区域的检测精度，并避免了机械臂抓取时对其他目标的干扰，最终增强了机械臂在抓取任务中对非结构化场景下多目标物体抓取的鲁棒性和适应性。
附图说明
[0021]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它
的附图。其中：
[0022]图1为本专利技术一个实施例所述的非结构化环境的机器人灵活抓取检测方法的总体框架示意图；
[0023]图2为本专利技术一个实施例所述的非结构化环境的机器人灵活抓取检测方法的多尺度特征融合示意图；
[0024]图3为本专利技术一个实施例所述的非结构化环境的机器人灵活抓取检测方法的联级结构示意图；
[0025]图4为本专利技术一个实施例所述的非结构化环境的机器人灵活抓取检测方法的SENet示意图；
[0026]图5为本专利技术一个实施例所述的非结构化环境的机器人灵活抓取检测方法的多目标抓取姿态生成网络结构示意图；
[0027]图6为本专利技术一个实施例所述的非结构化环境的机器人灵活抓取检测方法的多目标IOU区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非结构化环境的机器人灵活抓取检测方法，其特征在于：包括，利用Kinect x1相机采集抓取场景中的彩色图，并制作目标检测数据集，通过目标检测网络架构识别出场景中的各个目标；根据识别出的所述各个目标，结合多目标抓取姿态生成网络生成各目标的抓取位姿；以目标检测结果中的对象区域和抓取检测结果中的位姿信息为基准，筛选最优的抓取位姿，控制机械臂完成抓取任务。2.根据权利要求1所述的非结构化环境的机器人灵活抓取检测方法，其特征在于：机器人抓取检测问题不仅需要预测出待抓取目标的回归边界，同时还需要筛选出机械臂最优的抓取姿态，为了对图像信息中抓取目标的最优抓取姿态进行预测，定义一种机械臂5D抓取姿态表示方法，包括，A＝f(x,y,h,w,θ)其中，A表示输入图像中的最优抓取区域，(x,y)表示图像抓取矩形左上角点坐标；(h,w)表示抓取矩形的高度和宽度；θ表示抓取矩形框相对于图像水平方向的夹角，利用三维成像模型确定矩形对应的机器人最优抓取姿态。3.根据权利要求1或2所述的非结构化环境的机器人灵活抓取检测方法，其特征在于：包括，数据增强、多尺度特征融合、区域特征聚集和联级测头。4.根据权利要求3所述的非结构化环境的机器人灵活抓取检测方法，其特征在于：所述数据增强包括，像素混合增光策略、基于自动机器学习的图像数据增光方法和图像信息删除策略。5.根据权利要求4所述的非结构化环境的机器人灵活抓取检测方法，其特征在于：所述多尺度特征融合包括，将特征图集输入一个1X1的卷积层，以减少特征图的数量，生成低分辨率特征映射C5；通过嵌入式高斯函数对得到的平衡后的特征图进行非局部操作，得到进一步...

【专利技术属性】
技术研发人员：黄海松，饶期捷，范青松，张松松，白鑫宇，
申请(专利权)人：贵州大学，
类型：发明
国别省市：