一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法技术

本发明专利技术涉及一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，首先构建位置‑姿态由粗到细的级联式两阶段卷积神经网络模型，第一阶段采用基于区域的全卷积网络（R‑FCN）实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle‑Net模型实现抓取角度精确计算；其次采集当前含待抓物体的场景图像作为待训练的原始现场图像样本，借助迁移学习机制对两阶段卷积神经网络模型进行训练，然后在线运行中将采集的每一帧单目彩色图像输入到级联式两阶段卷积神经网络模型，最后以所得抓取位置和姿态驱动机器人末端执行器进行物体抓取控制。本方法的抓取检测精度高，有效加快了机器人非规则物体抓取位姿的检测速度，提高了抓取姿态检测算法运行的实时性。

A fast algorithm for robot pose detection based on cascaded convolution neural network

The present invention relates to a fast method for detecting the position and attitude of irregular objects in robot grasping based on cascaded convolution neural network. Firstly, a cascaded two-stage convolution neural network model of position and attitude from coarse to fine is constructed. In the first stage, a region-based full convolution network (R_FCN) is used to realize the grasping positioning and the grasping angle. In the second stage, a new Angle_Net model is constructed to calculate the grabbing angle accurately. Secondly, the scene images containing the object to be grabbed are collected as the original scene image samples to be trained, and the two-stage convolution neural network model is trained by means of transfer learning mechanism, and then the captured images are collected on-line. Each frame of monocular color image is input into a cascaded two-stage convolution neural network model. Finally, the end effector of the robot is driven to grasp the object by the grasping position and attitude. This method has high precision of grasping detection, effectively speeds up the detection speed of irregular object grasping position and posture, and improves the real-time performance of grasping posture detection algorithm.

【技术实现步骤摘要】
一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
本专利技术涉及一种机器人自主抓取姿态检测的方法，具体地说是一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，属于机器人视觉技检测与抓取控制

技术介绍
在机器人分拣、搬运等抓取作业任务中，包括顶抓（Top-grasp）和侧抓（Side-grasp）两种方式的平面抓取（PlanarGrasp）是机器人最为常用的抓取策略。对于任意姿态的未知不规则物体，在光照不均、背景复杂的场景下，如何利用低成本的单目相机实现快速可靠的机器人自主抓取姿态检测具有很大的挑战。机器人自主抓取姿态规划方法根据感知信息的不同可分为两类：一类是基于物体模型的抓取姿态估计，一类是不依赖物体模型的抓取姿态检测。基于模型的方法需要给定精确、完整的物体三维模型,然而低成本相机成像噪声大,很难扫描建立精确模型。另外,基于三维模型的方法计算复杂,难以适应机器人实时抓取判断的需求。不依赖物体模型的方法借助机器学习技术,其实质是将抓取位姿检测问题转化成目标识别问题。机器学习方法的出现令抓取检测不局限于已知物体。早期的学习方法（见“JiangY,MosesonS,SaxenaA,EfficientgraspingfromRGBDimages:Learningusinganewrectanglerepresentation,IEEEICRA2011”）需要人为针对特定物体设定特定的视觉特征，不具备灵活性。近年来，深度学习发展迅速，其优越性正在于可自主提取与抓取位姿有关的特征。机器人抓取检测问题包括两个部分：抓取位置确定和抓取姿态估计。传统的位置检测方法根据二值化的图像计算物体重心作为抓取位置，但可抓取位置不在重心处的物体甚多。通常采用滑动窗口法（见“LenzI,LeeH,SaxenaA.Deeplearningfordetectingroboticgrasps.TheInternationalJournalofRoboticsResearch,2015”）解决抓取点不在重心上的问题，但此方法以遍历搜索获得最优解，时间代价大。一种改进方法（见“杜学丹,蔡莹皓,鲁涛等.一种基于深度学习的机械臂抓取方法.机器人,2017”）是通过缩小搜索区域范围并减少搜索窗旋转次数以实现时间的优化。在抓取姿态估计方面，一些最新的方法（见“GuoD,SunF,LiuH,etal.Ahybriddeeparchitectureforroboticgraspdetection,IEEEICRA2017”）将最优搜索窗的旋转角度作为抓取角度，但这些属于粗估计方法，低精度的抓取角度可导致机器人在实际抓取时因受力点错误而抓取失败。因此，减少抓取定位时间消耗和提升姿态估计精度是机器人在线抓取检测时亟待解决的两个问题。深度神经网络用于机器人抓取位姿检测的另一个问题是,已有公开模型都是在封闭大数据集上训练所得，通常需要随机器人部署而扩展关于实际特定抓取对象的小样本数据集。迁移学习为特定任务小样本集下深度网络模型训练提供了方法。自建的数据集规模虽小，但可在已经过百万级封闭数据集训练并具有基本特征提取能力的模型上微调训练，令在特定小样本集下训练的模型仍具有卓越的性能。这样不仅缩短训练周期，还可提升整个系统的拓展性。目前已有一些专利申请采用深度神经网络解决机器人视觉SLAM、物体识别等基本问题，尚未有用于机器人物体抓取姿态检测。例如刘国良等人申请了申请号为2017100184615且名称为“基于卷积神经网络特征描述子的机器人帧间位姿估计方法”的中国专利技术专利，使用卷积神经网络特征描述子来进行机器人帧间位姿估计。段勇等人申请了申请号为2016106172180且名称为“基于深层卷积神经网络的机器人工作场景识别方法”的中国专利技术专利，也是将深度神经网络用于场景分类。总之，目前深度学习技术已经在机器人领域得到了初步应用，但是尚未很好地用于解决机器人抓取姿态检测问题，尤其是如何减少抓取定位时间消耗、提高抓取姿态估计精度是机器人在线抓取检测时亟待解决的重要问题。
技术实现思路
本专利技术的目的在于提供一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，该方法是针对任意姿态的未知不规则物体，其鲁棒性和稳定性强，且能够泛化适应未训练过的新物体，解决了无须针对特定物体实例进行人工训练的快速、准确机器人抓取位置姿态检测。为了实现上述目的，本专利技术采用的技术方案为，一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，包括以下步骤：（1）构建位置-姿态由粗到细的级联式两阶段卷积神经网络模型，第一阶段采用基于区域的全卷积网络（R-FCN）实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle-Net模型实现抓取角度精确计算；（2）控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，作为待训练的原始现场图像样本，借助迁移学习机制对两阶段卷积神经网络模型进行训练，得到具有一定泛化能力的抓取点位置和姿态估计器；（3）在线运行中，将全局俯视相机采集的每一帧单目彩色图像输入到前述步骤建立的级联式两阶段卷积神经网络模型，其中第一阶段输出为抓取位置候选边界框及抓取角度粗估计结果，第二阶段得到以为分辨率的最终抓取姿态角；（4）以所得抓取位置和姿态驱动机器人末端执行器进行物体抓取控制。作为本专利技术的一种改进，所述抓取定位是指级联式两阶段卷积神经网络模型提取图像中物体待抓取位置的候选边界框（Bounding-box）及其相应的可靠性分数，抓取角度的粗估计是指级联式两阶段卷积神经网络模型同时也输出了抓取角度的粗分类结果。作为本专利技术的一种改进，为提高检测速度且尽可能降低对检测结果的影响，抓取位置候选边界框只选取300个，通过筛选和排序确定候选边界框中可靠性最高的边界框，该边界框的中心点就是应驱动机器人末端手爪到达的抓取位置。抓取角度的粗分类包括四种情况：（对应水平抓取）、（对应右下或左上抓取）、（对应竖直抓取）、（对应左下或右上抓取）。作为本专利技术的一种改进，所述Angle-Net模型的输入为上一级输出的抓取位置，输出为图像平面下分辨率为的抓取角度。Angle-Net模型输出的角度是对阶段一中粗估计角度的精确化，鉴于R-FCN的稳定性，采用阶段一中的粗估计角度对Angle-Net模型计算的结果进行监督，提高Angle-Net模型输出的容错性。作为本专利技术的一种改进，所述Angle-Net模型包括4个卷积层和2个全连接层，其中，卷积层的卷积核个数分别为16、32、64、128，全连接层的神经元个数均为4096。作为本专利技术的一种改进，所述Angle-Net模型的损失函数采用L1-范数函数，并且为了防止过拟合，在损失函数的基础上加上正则化项。作为本专利技术的一种改进，所述的借助迁移学习机制对两阶段卷积神经网络模型进行训练，是控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，包含多种非规则物体实例、可抓取角度为的少量训练图像，作为待训练的m张原始现场图像样本。具体训练包括相应的两个训练阶段：Ⅰ）R-FCN模型的训练，得到抓取点位置估计器和姿态粗估计器；Ⅱ）Angle-Net模型的训练，得到抓取姿态细估计器。作为本发本文档来自技高网...

【技术保护点】
1.一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于：包括以下步骤：（1）构建位置‑姿态由粗到细的级联式两阶段卷积神经网络模型，第一阶段采用基于区域的全卷积网络实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle‑Net模型实现抓取角度精确计算；（2）控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，作为待训练的原始现场图像样本，借助迁移学习机制对两阶段卷积神经网络模型进行训练，得到具有一定泛化能力的抓取点位置和姿态估计器；（3）在线运行中，将全局俯视相机采集的每一帧单目彩色图像输入到前述步骤建立的级联式两阶段卷积神经网络模型，其中第一阶段输出为抓取位置候选边界框及抓取角度粗估计结果，第二阶段得到以

【技术特征摘要】
1.一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于：包括以下步骤：（1）构建位置-姿态由粗到细的级联式两阶段卷积神经网络模型，第一阶段采用基于区域的全卷积网络实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle-Net模型实现抓取角度精确计算；（2）控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，作为待训练的原始现场图像样本，借助迁移学习机制对两阶段卷积神经网络模型进行训练，得到具有一定泛化能力的抓取点位置和姿态估计器；（3）在线运行中，将全局俯视相机采集的每一帧单目彩色图像输入到前述步骤建立的级联式两阶段卷积神经网络模型，其中第一阶段输出为抓取位置候选边界框及抓取角度粗估计结果，第二阶段得到以为分辨率的最终抓取姿态角；（4）以所得抓取位置和姿态驱动机器人末端执行器进行物体抓取控制。2.如权利要求1所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，所述抓取定位是指级联式两阶段卷积神经网络模型提取图像中物体待抓取位置的候选边界框及其相应的可靠性分数，抓取角度的粗估计是指级联式两阶段卷积神经网络模型同时也输出了抓取角度的粗分类结果。3.如权利要求2所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，待抓取位置的候选边界框选取300个，通过筛选和排序确定候选边界框中可靠性最高的边界框，该边界框的中心点就是应驱动机器人末端手爪到达的抓取位置，抓取角度的粗分类包括四种情况：、、、。4.如权利要求3所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，所述Angle-Net模型的输入为上一级输出的抓取位置，输出为图像平面下分辨率为的抓取角度，所述Angle-Net模型包括4个卷积层和2个全连接层，其中，卷积层的卷积核个数分别为16、32、64、128，全连接层的神经元个数均为4096。5.如权利要求4所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，所述Angle-Net模型的损失函数采用L1-范数函数，并在损失函数的基础上加上正则化项。6.如...

【专利技术属性】
技术研发人员：钱堃，夏晶，刘环，张晓博，马家乐，康栓紧，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32