一种基于卷积神经网络的生成最佳抓取位姿的方法技术

本发明专利技术公开了一种基于卷积神经网络的生成最佳抓取位姿的方法，包括以下步骤：S1、设定抓取过程中用来表征抓取质量的参数；S2、构建卷积神经网络模型；S3、采用Cornell Grasping数据集来训练神经网络模型；S4、将摄像头采集到的物体深度图输入至训练好的神经网络模型，计算出抓取参数，所述抓取参数用于驱动机械臂进行抓取。本发明专利技术提出的基于卷积神经网络模型的生成最佳抓取位姿的算法，仅需要输入物体的深度信息，便可快速得到物体的最佳抓取位姿，模型精简，可广泛推广在机械臂视觉抓取，动态追踪等领域。

【技术实现步骤摘要】
一种基于卷积神经网络的生成最佳抓取位姿的方法
本专利技术涉及机械臂视觉抓取领域，具体为一种基于卷积神经网络的生成最佳抓取位姿的方法。
技术介绍
近年来，随着计算机视觉的快速发展，将机械臂与视觉相结合，融入更多的环境感知能力，也逐渐成为研究热点。如果机械臂希望抓取某个物体，首先需要通过摄像头(传感器)得到物体的具体位置，然后通过内部评估算法找到适合该物体的最佳的抓取位姿，这里涉及两个过程，确认该物体的种类和根据物体状态筛选出最佳的抓取位姿。假如此类物体是电脑(算法)之前没有见过的，那对于未见过的物体，如何产生最佳抓取位姿则是更加困难的事情。解决此类问题，加州伯克利大学《Dex-Net2.0:DeepLearningtoPlanRobustGraspswithSyntheticPointCloudsandAnalyticGraspMetrics》提出一种卷积神经网络的算法，此算法对于一般物体的抓取成功率比较高，遗憾的是，此算法中包含的网络参数太多(百万级)，运算速率相对较低，且难以在一般机器上面复现，所以在实际推广上面临着挑战。专利本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的生成最佳抓取位姿的方法，其特征在于，包括以下步骤：/nS1、设定抓取过程中用来表征抓取质量的参数；/nS2、构建卷积神经网络模型；/nS3、采用Cornell Grasping数据集来训练神经网络模型；/nS4、将摄像头采集到的物体深度图输入至训练好的神经网络模型，计算出抓取位姿参数，所述抓取位姿参数用于驱动机械臂进行抓取。/n

【技术特征摘要】
1.一种基于卷积神经网络的生成最佳抓取位姿的方法，其特征在于，包括以下步骤：
S1、设定抓取过程中用来表征抓取质量的参数；
S2、构建卷积神经网络模型；
S3、采用CornellGrasping数据集来训练神经网络模型；
S4、将摄像头采集到的物体深度图输入至训练好的神经网络模型，计算出抓取位姿参数，所述抓取位姿参数用于驱动机械臂进行抓取。


2.根据权利要求1所述的基于卷积神经网络的生成最佳抓取位姿的方法，其特征在于：步骤S1中的参数包括G、Q、Φ、W；其中，G表示每次抓取中的一系列参数，对应于每一像素：



对于给定的2.5D深度图H表示深度图高度，W表示深度图宽度，H和W参数从摄像头内获取到，代表维数；
Q表示每次抓取的质量，是一个在(0,1)内的标量，Q越接近1，抓取质量越高；
Φ表示每次抓取中，夹爪到达理想位置需要旋转的角度，所述理想位置是数据集中设定的最佳抓取矩形的位置，旋转角度指的是抓取矩形相对于水平线旋转的角度；
W表示抓取过程中夹爪需要张开的宽度，以保证完全将物体抓紧。


3.根据权利要求1所述的基于卷积神经网络的生成最佳抓取位姿的方法，其特征在于：步骤S3所述的CornellGrasping数据集提供280种不同物体的1035张图片，每张图片带有RGB图、深度信息和设定的用于抓取该物体的最佳抓取矩形的数据，所述数据包括矩形的大小、矩形中心点的三维位置。


4.根据权利要求1所述的基于卷积神经网络的生成最佳抓取位姿的方法的网络结构，其特征在于：所述神经网络模型的结构包括不同的网络层：第一层包含9*9卷积核以及32个滤波器，移动步长为3，第二层包括5*5卷积核以及16个滤波器，移动步长为2，第三层包括3*3卷积核以及8个滤波器，移动步长为2，第四五六层为反卷积层，目的是保持输入和输出的分辨率一致，第四层为反卷积层包括3*3卷积核以及8个滤波器，移动步长为2，第五层为反卷积层包括3*3卷积核以及16个滤波器，移动步长为2，第六层为反卷积层包括9*9卷积核以及32个滤波器，移动步长为3。


5.根据权利要求1所述的基于卷积神经网络的生成最佳抓取位姿的方法，其特征在于：神经网络模型的损失函数采用L2损失方程，作为评估网络性能的度量，用神经网络去逼近一个复杂的方程M:I→G，神经网络模型的参数计算包括
M(I)＝(Q...

【专利技术属性】
技术研发人员：庞剑坤，魏武，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44