基于深度学习的六自由度机械臂抓取位姿检测方法技术

本发明专利技术公开了基于深度学习的六自由度机械臂抓取位姿检测方法，属于机械臂领域，基于深度学习的六自由度机械臂抓取位姿检测方法，可以实现利用基于深度学习的重量检测和占地面获取抓取目标的重量以及抓取目标底部与操作台的接触面得到抓取目标的硬度，并得到目标物体的二维重量分布图，可直接获取目标物体的重心，使目标物体的抓取位置更加牢固，经过深度学习得到的特征以及二维重量分布图使机械臂能够较好的适应训练集中未曾出现的新物体，且在抓取过程中对目标物体施压，通过目标物体的凹陷程度对对目标物体的硬度进行二次判断，使机械臂可自调整抓取力度，加强对目标物体的保护，同时，提高机械臂抓取位置获取的精确性。提高机械臂抓取位置获取的精确性。提高机械臂抓取位置获取的精确性。

【技术实现步骤摘要】
基于深度学习的六自由度机械臂抓取位姿检测方法


[0001]本专利技术涉及机械臂领域，更具体地说，涉及基于深度学习的六自由度机械臂抓取位姿检测方法。

技术介绍

[0002]在机械手抓取任务中，需要确定机械手抓取待抓取物体时的抓取位姿。如果抓取位姿确定不当，机械手按不当的抓取位姿抓取物体时，物体的重心偏离机械手会给机械手带来过大的力矩，严重降低机械手的抓取能力。或者，由于重心偏离，还极有可能存在机械手抓着物体移动期间物体自机械手滑落的风险。对于某些材料的待抓取物体，其外表可承受压强有限，当抓取位姿存在重心偏离时，机械臂需要加大其端部机械手的抓握力以抵消额外的力矩，使得待抓取物体存在损坏风险。
[0003]现有的机械手在进行抓取任务时，无法检测到目标物体的重心，导致在抓取过程中目标物体容易脱落，且机械手的抓取力度过大时，会将目标物体表面破损，机械手无法根据目标物体自调节抓取角度，降低机械手的功能性，不利于对目标物体的保护。

技术实现思路

[0004]1.要解决的技术问题
[0005]针对现有技术中存在的问题，本专利技术的目的在于提供基于深度学习的六自由度机械臂抓取位姿检测方法，可以实现利用基于深度学习的重量检测和占地面获取抓取目标的重量以及抓取目标底部与操作台的接触面得到抓取目标的硬度，并得到目标物体的二维重量分布图，可直接获取目标物体的重心，使目标物体的抓取位置更加牢固，经过深度学习得到的特征以及二维重量分布图使机械臂能够较好的适应训练集中未曾出现的新物体，且在抓取过程中对目标物体施压，通过目标物体的凹陷程度对对目标物体的硬度进行二次判断，使机械臂可自调整抓取力度，加强对目标物体的保护，同时，提高机械臂抓取位置获取的精确性。
[0006]2.技术方案
[0007]为解决上述问题，本专利技术采用如下的技术方案。
[0008]基于深度学习的六自由度机械臂抓取位姿检测方法，包括以下步骤：
[0009]S1、利用深度相机获取机械臂抓取工作操作台上的深度图像，利用基于深度学习的多目标识别与检测网络，识别与检测机械臂操作台上所有的未知物体；
[0010]S2、初步得到抓取工作场景中目标物体的位置，以矩形框形式标记目标物体在图像中的位置；
[0011]S3、利用基于深度学习的目标识别与检测网络，将图像中矩形框标记出的待抓取物体部分映射到目标检测网络的一个卷积层输出上，此映射相当于对图像中矩形框标记下的待抓取物体部分的特征提取，通过映射可获得图像中待抓取物体部分的特征图；
[0012]S4、用户根据识别与检测结果随机地选择机械臂的抓取目标，利用双目测距获得
抓取目标对应的中心值；
[0013]S5、利用坐标转换将目标对应的图像特征从二维的图像坐标系下转化为三维世界坐标系下，从而获得机械臂的最优抓取位置；
[0014]S6、利用基于深度学习的重量检测和占地面，将图像中抓取目标的重量以及抓取目标底部与操作台的接触面得到抓取目标的硬度，从而获取机械臂抓取目标的力度；
[0015]S7、利用基于卷积神经网络的法向量估计网络获得场景的表面法向量，根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂的最优抓取姿态，计算机器人控制量以控制机械臂，完成基于视觉的机械臂自主抓取任务；
[0016]S8、利用基于深度学习的静压检测，在机械臂抓取目标物体时，机械臂抓取目标物体对目标物体施压，通过检测目标物体的凹陷复检目标物体的硬度，机械臂自动二次调整抓取力度。
[0017]进一步的，所述步骤S1中利用深度相机获取机械臂抓取工作操作台上的深度图像，使机械臂的操作目标均在摄像机的拍摄范围内。
[0018]进一步的，所述步骤S2中以矩形框形式标记设置在目标物体的外形外围，通过二维形式对目标物体的外形进行框选。
[0019]进一步的，所述步骤S3中通过映射获得图像中待抓取物体部分的特征图，使待抓取物体在进行抓取的同时可结合待抓取物体的特征选取抓取位置。
[0020]进一步的，所述步骤S3中基于深度学习的目标识别与检测网络采用的是YOLO9000网络模型。
[0021]进一步的，所述步骤S6中操作台使用智能检测台，可检测目标物体的重量，并展示操作台上目标物体的二维重量分布图，在计算目标物体中心值时需结合二维重量分布图。
[0022]进一步的，所述步骤S7中基于卷积神经网络的法向量估计网络分为4个尺度：尺度1：获得特征图；尺度2：获得重量分布图；尺度3：获得预测图；尺度4：获得高分辨率的预测图。
[0023]进一步的，所述步骤S8中机械臂抓取目标物体对目标物体施压，当目标物体凹陷说明硬度低，目标物体材质软，可继续稍加施力将目标物体夹持抓取；当目标物体未产生凹陷，则说明目标物体的硬度高，机械臂的抓取力度保持恒定。
[0024]进一步的，所述步骤S7中使用以太网向机械臂控制柜发送相应的控制信息，控制机械臂完成基于视觉的机械臂自主抓取任务。
[0025]3.有益效果
[0026]相比于现有技术，本专利技术的优点在于：
[0027](1)本方案可以实现利用基于深度学习的重量检测和占地面获取抓取目标的重量以及抓取目标底部与操作台的接触面得到抓取目标的硬度，并得到目标物体的二维重量分布图，可直接获取目标物体的重心，使目标物体的抓取位置更加牢固，经过深度学习得到的特征以及二维重量分布图使机械臂能够较好的适应训练集中未曾出现的新物体，且在抓取过程中对目标物体施压，通过目标物体的凹陷程度对对目标物体的硬度进行二次判断，使机械臂可自调整抓取力度，加强对目标物体的保护，同时，提高机械臂抓取位置获取的精确性。
[0028](2)通过摄像机拍摄出目标物体，可帮助机械臂对目标物体进行定位抓取，便于对
目标物体抓取位置进行准确定位。
[0029](3)通过矩形框形式标记出目标物体，并通过不同的矩形框形式标记分别对不同的目标物体进行分区标记，实现对不同的目标物体进行框选。
[0030](4)通过映射获得待抓取物体部分的特征图，并通过特征的记录对目标物体进行分辨，同时，特征部位较为脆弱时机械臂在对该物体进行抓取时可自动规避特征部位，减少对目标物体的损坏。
[0031](5)通过二维重量分布图对目标物体的重量分布进行准确记录，且重量分布图可结合查找目标物体的中心同时使用，使目标物体的中心更加准确。
[0032](6)通过4个尺度的设置，可精确的判断机械臂对目标物体的抓取位姿，提高机械臂抓取位姿检测精度。
[0033](7)通过静压检测实现机械臂对目标物体的硬度检测，且机械臂自调节抓取力度，在牢固抓取目标物体的同时可加强对目标物体的保护。
附图说明
[0034]图1为本专利技术的检测方法结构示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本专利技术一部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的六自由度机械臂抓取位姿检测方法，包括以下步骤：S1、利用深度相机获取机械臂抓取工作操作台上的深度图像，利用基于深度学习的多目标识别与检测网络，识别与检测机械臂操作台上所有的未知物体；S2、初步得到抓取工作场景中目标物体的位置，以矩形框形式标记目标物体在图像中的位置；S3、利用基于深度学习的目标识别与检测网络，将图像中矩形框标记出的待抓取物体部分映射到目标检测网络的一个卷积层输出上，此映射相当于对图像中矩形框标记下的待抓取物体部分的特征提取，通过映射可获得图像中待抓取物体部分的特征图；S4、用户根据识别与检测结果随机地选择机械臂的抓取目标，利用双目测距获得抓取目标对应的中心值；S5、利用坐标转换将目标对应的图像特征从二维的图像坐标系下转化为三维世界坐标系下，从而获得机械臂的最优抓取位置；S6、利用基于深度学习的重量检测和占地面，将图像中抓取目标的重量以及抓取目标底部与操作台的接触面得到抓取目标的硬度，从而获取机械臂抓取目标的力度；S7、利用基于卷积神经网络的法向量估计网络获得场景的表面法向量，根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂的最优抓取姿态，计算机器人控制量以控制机械臂，完成基于视觉的机械臂自主抓取任务；S8、利用基于深度学习的静压检测，在机械臂抓取目标物体时，机械臂抓取目标物体对目标物体施压，通过检测目标物体的凹陷复检目标物体的硬度，机械臂自动二次调整抓取力度。2.根据权利要求1所述的基于深度学习的六自由度机械臂抓取位姿检测方法，其特征在于：所述步骤S1中利用深度相机获取机械臂抓取工作操作台上的深度图像，使机械臂的操作目标均在摄像机的拍摄范围内。3.根据权利要求1所述的基于深度学...

【专利技术属性】
技术研发人员：晁永生，宋小飞，张笑尘，
申请(专利权)人：新疆大学，
类型：发明
国别省市：