System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于坐标注意力高分辨率融合的机械臂抓取方法技术_技高网

一种基于坐标注意力高分辨率融合的机械臂抓取方法技术

技术编号:40268420 阅读:10 留言:0更新日期:2024-02-02 22:55
本发明专利技术公开了一种基于坐标注意力高分辨率融合的机械臂抓取方法,包括:S1、获取公开的平面物体抓取数据集;S2、构建基于坐标注意力机制的高分辨率抓取检测网络;S3、训练抓取检测网络;S4、搭建机械臂抓取系统;S5、将采集的深度相机视角下的RGB图像输入抓取检测网络,抓取检测网络预测得到物体在深度相机中的位置和姿态信息;S6、根据预测得到的物体位置和姿态信息以及机械臂抓取系统下的坐标转换关系,计算物体相对于及机械臂基座坐标系下的位姿;S7、根据计算出的抓取位姿,控制机械臂抓取场景中的物体。本发明专利技术构建基于坐标注意力机制的高分辨率抓取检测网络,可获得更加准确的物体抓取检测,能够有效的应用在机器人抓取任务中。

【技术实现步骤摘要】

本专利技术属于机器人,具体涉及一种基于坐标注意力高分辨率融合的机械臂抓取方法


技术介绍

1、机器人抓取作为机器人应用中常用的基础动作,可以有效帮助人们完成任务,被广泛应用在工厂、家居和医疗等环境中,近些年来得到了极高的关注,传统的机器人抓取是针对已知物体进行人工手动的标定,按照设定好的位置对物体进行抓取,这样的抓取会耗费大量的人力资源,并且只能针对已知物体在已知环境下的抓取,实用性能不高。

2、在过去的十年中,深度学习受到了广泛关注,并且应用于提高抓取检测性能。深度卷积网络在诸多的计算机视觉任务中取得了应用,其能够比手工设计的表示学习到更丰富的特征,针对抓取检测,通过使用深度卷积神经网络开发了许多的生成抓取检测卷积神经网络。

3、然而现在更多的抓取检测所使用的深度卷积神经网络都遵循lenet-5的设计规则,这个设计规则在卷积的过程中将高分辨率和低分辨率连接成串联,逐渐减小特征图的空间大小,得到低分辨率的表示然后再进行进一步的分类处理。但是物体检测位姿估计是一个对于位置敏感的任务,在这个过程中,过度的减小分辨率可能会造成很多位置信息的丢失,可能会得到不准确的预测,在对于相同物体进行抓取预测的时候,可能还会存在当物体在图像中的位置发生变化的时候,抓取预测的位置就会产生变化,导致同一个物体在图像中的不同位置抓取成功率不同。


技术实现思路

1、本专利技术的主要目的在于克服现有技术的缺点与不足,提出一种基于坐标注意力高分辨率融合的机械臂抓取方法。

2、为了达到上述目的,本专利技术采用以下技术方案:

3、一种基于坐标注意力高分辨率融合的机械臂抓取方法,包括以下步骤:

4、s1、获取公开的平面物体抓取数据集,并划分为训练集和测试集;

5、s2、构建基于坐标注意力机制的高分辨率抓取检测网络;

6、s3、使用训练集训练抓取检测网络,使用测试集验证训练完成的抓取检测网络;

7、s4、搭建机械臂抓取系统,包括深度相机、机械臂、末端执行器以及控制平台;

8、s5、通过深度相机对抓取场景中的物体进行采集,将采集的深度相机视角下的rgb图像输入训练好的抓取检测网络,抓取检测网络预测得到物体在深度相机中的位置和姿态信息;

9、s6、根据预测得到的物体位置和姿态信息以及搭建的机械臂抓取系统下的坐标转换关系,计算物体相对于及机械臂基座坐标系下的位姿;

10、s7、根据计算出的抓取位姿,控制机械臂抓取场景中的物体。

11、本专利技术与现有技术相比,具有如下优点和有益效果:

12、1、抓取检测是对位置敏感的任务,在使用现有的技术时,往往会出现同一个物体在画面的不同位置,抓取检测的结果抓取位置得不到统一,会导致同一物体在不同位置被抓取成功的概率不尽相同,可能会在某一些位置可以被成功抓取,当移动到其他位置时,出现不同的抓取预测位置,导致抓取失败,本专利技术提出的算法通过坐标注意力机制,融合了坐标信息,能够在一定程度上解决这个问题,减少位置信息给抓取检测带来的误差。

13、2、常用的lenet-5设计规则所设计的网络模型会采用先压缩后扩张的方式处理图像,会导致一部分的分辨率信息的丢失,本专利技术使用高分辨率网络模型,保持高分辨率的过程会在一定程度上保留更多信息,使抓取预测的结果更加精确。

本文档来自技高网...

【技术保护点】

1.一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,步骤S1具体为:

3.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,步骤S2中,抓取检测网络通过倒置残差网络和一个坐标注意力机制对特征图进行位置信息保留,再采用高分辨率网络对保留位置信息的特征图进一步进行特征提取,最终得到网络输出结果;

4.根据权利要求3所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,坐标注意力机制具体包括以下步骤:

5.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,高分辨率网络包括:

6.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,步骤S3中,训练抓取检测网络前,还包括对训练集进行处理,包括:

7.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,机械臂抓取系统中,深度相机视角固定保持垂直向下;机械臂通过基座固定;末端执行器采用二指抓手,安装在机械臂末端法兰上;控制平台具体为一台搭载Linux系统的计算机,控制平台连接深度相机和机械臂,获取深度相机拍摄图像以及对机械臂进行控制;

8.根据权利要求7所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,在输入的RGB三通道图像坐标系下,机械臂抓取系统对于物体的抓取表示为:

9.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,步骤S5中,物体在深度相机中的位置和姿态信息具体包括相机视角下的抓取位置、抓取旋转角度以及抓取宽度;

10.根据权利要求9所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,步骤S7具体为:

...

【技术特征摘要】

1.一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,步骤s1具体为:

3.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,步骤s2中,抓取检测网络通过倒置残差网络和一个坐标注意力机制对特征图进行位置信息保留,再采用高分辨率网络对保留位置信息的特征图进一步进行特征提取,最终得到网络输出结果;

4.根据权利要求3所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,坐标注意力机制具体包括以下步骤:

5.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,高分辨率网络包括:

6.根据权利要求1所述的一种基于坐标注意力高分辨率融合的机械臂抓取方法,其特征在于,步骤s3中,训练抓取检测网络前,还包括...

【专利技术属性】
技术研发人员:尹选春汤常兴
申请(专利权)人:华南农业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1