基于机器视觉的抓取装置控制方法、抓取装置及存储介质制造方法及图纸

技术编号:40098301 阅读:24 留言:0更新日期:2024-01-23 17:17
本发明专利技术公开了基于机器视觉的抓取装置控制方法、抓取装置及存储介质,所述方法包括:获取机械爪的摄像头数据,根据机械爪的摄像头数据确定被抓取物体的位置和类别;控制机械爪抓取所述被抓取物体,抓取期间,根据机械爪的摄像头数据获取机械爪的柔性网状指尖的实时编码,根据所述机械爪的柔性网状指尖的实时编码实时获取机械爪所受的力和力矩,并根据所述机械爪所受的力和力矩实时调整机械爪的抓取动作。本发明专利技术通过摄像头实时追踪自适应网状结构与物品接触时的形变,输入给经过训练的神经网络模型,预测出手指所施加的六维力和力矩,无需额外设置单独的触觉传感器以及融合算法的视触融合方法,能够以较低的成本实现高效率的抓取动作。

【技术实现步骤摘要】

本专利技术涉及机器人,尤其涉及的是基于机器视觉的抓取装置控制方法、抓取装置及存储介质


技术介绍

1、机器人的灵巧抓取与操作依赖于机器人对环境和物品的感知,而机器人对环境和物品的感知一直是机器人领域的难点,随着人工智能技术的发展,尤其是机器视觉、触觉传感器以及深度学习算力的大力发展,利用多模态感知进行抓取规划是当前机器人抓取的前沿热点方向。

2、视觉信息能够在抓取动作前较好地估计物体的姿态、形状等信息,具有成本低、应用广泛的优点,但是视觉传感器无法获得物体的质量、表面摩擦系数等影响抓取稳定性的关键因素,与视觉传感器不同,力触觉传感器通过与环境和物品的交互,可以获得物品的质量、表面摩擦系数等物理属性,同时可以在抓取过程中实时反馈抓取的力度。视觉信息和触觉信息具有较好的互补性,同时利用两种及以上模态的传感信息可以有效提高机器人灵巧手抓取的效率。

3、但是现有技术,这种需要分别采用一套视觉传感器、一套触觉传感器以及融合算法的视触融合方法,其具有成本高昂、部署难度大等缺点。


技术实现思路>

1、本文档来自技高网...

【技术保护点】

1.基于机器视觉的抓取装置控制方法,其特征在于,所述基于机器视觉的抓取装置控制方法包括:

2.根据权利要求1所述的基于机器视觉的抓取装置控制方法,其特征在于,所述获取机械爪的摄像头数据,根据机械爪的摄像头数据确定被抓取物体的位置和类别,具体包括:

3.根据权利要求2所述的基于机器视觉的抓取装置控制方法,其特征在于,所述根据所述视频数据的前后帧恢复遮挡区域的视野,具体包括:

4.根据权利要求1所述的基于机器视觉的抓取装置控制方法,其特征在于,所述根据机械爪的摄像头数据获取机械爪的柔性网状指尖的实时掩码,具体包括:

5.根据权利要求4所述的基于...

【技术特征摘要】

1.基于机器视觉的抓取装置控制方法,其特征在于,所述基于机器视觉的抓取装置控制方法包括:

2.根据权利要求1所述的基于机器视觉的抓取装置控制方法,其特征在于,所述获取机械爪的摄像头数据,根据机械爪的摄像头数据确定被抓取物体的位置和类别,具体包括:

3.根据权利要求2所述的基于机器视觉的抓取装置控制方法,其特征在于,所述根据所述视频数据的前后帧恢复遮挡区域的视野,具体包括:

4.根据权利要求1所述的基于机器视觉的抓取装置控制方法,其特征在于,所述根据机械爪的摄像头数据获取机械爪的柔性网状指尖的实时掩码,具体包括:

5.根据权利要求4所述的基于机器视觉的抓取装置控制方法,其特征在于,所述分割神经网络模型包括xmem架构的神经网络。

6.根据权利要求1所述的基于机器视觉的抓取装置控制方法,其特征在于,所述根...

【专利技术属性】
技术研发人员:万芳宋超阳
申请(专利权)人:南方科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1