一种面向抓取任务的视觉关系理解方法及其系统技术方案

技术编号:44728221 阅读:20 留言:0更新日期:2025-03-21 17:53
本公开涉及一种面向抓取任务的视觉关系理解方法及其系统,包括:获取包含多个物体的场景图像;基于深度卷积网络对所述场景图像进行特征提取,得到场景图像的基础特征层;将基础特征层输入到目标检测网络中,获取每个物体的分类信息和位置信息;将分类信息和位置信息映射到基础特征层上,得到每个物体的感兴趣区域,通过关系过滤器剔除掉不相关的物体特征对,得到相关的物体特征对;将物体特征对输入到视觉关系检测网络中,得到关系矩阵;结合抓取任务和关系矩阵确定物体抓取顺序,根据物体抓取顺序对目标物体进行抓取。本公开方法通过理解复杂场景中多目标物体的视觉关系,获取合理的抓取顺序,保证机器人抓取作业过程中的安全性和可靠性。

【技术实现步骤摘要】

本公开涉及机器视觉应用,尤其涉及一种面向抓取任务的视觉关系理解方法及其系统


技术介绍

1、智能机器人以其高度自动化和强大的适应性,在工业制造、物流仓储以及家政服务等多个领域扮演着不可替代的角色,其中抓取功能是它们的基础能力之一。在机器人执行抓取任务之前,对场景的深入理解和环境的准确感知是至关重要的。传统的机器人抓取方法依赖于点云数据,通过整合多种传感器信息来实现目标物体的三维建模,并运用分析与优化技术来掌握目标物体与周围环境或物体之间的相互关系,从而为抓取动作提供依据。

2、然而,随着被抓取物体类型的日益多样化和生产环境的复杂化,抓取任务的难度也在不断增加。传统的三维重建方法不仅难度大,而且需要消耗大量的时间和计算资源,难以满足实时作业的需求。与此相比,基于深度学习的抓取方法能够仅通过rgb图像或深度图像信息,快速生成有效的抓取策略。但基于深度学习的抓取检测方法仍存在一些局限性,主要体现在以下两个方面:首先,大多数现有方法仅关注于抓取位置的识别,而忽视了对场景中物体语义信息的深入理解;其次,物体之间的抓取顺序对于任务的成功至关重要。在目标物体本文档来自技高网...

【技术保护点】

1.一种面向抓取任务的视觉关系理解方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,将基础特征层输入到目标检测网络中,获取每个物体的分类信息和位置信息,包括:

3.根据权利要求1所述的方法,其特征在于,将获取的分类信息和位置信息映射到基础特征层上,得到每个物体的感兴趣区域,包括:

4.根据权利要求1所述的方法,其特征在于,通过关系过滤器剔除掉不相关的物体特征对,得到相关的物体特征对,包括:

5.根据权利要求4所述的方法,其特征在于,将物体特征对输入到视觉关系检测网络中,得到关系矩阵,包括:>

6.根据权利...

【技术特征摘要】

1.一种面向抓取任务的视觉关系理解方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,将基础特征层输入到目标检测网络中,获取每个物体的分类信息和位置信息,包括:

3.根据权利要求1所述的方法,其特征在于,将获取的分类信息和位置信息映射到基础特征层上,得到每个物体的感兴趣区域,包括:

4.根据权利要求1所述的方法,其特征在于,通过关系过滤器剔除掉不相关的物体特征对,得到相关的物体特征对,包括:

5.根据权利要求4所述的方法,其特征在于,将物体特征对输入到视觉关系检测网络中,得到关系矩阵...

【专利技术属性】
技术研发人员:熊体凡魏棋斌谢远龙王书亭
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1