一种基于多视图融合的机械臂抓取方法、系统及机械臂技术方案

技术编号:39950007 阅读:24 留言:0更新日期:2024-01-08 23:13
本发明专利技术提供了一种基于多视图融合的机械臂抓取方法、系统及机械臂,包括根据点云得到体素视图特征,进一步得到点视图下的体素视图特征;根据点云得到高维空间下的数据特征,将点云拼接在其后再输出点视图特征;对点云投影得到投影视图,进一步得到点视图下的投影视图特征;结合点视图下的体素视图特征,将点视图特征和点视图下的投影视图特征的特征通道数转换为1维,复制得到点视图特征和点视图下的投影视图特征的扩展权重,将点视图特征的扩展权重与点视图特征相乘,点视图下的投影视图特征的扩展权重与点视图下的投影视图特征相乘,对应元素相加得到多视图融合特征;机械臂可据此预测抓取几何区域、接近方向和姿态,对目标物品进行抓取。

【技术实现步骤摘要】

本专利技术属于人工智能与机器人领域,具体涉及一种基于多视图融合的机械臂抓取方法、系统及机械臂


技术介绍

1、随着人口红利的逐渐消失和对高效制造、服务等业务的期望,人们对自动化和智能化的需求日益提高,在工业自动化或者服务机器人中准确抓取无模型且未知复杂环境中的杂乱摆放物体是一个基本挑战,这关系到机器人能否学会通用的物体操作方法。具体来说,估计抓取姿态涉及确定抓取物体所需的夹具的位置和方向,这对于无碰撞和高效的操作至关重要。然而,由于视觉传感精度的限制、点云的缺陷以及杂乱场景中的物体遮挡,使得这种条件下机器人抓取任务具有挑战性。

2、传统的抓取方法使用模板匹配来估计目标物体的6-dof(6d姿态追踪)位姿,例如ppf算法,icp算法等,然后使用预先计算的抓取位姿来确定最终的抓取位姿。然而,由于每个物体的抓取姿态都需要手动设计,这些方法很难推广到新的物体。为了解决这个问题,一些人采用基于2d检测的方法来定位物体并估计夹具姿态,例如加州大学伯克利分校的研究人员开发的一款新型机器人dex-net 2.0。然而,这些方法的抓取姿态也仅限于俯视图,并且难以本文档来自技高网...

【技术保护点】

1.一种基于多视图融合的机械臂抓取方法,其特征在于,包括:

2.根据权利要求1所述的基于多视图融合的机械臂抓取方法,其特征在于,S1所述的体素视图特征、点视图特征和投影视图特征具有相同的特征通道数。

3.根据权利要求1所述的基于多视图融合的机械臂抓取方法,其特征在于,S1中,按如下过程,使用高频函数将所述点云投影到高维空间:

4.根据权利要求1所述的基于多视图融合的机械臂抓取方法,其特征在于,S1中,通过深度相机采集待抓取场景的点云,点云在z轴方向与投影视图的距离zi对应投影视图中的坐标(ui,vi),ui和vi通过下式得到:>

5.根据权利...

【技术特征摘要】

1.一种基于多视图融合的机械臂抓取方法,其特征在于,包括:

2.根据权利要求1所述的基于多视图融合的机械臂抓取方法,其特征在于,s1所述的体素视图特征、点视图特征和投影视图特征具有相同的特征通道数。

3.根据权利要求1所述的基于多视图融合的机械臂抓取方法,其特征在于,s1中,按如下过程,使用高频函数将所述点云投影到高维空间:

4.根据权利要求1所述的基于多视图融合的机械臂抓取方法,其特征在于,s1中,通过深度相机采集待抓取场景的点云,点云在z轴方向与投影视图的距离zi对应投影视图中的坐标(ui,vi),ui和vi通过下式得到:

5.根据权利要求1所述的基于多视图融合的机械臂抓取方法,其特征在于,s2中,将点视图特征和点视图下的投影视图特征...

【专利技术属性】
技术研发人员:王飞邱钧宁党政
申请(专利权)人:西安交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1