基于双投影特征融合类别级物体6D姿态估计方法及系统技术方案

本发明专利技术属于计算机视觉和深度学习技术领域，公开了一种基于双投影特征融合类别级物体6D姿态估计方法及系统，所述方法包括：S1、通过相机获得RGB图像和深度图像并处理得到物体的3D点云数据；S2、通过边缘检测算法，得到物体的边缘图像；S3、根据3D点云数据得到点云平面投影编码；S4、根据物体的3D点云数据和边缘图像，得到点云球面特征并生成编码；S5、将点云球面特征编码与点云平面投影编码融合得到物体的方位角和倾斜角；S6、根据方位角和倾斜角，得到旋转矩阵，并对点云球面特征进行特征转换，得到平面旋转矩阵；S7、得到物体的三维旋转矩阵。本发明专利技术能够在不依赖于特定物体模型的情况下，对多种类别的物体进行准确的6D姿态估计并提升精度。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和深度学习，尤其涉及一种基于双投影特征融合类别级物体6d姿态估计方法及系统。

技术介绍

1、类别级物体6d姿态估计在机器人抓取、场景理解或自动驾驶等应用场景有着至关重要的作用。传统的6d姿态估计方法通常依赖于特定物体的3d模型信息，通过特征匹配或几何投影方法实现物体在空间中的姿态恢复，随着深度学习技术的发展，基于深度特征的姿态估计方法逐渐被提出，类别级不在需要物体的cad模型，而是利用同种类物体的信息和模型对未见类别上的泛化进行未知物体模型的构建并估计其姿态，其应用范围更加广泛。精确的物体姿态信息不仅能够帮助系统理解场景的三维结构，还可以提高人机交互的智能化水平，进而提升系统的自动化能力，进而类别级物体6d姿态估计有着十分重要的应用价值。

2、当前深度学习方法虽然在数据充足的条件下表现较好，但在处理遮挡严重或物体类别多变的情况下仍存在精度和稳定性不足的问题。对于相对复杂的物体(例如相机)，只能获取其部分几何特征或图像特征，导致特征丢失难以获取全部信息。并且像相机这类物体，其类内差异比较大，可以利用的类内先验信息很少。综合本文档来自技高网...

【技术保护点】

1.一种基于双投影特征融合类别级物体6D姿态估计方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于双投影特征融合类别级物体6D姿态估计方法，其特征在于：所述步骤S3的具体步骤如下：

3.根据权利要求2所述的基于双投影特征融合类别级物体6D姿态估计方法，其特征在于：所述步骤S4的具体步骤如下：

4.根据权利要求3所述的基于双投影特征融合类别级物体6D姿态估计方法，其特征在于：所述步骤S6的具体步骤如下：

5.根据权利要求4所述的基于双投影特征融合类别级物体6D姿态估计方法，其特征在于：所述步骤S42中将点云球面特征X256×(H×...

【技术特征摘要】

1.一种基于双投影特征融合类别级物体6d姿态估计方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于双投影特征融合类别级物体6d姿态估计方法，其特征在于：所述步骤s3的具体步骤如下：

3.根据权利要求2所述的基于双投影特征融合类别级物体6d姿态估计方法，其特征在于：所述步骤s4的具体步骤如下：

4.根据权利要求3所述的基于双投影特征融合类别级物体6d姿态估计方法，其特征在于：所述步骤s6的具体步骤如下：

5.根据权利要求4所述的基于双投影特征融合类别级物体6d姿态估计方法，其特征在于：所述步骤s42中将点云球面特征x256×(h×w)通过多层感知机mlp转换为转换后的点云球面特征y1024×(h×w)的具体步骤如下：

6.根据权利要求4所述的基于双投影特征融合类别级物体6d姿态...

【专利技术属性】
技术研发人员：艾士伟，张强，孙雪莹，袁陈伟，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：