一种基于全流双向融合网络的6D位姿估计方法技术

技术编号:43898127 阅读:12 留言:0更新日期:2025-01-03 13:10
本申请涉及人工智能技术领域,公开了一种基于全流双向融合网络的6D位姿估计方法,包括:步骤S1:采集估计对象的RGB‑D图像,并根据相机内参将其转化为点云数据;步骤S2:提取所述点云数据对应的RGB纹理特征,对点云数据进行处理得到拼接的局部‑全局特征;步骤S3:进行特征双向融合,所述特征双向融合包括像素到点和点到像素的双向融合过程;步骤S4:进行像素密集融合,将融合结果结合密集融合的全局特征,得到逐像素点的预测位姿;步骤S5:将所有像素点的预测位姿输入最终的多层感知机,并通过训练学习,不断降低估计对象整体损失函数的值,最终选择整体损失函数值最小的输出作为估计对象的整体估计位姿。本申请能显著提升位姿估计的准确性和鲁棒性。

【技术实现步骤摘要】

本申请涉及人工智能,具体是一种基于全流双向融合网络的6d位姿估计方法。


技术介绍

1、6d位姿估计是得到从目标对象坐标系到相机坐标系的刚性转换,包括3d旋转矩阵r和3d平移矩阵t。6d姿态估计是许多现实应用中的重要组成部分,例如在工业机器人领域,准确地识别待抓取物体的6d位姿可以提高抓取或装配的准确性;在增强现实领域,准确的6d位姿估计可以将虚拟对象准确地放置在现实世界中,增强沉浸式体验。在自动驾驶领域,准确的6d位姿估计可以准确的识别周围环境中其他车辆、行人和障碍物的位置和方向,帮助自动驾驶汽车做出安全决策。

2、从实际应用来看,目前6d位姿估计方法可分为三种。第一类是利用rgb图像,rgb图像提供了丰富的颜色信息,有利于特征提取和物体识别。但是由于缺乏深度信息,对光照变化和遮挡敏感,可能会导致在纹理缺乏或重复纹理的情况下表现不佳。第二类是仅利用深度图像或点云,可以提供精确的三维空间信息,但对于点云数据本身的一些噪声敏感,在点云稀疏或遮挡情况下难以处理。第三类是利用rgb-d图,结合了rgb图像的颜色信息和深度传感器的精确距离测量。he y(本文档来自技高网...

【技术保护点】

1.一种基于全流双向融合网络的6D位姿估计方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于全流双向融合网络的6D位姿估计方法,其特征在于,在所述步骤S3中,所述的使用最大池化和多层感知机整合压缩外观特征Fri,得到集成的外观特征Fr2p,具体通过以下公式计算得到:

3.根据权利要求2所述的基于全流双向融合网络的6D位姿估计方法,其特征在于,在所述步骤S3中,所述的将点云特征Fpoint和集成的外观特征Fr2p连接,通过MLPS获取融合的点特征具体通过以下公式计算得到:

4.根据权利要求1所述的基于全流双向融合网络的6D位姿估计方法,...

【技术特征摘要】

1.一种基于全流双向融合网络的6d位姿估计方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于全流双向融合网络的6d位姿估计方法,其特征在于,在所述步骤s3中,所述的使用最大池化和多层感知机整合压缩外观特征fri,得到集成的外观特征fr2p,具体通过以下公式计算得到:

3.根据权利要求2所述的基于全流双向融合网络的6d位姿估计方法,其特征在于,在所述步骤s3中,所述的将点云特征fpoint和集成的外观特征fr2p连接,通过mlps获取融合的点特征具体通过以下公式计算得到:

4.根据权利要求1所述的基于全流双向融合网络的6d位姿估计方法,其特征在于,在所述步骤s3中,使用最大池化和多层感知机整合压缩几何特征fpj,得到集成的点特征fp2r,具体通过以下公式计算得到:

5.根据权利要求2所述的基于全流双向融合网络的6d位姿估计方法,其特征在于,在所述步骤s3中,所述的将图像特征frgb和集成的点特征fp2r连接,得到融合的图像特征具体通过以下公式计算得到:

6.根据权利要求3或5所述的基于全流双向融合网络的6d位姿估计方法,其特征在于,在所述...

【专利技术属性】
技术研发人员:孟凡武吴迪龚涛向相屹
申请(专利权)人:北京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1