用于透明对称物体6D位姿估计的双流融合网络搭建方法技术

本发明专利技术公开了用于透明对称物体6D位姿估计的双流融合网络搭建方法，涉及计算机视觉技术领域。本发明专利技术包括步骤：S1：搭建一阶段网络，从RGB和深度图像中提取4重RGB特征和深度特征进行深度修复，利用修复过的特征作为二阶段网络的输入；S2：搭建二阶段网络，利用被修复过的深度信息生成XYZ‑Map并结合RGB图片分别提取特征。本发明专利技术改进传统注意力机制，限位交叉注意力能够更好地避免背景噪声，限制RGB特征与点云特征的注意力计算范围，避免无效区域的干扰，使用双流融合机制并行提取特征，避免模态间信息混淆；结合注意力，能够同时更好的融合两种模态以生成注意力权重，使用预训练的子网络对透明物体缺失的深度进行修复，为后续位姿估计提供可靠的深度信息。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，具体为用于透明对称物体6d位姿估计的双流融合网络搭建方法。

技术介绍

1、透明物体在生活中无处不在，当深度传感器处理透明物体或者带有镜面的物体时，通常都会产生噪声或者缺失深度，而深度信息对构建点云至关重要。

2、透明物体(如玻璃器皿、塑料瓶)及镜面物体(如金属表面)对深度传感器(如rgb-d相机)的深度测量造成严重干扰，导致深度图存在大面积噪声、缺失或错误。传统方法依赖完整深度数据，在此类场景下性能显著下降。许多研究直接从单目rgb图像中估计深度，但由于彩色图像的几何约束较少，无法恢复点云的精确几何结构。其他研究在给定rgb图像和lidar稀疏深度的情况下恢复密集的深度图，但由于稀疏输入的几何引导有限，估计的深度仍然质量较低。最近的研究集中在商业深度传感器上，试图从rgb和噪声密集的深度图像中完成和细化深度值。现有一种两阶段透明对象深度恢复方法，该方法首先从rgb图像中估计表面法线、遮挡边界和分割，然后通过全局优化计算精细深度。然而，优化是耗时的，并且严重依赖于之前的网络预测。

3、现有方法通常采用简单拼接本文档来自技高网...

【技术保护点】

1.用于透明对称物体6D位姿估计的双流融合网络搭建方法，其特征在于：至少包括以下步骤：

2.根据权利要求1所述的用于透明对称物体6D位姿估计的双流融合网络搭建方法，其特征在于：所述一阶段网络将RGB图像及其对齐的深度图像作为输入，并输出其精确深度其中H和W是输入图像大小；

3.根据权利要求1所述的用于透明对称物体6D位姿估计的双流融合网络搭建方法，其特征在于：所述二阶段网络在得到被一阶段网络修复的深度信息后，首先将深度信息转为XYZ-map，并对其进行2D卷积，这一过程首先将遮挡深度像素转换为点云

4.根据权利要求1所述的用于透明对称物体6D位姿估计的...

【技术特征摘要】

1.用于透明对称物体6d位姿估计的双流融合网络搭建方法，其特征在于：至少包括以下步骤：

2.根据权利要求1所述的用于透明对称物体6d位姿估计的双流融合网络搭建方法，其特征在于：所述一阶段网络将rgb图像及其对齐的深度图像作为输入，并输出其精确深度其中h和w是输入图像大小；

3.根据权利要求1所述的用于透明对称物体6d位姿估计的双流融合网络搭建方法，其特征在于：所述二阶段网络在得到被一阶段网络修复的深度信息后，首...

【专利技术属性】
技术研发人员：张光建，蒋泽瑞，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：