一种基于稀疏深度的高精度三维重建方法技术

本发明专利技术公开了一种基于稀疏深度的高精度三维重建方法，输入稀疏深度的RGB‑D图像序列，通过在公开数据集上训练的深度补全网络有效填补每一帧稀疏深度图中的缺失深度信息，并利用预训练的视觉大模型Dinov2推理每帧的语义信息；对于每一帧RGB图像，采用基于特征点采样与均匀采样的联合采样方法提取光线的采样点，并通过重要性采样和随机采样策略生成空间三维点；对三维空间采样点进行位置编码以编码低频特征，同时使用哈希编码处理高频特征，并将两者融合后输入神经网络，预测颜色值、SDF值和语义值；根据当前的场景表征信息渲染优化当前帧的位姿，通过全局关键帧作为滑动窗口，将预测值与当前帧的真实颜色、深度和语义信息进行对比，优化隐式场景表征，实现从稀疏深度RGB‑D图像序列中重建高保真的三维模型。本发明专利技术有效解决了传统三维重建技术在稀疏深度数据条件下重建精度不足的问题，并具有广泛的应用前景，特别适用于基于RGB‑D数据的三维重建相关领域。

【技术实现步骤摘要】

本专利技术涉及计算机视觉三维重建领域，尤其涉及一种基于稀疏深度的高精度三维重建方法。

技术介绍

1、slam(simultaneous localization and mapping)技术在自动化和机器人领域至关重要，支持机器在未知环境中进行导航和地图构建。然而，传统的slam方法在捕捉物体轮廓和纹理方面存在局限，通常依赖低层次的视觉特征来估计几何结构。稠密视觉三维场景重建技术则通过高保真的三维重建和实时位姿跟踪，广泛应用于自主导航、环境感知和增强现实等领域，提升了机器人和虚拟现实系统的性能和感知能力。

2、传统的稠密视觉三维场景重建方法通常通过点云、网格或体素格来表示场景，通常使用运动恢复结构(sfm)估计影像的位姿，并通过多视图立体匹配(mvs)方法构建稠密场景。然而，这一过程存在跟踪精度低、重建质量差以及无法实现端到端场景重建等问题。近年来的神经辐射场(nerf)重建方法的提出，展示重建高保真场景的潜力，由于其需要图像的曝光必须保持一致，且图像无噪声、无缺失、不模糊，并需要准确的相机标定数据的图像作为输入，限制了其在真实场景重建应用中的本文档来自技高网...

【技术保护点】

1.一种基于稀疏深度的高精度三维重建方法，其特征在于，包括以下步骤：

2.如权利要求1所述的深度补全网络，其特征在于，通过使用公开数据集SyntheticRGB-D训练深度补全网络获得预训练模型，利用预训练模型补全当前图像的深度缺失区域。

3.如权利要求1所述的语义分割，其特征在于，通过使用预训练的视觉大模型Dinov2特征提取器和ADE20K线性多尺度分割头对RGB图像进行语义预测。

4.如权利要求1所述的联合采样，其特征在于，对输入的图像提取特征点，作为初步的采样子集，对于剩余的像素，通过在图像上构建均匀网格并执行均匀采样来补充，以确定固定数量光线...

【技术特征摘要】

1.一种基于稀疏深度的高精度三维重建方法，其特征在于，包括以下步骤：

2.如权利要求1所述的深度补全网络，其特征在于，通过使用公开数据集syntheticrgb-d训练深度补全网络获得预训练模型，利用预训练模型补全当前图像的深度缺失区域。

3.如权利要求1所述的语义分割，其特征在于，通过使用预训练的视觉大模型dinov2特征提取器和ade20k线性多尺度分割头对rgb图像进行语义预测。

4.如权利要求1所述的联合采样，其特征在于，对输入的图像提取特征点，作为初步的采样子集，对于剩余的像素，通过在图像上构建均匀网格并执行均匀采样来补充，以确定固定数量光线的选取。

5.如权利要求1所述的三维空间采样点，其特征在于，对选择的光线在空间上进行采样，以像素点深度为中心获取邻域范围内的11个采样点，同时沿着光线均匀采样32个采样点作为光线的三维空间采样点。

6.如权利要求1所述的编码，其特征在于，对三维空间...

【专利技术属性】
技术研发人员：彭智勇，许茂林，莫迪，蔡毅冲，杨广旭，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：