一种基于三维高斯和稀疏真值锚定的单目深度补全方法技术

技术编号:46616237 阅读:2 留言:0更新日期:2025-10-14 21:12
本发明专利技术涉及一种基于三维高斯和稀疏真值锚定的单目深度补全方法,其包括两个模块:三维高斯预测模块GSPM和深度尺度渲染模块DRM。GSPM将稀疏的深度锚点投影插值得到粗粒度深度图,作为每个像素点所对应的3D高斯核的初始位置,GSPM模块通过图像编码器网络提取出RGB图像的纹理特征和语义特征,并将粗粒度深度图特征与图像特征进行多层级联融合,并接入神经网络预测头,从而预测出每个高斯核修正后的高斯参数。DRM模块使用预测得到的3D高斯参数对深度进行渲染,得到像素空间的深度尺度残差预测图。结合粗粒度深度和深度尺度残差预测图进行细化得到预测的真实尺度稠密深度图,使用损失函数对GSPM网络进行有监督训练。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域,具体为计算机视觉深度估计补全领域,尤其是涉及一种基于三维高斯和稀疏真值锚定的单目深度补全方法


技术介绍

1、在智能驾驶系统中,对周边场景物体深度信息的精准感知是实现安全决策的核心技术基础。然而,通过激光雷达、rgb-d相机等深度传感器或slam重建获取的真实的深度信息往往较为稀疏。如何有效融合摄像头获取的二维图像信息与稀疏三维深度数据进而生成高精度、高密度的场景稠密深度图,已成为制约智能驾驶环境感知技术发展的瓶颈问题,因此高效可靠的深度补全技术研发在该领域尤为重要。

2、深度补全的任务目标通常是:给定一张rgb图像作为先验条件输入,再提供由三维传感器(如激光雷达,rgb-d相机)或slam重建得到的稀疏深度图与rgb图像相对应,通过设计全场景深度值预测的模型方法,从而逐像素地预测并输出全图绝对尺度下的深度值。

3、现有的国内外相关专利和公开论文方法包括自监督方案、有监督方案、相对深度恢复尺度方案等。其中自监督方法如“一种基于布尔蒙版约束的稀疏雷达深度补全方法”(cn119850433a)、“一种自定义本文档来自技高网...

【技术保护点】

1.一种基于三维高斯和稀疏真值锚定的单目深度补全方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于三维高斯和稀疏真值锚定的单目深度补全方法,其特征在于,所述的投影到像素空间的待补全的初始深度图的获取过程包括如下步骤:

3.根据权利要求2所述的一种基于三维高斯和稀疏真值锚定的单目深度补全方法,其特征在于,所述的深度锚点的来源为激光雷达、毫米波雷达、超声波雷达、RGB-D相机、SLAM重建、缺失部分的稠密深度图、真值采样的稀疏深度、仿真模拟的激光点云中的一种或多种。

4.根据权利要求2所述的一种基于三维高斯和稀疏真值锚定的单目深度补全方法,...

【技术特征摘要】

1.一种基于三维高斯和稀疏真值锚定的单目深度补全方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于三维高斯和稀疏真值锚定的单目深度补全方法,其特征在于,所述的投影到像素空间的待补全的初始深度图的获取过程包括如下步骤:

3.根据权利要求2所述的一种基于三维高斯和稀疏真值锚定的单目深度补全方法,其特征在于,所述的深度锚点的来源为激光雷达、毫米波雷达、超声波雷达、rgb-d相机、slam重建、缺失部分的稠密深度图、真值采样的稀疏深度、仿真模拟的激光点云中的一种或多种。

4.根据权利要求2所述的一种基于三维高斯和稀疏真值锚定的单目深度补全方法,其特征在于,所述的插值为,对于图像边界的像素点进行最近邻插值,对于图像中间的像素点进行线性插值。

5.根据权利要求1所述的一种基于三维高斯和稀疏真值锚定的单目深度补全方法,其特征在于,通过上采样模块使所述特征图的分辨率与所述rgb图像对齐,利用特征融合模块对上采样后的特征图、所述rgb图像和所述初始深度图进行特征融合,利用高斯核参数回归模块的对所述融合特征图进行参数回归,所述上采样模块、特征融合模块和高斯核参数回归模块基于尺度...

【专利技术属性】
技术研发人员:徐瑞凯张志伟马利庄
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1