环视深度估计模型训练方法、估计方法、装置及设备制造方法及图纸

技术编号:43667359 阅读:19 留言:0更新日期:2024-12-18 20:54
本申请涉及计算机视觉技术领域,提供一种环视深度估计模型训练方法、装置、设备及存储介质,本申请训练得到的环视深度估计模型适配于鱼眼相机,能够从鱼眼相机拍摄得到的图像中估计深度信息。本申请通过利用稀疏点云和图像生成高精度的稠密深度图,得益于稀疏点云高精度且跨场景稳定的特性,使得模型在跨场景使用时,具有极高的鲁棒性。本申请通过直接对点云进行监督训练的方式获得深度图,而不是与现有技术一样对深度信息进行监督训练以获得深度图,提供了一种新的技术思路。本申请模型不仅预测多视角深度图,同时直接预测环视点云,使得点云的精度大大提高。

【技术实现步骤摘要】

本申请涉及计算机视觉,尤其涉及一种环视深度估计模型训练方法、估计方法、装置及设备


技术介绍

1、环视深度估计是通过采集环形相机的图像,利用深度学习模型来估计物体与相机之间的距离。相较于传统的单目深度估计方法,环视深度估计可以通过收集环形相机多个方向的信息来提高深度估计的精度和鲁棒性,可以广泛应用于自动驾驶、三维建模、增强现实、虚拟现实等领域。基于深度学习技术的环视深度估计模型的实现,通常采用卷积神经网络(cnn)来提取图像特征,使用回归模型将图像特征转化为深度估计结果。其中,cnn网络的设计和训练过程决定了这种深度估计的精确性和速度。在cnn网络的设计中,可以采用不同的卷积层数量和结构,如引入残差连接、批量归一化等技术来提高网络效果。在训练阶段,需要选择合适的数据集进行训练和验证,对不同的网络结构和超参数进行对比评估,以获得更好的模型性能。总的来说,环视深度估计模型技术是一种高精度、高效的视觉深度估计方法,具有广泛的应用前景。

2、目前现有技术存在如下问题,第一、目前技术主要针对针孔相机采集的图像作为数据源进行研究,但一般针孔相机视场角普遍偏本文档来自技高网...

【技术保护点】

1.一种环视深度估计模型训练方法,其特征在于,包括:

2.根据权利要求1所述的环视深度估计模型训练方法,其特征在于,所述将所述深度图变换为稠密点云的步骤之后,还包括:

3.根据权利要求1或2所述的环视深度估计模型训练方法,其特征在于,所述环形相机包括若干个相机,每个相机拍摄不同的方向,相邻相机拍摄范围存在交叠区域,所述将所述深度图变换为稠密点云的步骤之后,还包括:

4.根据权利要求1所述的环视深度估计模型训练方法,其特征在于,所述图像特征提取网络包括可变形卷积神经网络以及解码器,所述可变形卷积神经网络用于根据输入到所述可变形卷积神经网络的图像生成多尺度...

【技术特征摘要】

1.一种环视深度估计模型训练方法,其特征在于,包括:

2.根据权利要求1所述的环视深度估计模型训练方法,其特征在于,所述将所述深度图变换为稠密点云的步骤之后,还包括:

3.根据权利要求1或2所述的环视深度估计模型训练方法,其特征在于,所述环形相机包括若干个相机,每个相机拍摄不同的方向,相邻相机拍摄范围存在交叠区域,所述将所述深度图变换为稠密点云的步骤之后,还包括:

4.根据权利要求1所述的环视深度估计模型训练方法,其特征在于,所述图像特征提取网络包括可变形卷积神经网络以及解码器,所述可变形卷积神经网络用于根据输入到所述可变形卷积神经网络的图像生成多尺度特征图,

5.根据权利要求1所述的环视深度估计模型训练方法,其特征在于,所述特征融合模块为多尺度多相机交叉注意力模块,所述多尺度多相机交叉注意力模块包括n个多模态注意力模块和2(n-1)个特征上采样模块,n为特征尺度数目,所述将所述不同尺度的图像特征和所述不同尺度的点云特征输入所述特征融合模块进行特征融合,得到融合后的图像特征和融合后的点云特征的步骤包括:

6.根据权利要求5所述的环视深度估计模型训练方法,其特征...

【专利技术属性】
技术研发人员:李玉鹏任亮亮吴胜凯周文波伍俊龙刘宏波王红梅
申请(专利权)人:广州视源电子科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1