System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及bev感知,特别是涉及一种车辆深度信息的估算方法、装置、计算机设备和存储介质。
技术介绍
1、随着自动驾驶技术的发展,基于多摄像头获取车辆周视图像转换到鸟瞰图(bev,bird’s eye view)能够准确全面地了解车辆周围的环境,对自动驾驶汽车做出安全有效的驾驶决策至关重要。而从车辆周视图像转换到鸟瞰图的过程,对车辆周视图像进行深度信息获取是必不可少的。
2、目前,获取深度信息的方式是直接通过车辆周视图像进行预测得到的,会导致深度信息预测不准确的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高预测准确性的车辆深度信息的估算方法、装置、计算机设备和存储介质。
2、第一方面,本申请提供了一种车辆深度信息的估算方法,包括:
3、获取相邻两帧图像组,所述图像组是通过安装在运动车辆上的周视相机拍摄得到的;
4、通过多帧周视姿态估计网络,基于所述相邻两帧图像组进行相机姿态估算,获得相机姿态估算结果;
5、对相邻两帧图像组中的前一帧图像组依次进行图像特征提取和上下文特征提取,获得中间编码特征;
6、根据所述相机姿态估算结果和所述中间编码特征,获取车辆周视目标的检测结果。
7、在其中一个实施例中,所述根据所述相机姿态估算结果和所述中间编码特征,获取车辆周视目标的检测结果,包括:
8、通过图像深度估算网络,计算所述前一帧图像组中每一像素的深度值;
9、根
10、根据所述中间编码特征和所述深度估计分布结果,获取车辆周视目标的检测结果。
11、在其中一个实施例中,所述根据所述中间编码特征和所述深度估计分布结果,获取车辆周视目标的检测结果,包括:
12、将所述中间编码特征与所述深度估计分布结果作外积,获得带有深度信息的图像特征;
13、将带有深度信息的图像特征转换至鸟瞰视图bev空间,获得bev特征;
14、通过检测头模块对所述bev特征进行处理,获得车辆周视目标的检测结果。
15、在其中一个实施例中,所述图像深度估算网络和所述多帧周视姿态估计网络的训练过程,包括:
16、获取激光雷达所采集的点云信息;
17、基于所述点云信息,构建所述图像深度估算网络和所述多帧周视姿态估计网络相应的损失函数,通过所述损失函数对所述图像深度估算网络和所述多帧周视姿态估计网络进行训练。
18、在其中一个实施例中,所述基于所述点云信息,构建所述图像深度估算网络和所述多帧周视姿态估计网络相应的损失函数,包括:
19、对相邻两帧样本图像组进行像素速度预测,获得像素速度预测结果;
20、根据所述点云信息,获取像素速度标签,根据所述像素速度预测结果和所述像素速度标签,构建速度监控损失函数;
21、根据所述速度监控损失函数,确定所述图像深度估算网络和所述多帧周视姿态估计网络相应的损失函数。
22、在其中一个实施例中,所述根据所述速度监控损失函数,确定所述图像深度估算网络和所述多帧周视姿态估计网络相应的损失函数,包括:
23、基于相邻两帧样本图像组,构建光度损失函数;
24、对所述光度损失函数和所述速度监控损失函数进行整合,构建所述图像深度估算网络和所述多帧周视姿态估计网络相应的损失函数。
25、第二方面,本申请还提供了一种车辆深度信息的估算装置,包括:
26、图像组获取模块,用于获取相邻两帧图像组,所述图像组是通过安装在运动车辆上的周视相机拍摄得到的;
27、相机姿态估算模块,用于通过多帧周视姿态估计网络,基于所述相邻两帧图像组进行相机姿态估算,获得相机姿态估算结果;
28、特征提取模块,用于对相邻两帧图像组中的前一帧图像组依次进行图像特征提取和上下文特征提取,获得中间编码特征;
29、检测模块,用于根据所述相机姿态估算结果和所述中间编码特征,获取车辆周视目标的检测结果。
30、第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一方法的步骤。
31、第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法的步骤。
32、第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任一方法的步骤。
33、上述车辆深度信息的估算方法、装置、计算机设备和存储介质,获取相邻两帧通过安装在运动车辆上的周视相机拍摄得到的图像组,通过多帧周视姿态估计网络,基于相邻两帧图像组进行相机姿态估算,获得相机姿态估算结果,对相邻两帧图像组中的前一帧图像组依次进行图像特征提取和上下文特征提取,获得中间编码特征,根据相机姿态估算结果和中间编码特征,获取车辆周视目标的检测结果。相比于传统技术中直接通过车辆周视图像进行深度信息预测导致的预测不准确的问题而言,本申请考虑到相机姿态的变化会影响深度信息预测的准确性,基于相邻两帧图像组和多帧周视姿态估计网络获得相机姿态估算结果,并基于相机姿态估算结果和获取到的中间编码特征,获取车辆周视目标的检测结果,提高了深度信息预测的准确性,提高了车辆周视目标检测结果的准确性。
本文档来自技高网...【技术保护点】
1.一种车辆深度信息的估算方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述相机姿态估算结果和所述中间编码特征,获取车辆周视目标的检测结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述中间编码特征和所述深度估计分布结果,获取车辆周视目标的检测结果,包括:
4.根据权利要求2所述的方法,其特征在于,所述图像深度估算网络和所述多帧周视姿态估计网络的训练过程,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述点云信息,构建所述图像深度估算网络和所述多帧周视姿态估计网络相应的损失函数,包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述速度监控损失函数,确定所述图像深度估算网络和所述多帧周视姿态估计网络相应的损失函数,包括:
7.一种车辆深度信息的估算装置,其特征在于,所述装置包括:
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种车辆深度信息的估算方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述相机姿态估算结果和所述中间编码特征,获取车辆周视目标的检测结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述中间编码特征和所述深度估计分布结果,获取车辆周视目标的检测结果,包括:
4.根据权利要求2所述的方法,其特征在于,所述图像深度估算网络和所述多帧周视姿态估计网络的训练过程,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述点云信息,构建所述图像深度估算网络和所述多帧周视姿态估计网络相应的损失函数,包括:
6.根据权利要求5所述的方...
【专利技术属性】
技术研发人员:吕颖,董小瑜,曹蕴涛,安孝文,
申请(专利权)人:中国第一汽车股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。