基于稀疏点云的单目感知修正方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于稀疏点云的单目感知修正方法、装置及存储介质，该方法包括：采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；对原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，三维检测结果包括目标深度值和二维边界框；获取转换矩阵；基于转换矩阵，将原始稀疏点云数据映射到图像平面的对应位置，得到点云投影深度图，为点云投影深度图中的每个二维边界框设置一个点云框，该点云投影深度图中包括原始稀疏点云数据对应的多个投影点，每个投影点包括点云深度值；基于所有点云框中所包含的投影点的点云深度值，对多个目标的目标深度值进行修正。本发明专利技术通过设计点云框特性，提高对目标深度值修正的准确性。

【技术实现步骤摘要】
基于稀疏点云的单目感知修正方法、装置及存储介质
本专利技术涉及自动驾驶领域，尤其涉及一种基于稀疏点云的单目感知修正方法、装置及存储介质。
技术介绍
智能感知是自动驾驶的重要环节，是车辆和环境之间交互的纽带。目前主流的感知传感器包括相机、毫米波雷达以及激光雷达等，但是多线束激光雷达非常昂贵不适合量产，而低线束激光雷达和毫米波雷达获得的点云又非常稀疏，不适合直接用来做三维障碍物感知。与双目相机相比，单目相机相对来说是一种廉价的传感器，在障碍物检测和跟踪方面有着得天独厚的优势，然而单目相机在深度信息感知方面存在局限。现有技术中，常采取单目相机数据与稀疏点云数据融合的方案，但现有数据融合方案中，需要对稀疏点云数据执行目标检测算法，造成算法复杂度增加的情况下，目标深度估计偏差较大，检测效果提升有限。
技术实现思路
本专利技术的目的在于提供一种基于稀疏点云的单目感知方法，用于解决现有技术中在对单目相机的深度信息进行修正时，算法复杂度高及目标深度估计偏差较大的问题。为了达到所述目的，本专利技术采用的技术方案是：第一方面，本专利技术实施例提供一种基于稀疏点云的单目感知方法，包括：采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。第二方面，本专利技术实施例还提供了一种基于稀疏点云的单目感知修正装置，包括：数据采集模块，用于采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；第一处理模块，用于对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；参数获取模块，用于获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；第二处理模块，用于基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；深度修正模块，用于基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。第三方面，本专利技术实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现第一方面所述的单目感知方法。本专利技术的技术方案带来的有益效果是：本专利技术通过转换矩阵对原始稀疏点云数据做空间变换及投影，将原始稀疏点云数据映射到相机图像平面，通过利用同一平面中点云的深度信息去修正单目相机的深度信息，数据融合简单，算法复杂度低；通过设计点云框的特性，去筛选出能表示目标的点云深度值的方法，提高对目标深度值修正的准确性，降低目标深度估计偏差，提高了目标检测效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例提供的基于稀疏点云的单目感知修正方法的流程图。图2是本专利技术一个实施例提供的点云投影深度图的一个示例图。图3是本专利技术一个实施例提供的对目标深度值进行修正的流程图。图4是本专利技术一个实施例提供的点云投影深度图的另一个示例图。图5至图8是本专利技术一个实施例提供的有效框选取的示例图。图9是本专利技术一个实施例提供的对目标深度值进行修正的流程图。图10是本专利技术一个实施例提供的关系方程的曲线的示例图。图11是本专利技术一个实施例提供的基于稀疏点云的单目感知修正装置的结构框图。具体实施方式为了使本
的人员更好的理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分的实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。智能感知是自动驾驶的重要环节，而障碍物距离的测量是三维感知的基本任务之一，基于稀疏点云的三维目标检测方法由于点云的稀疏性，会丢失很多轮廓或细节信息，检测效果较差，漏检也相对严重；而基于单目相机的三维目标检测，受限于深度估计的误差直接影响着三维目标的位置预测。现有基于稀疏点云和单目相机的融合方案中，需要对稀疏点云数据执行目标检测算法，造成算法负责度增加的情况下，目标深度估计偏差较大，检测效果提升有限。参考说明书附图1，本专利技术一个实施例提供了一种基于稀疏点云的单目感知修正方法，该单目感知修正方法可以应用于本专利技术实施例提供的单目感知修正装置中，也可以应用于具有自动驾驶功能的车辆中。如图1所示，该单目感知修正方法可以包括以下步骤：步骤S101，采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据。其中，雷达传感器可以包括一些常见的雷达，例如各种线束的激光雷达、毫米波雷达等，也可以包括一些测距设备，这些测距设备可以产生有空间位置的点云数据且能与单目相机进行标定。在采集到原始相机数据和雷达传感器数据之后，还需要进行延时同步处理。通过对原始相机数据和雷达传感器数据进行时间同步，可以使原始相机数据和原始稀疏点云数据相关联。对原始相机数据和雷达传感器数据进行同步，可以采用硬件或软件触发的方式，以触发相机传感器和雷达传感器的采集，在采集完数据后增加数据延迟，达到数据同步的目的。步骤S102，对原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的三维检测结果包括目标深度值和二维边界框。本专利技术实施例中，可以利用常见单目相机的感知算法，将常见的目标检测框架与单目相机的几何约束关系相结合，获取图像平面中多个目标的三维检测结果，例如RCNN(RegionwithCNNfeatures)系列、YOLO(YouOnlyLiveOnce)系列以及SSD(SingleShotMultiBoxDetector)系列等。在一个可能的实施例中，为了直接回归目标的尺寸、方向以本文档来自技高网...

【技术保护点】
1.一种基于稀疏点云的单目感知修正方法，其特征在于，包括：/n采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；/n对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；/n获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；/n基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；/n基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。/n

【技术特征摘要】
1.一种基于稀疏点云的单目感知修正方法，其特征在于，包括：
采集单目相机的原始相机数据和雷达传感器的原始稀疏点云数据；
对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果，其中，每个目标的所述三维检测结果包括目标深度值和二维边界框；
获取转换矩阵，所述转换矩阵是预先在对所述单目相机和所述雷达传感器进行联合标定时得到的；
基于所述转换矩阵，将所述原始稀疏点云数据映射到所述图像平面的对应位置，得到点云投影深度图，并为所述点云投影深度图中的每个所述二维边界框设置一个点云框，其中，所述点云投影深度图中包括所述原始稀疏点云数据对应的多个投影点，每个所述投影点包括点云深度值；
基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正。


2.根据权利要求1所述的单目感知修正方法，其特征在于，所述对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果包括：
在深度学习网络中增加尺寸估计、方向估计和深度估计的分支，得到目标检测网络；
基于所述目标检测网络，对所述原始相机数据进行处理，得到在图像平面中多个目标的三维检测结果。


3.根据权利要求1或2所述的单目感知修正方法，其特征在于，所述基于所有所述点云框中所包含的所述投影点的所述点云深度值，对所述多个目标的所述目标深度值进行修正包括：
将所有所述二维边界框划分为重叠集和非重叠集，其中，所述重叠集中存储有零个或多个二维边界框组，每个所述二维边界框组中存储有至少两个所述二维边界框，所述二维边界框组中每个所述二维边界框与至少一个其余所述二维边界框重叠，所述非重叠集中所有的所述二维边界框两两不相互重叠；
从所述重叠集中筛选出有效二维边界框集；
对所述有效二维边界框集和所述非重叠集中每个所述二维边界框，根据所述二维边界框中所述点云框所包含的所述投影点的个数，确定所述二维边界框是否为目标框，若所述二维边界框是所述目标框，则将所述二维边界框存入目标集中；
基于所述目标集对每个目标的所述目标深度值进行修正。


4.根据权利要求3所述的单目感知修正方法，其特征在于，所述从所述重叠集中筛选出有效二维边界框集包括：
判断所述重叠集中所述二维边界框组的个数是否为零；
若所述二维边界框组的个数不为零，则对所述重叠集中的每个所述二维边界框组，计算所述二维边界框组中每两个所述二维边界框的面积交并比；
若所述面积交并比大于或等于预设交并比阈值，则从所述二维边界框组中选取一个所述二维边界框作为有效框；
将所述有效框保存到所述有效二维边界框集中。


5.根据权利要求4所述的单目感知修正方法，其特征在于，所述从所述二维边界框组中选取一个所述二维边界框作为有效框包括：
对于所述二维边界...

【专利技术属性】
技术研发人员：严鑫，
申请(专利权)人：宁波吉利汽车研究开发有限公司，浙江吉利控股集团有限公司，
类型：发明
国别省市：浙江;33