一种基于相机的深度估计进行激光雷达点云过滤的方法技术

本发明专利技术实施例涉及一种基于相机的深度估计进行激光雷达点云过滤的方法，所述方法包括：获取第一点云数据集合；获取第一场景图像数据；使用深度估计模型，对第一场景图像数据进行深度图像转换生成对应的第一深度图像数据；对各个第二像素点数据的第二像素数据进行深度数据转换处理，生成对应的第一像素点深度数据；在第一点云数据集合中将与各个第二像素点匹配的第一点云数据标记为对应的第一匹配点云数据；对各个第二像素点数据对应的第一匹配点云数据进行有效点云数据标记处理；在第一点云数据集合中，将未被标记为有效点云数据的第一点云数据滤除。通过本发明专利技术方法，可以最大化去除点云集合中的无效信息，可以提高点云正确度、降低点云计算量。降低点云计算量。降低点云计算量。

【技术实现步骤摘要】
一种基于相机的深度估计进行激光雷达点云过滤的方法


[0001]本专利技术涉及数据处理
，特别涉及一种基于相机的深度估计进行激光雷达点云过滤的方法。

技术介绍

[0002]点云数据(point cloud data)是指以点形式记录扫描信息的数据，由激光雷达扫描得到的每个点云数据都包含一个体现点云深度的深度数据。激光雷达点云作为最主要的传感器数据，在自动驾驶系统中起到至关重要的作用。但激光雷达点云在一些场景下会出现虚假点，例如在雨雾天气，烟尘，汽车尾气等等场景。有些时候为了增加点云信息，我们会使用激光雷达双回波(dual return)的模式获取点云，即同一激光雷达射线最多会返回两个不同的回波，从而在同一个射出方向上得到两个不同的激光雷达点。这种情况下若存在大量虚假点，产生的影响又会翻倍。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种基于相机的深度估计进行激光雷达点云过滤的方法、电子设备及计算机可读存储介质，对相机拍摄的图像数据进行深度图像转换，再在点云集合中定位与深度图像像素点对应的匹配点云，再根据深度图像像素点及其匹配点云的深度差值来对匹配点云进行有效点云标记，最后通过将点云集合无效点云滤除的方式完成对整体点云集合的去虚假点操作。通过本专利技术方法，可以最大化去除点云集合中的无效信息，提高点云识别率、降低点云计算量。
[0004]为实现上述目的，本专利技术实施例第一方面提供了一种基于相机的深度估计进行激光雷达点云过滤的方法，所述方法包括：
[0005]获取在第一时刻T由激光雷达对第一指定环境扫描生成的第一点云数据集合；所述第一点云数据集合包括多个第一点云数据；所述第一点云数据包括第一点云深度数据；
[0006]获取在所述第一时刻T由相机对所述第一指定环境拍摄生成的第一场景图像数据；所述第一场景图像数据包括多个第一像素点数据；所述第一像素点数据包括第一像素数据；
[0007]使用训练成熟的基于光学图像的深度估计模型，对所述第一场景图像数据进行深度图像转换处理，生成对应的第一深度图像数据；所述第一深度图像数据包括多个第二像素点数据；所述第二像素点数据包括第二像素数据；所述第一深度图像数据的分辨率与所述第一场景图像数据的分辨率一致；所述第二像素点数据与所述第一像素点数据的图像坐标一一对应；
[0008]根据深度图像的像素数据与深度数据的对应关系，对各个所述第二像素点数据的所述第二像素数据进行深度数据转换处理，生成对应的第一像素点深度数据；
[0009]根据深度图像坐标系统与点云坐标系统的对应关系，在所述第一点云数据集合中，将与各个所述第二像素点匹配的所述第一点云数据，标记为对应的第一匹配点云数据；
若激光雷达预设的扫描模式为单回波模式则各个所述第二像素点数据对应的所述第一匹配点云数据的数量最大为1；若所述扫描模式为双回波模式则各个所述第二像素点数据对应的所述第一匹配点云数据的数量最大为2；
[0010]对各个所述第二像素点数据对应的所述第一匹配点云数据进行有效点云数据标记处理；
[0011]在所述第一点云数据集合中，将未被标记为所述有效点云数据的所述第一点云数据滤除。
[0012]优选的，所述基于光学图像的深度估计模型为单目深度估计模型；
[0013]所述单目深度估计模型包括第一类单目深度估计模型和第二类单目深度估计模型；
[0014]所述第一类单目深度估计模型包括卷积神经网络深度图预测模块；
[0015]所述第二类单目深度估计模型包括卷积神经网络视差图预测模块、双目图像重构模块和深度图生成模块。
[0016]优选的，所述使用训练成熟的基于光学图像的深度估计模型，对所述第一场景图像数据进行深度图像转换处理，生成对应的第一深度图像数据，具体包括：
[0017]当使用的所述基于光学图像的深度估计模型为所述第一类单目深度估计模型时，获取当前相机的外部标定参数M1和内部标定参数K1，并将M1和K1输入所述卷积神经网络深度图预测模块作为计算因子；
[0018]再将所述第一场景图像数据输入所述卷积神经网络深度图预测模块进行深度图预测运算，生成对应的所述第一深度图像数据。
[0019]优选的，所述使用训练成熟的基于光学图像的深度估计模型，对所述第一场景图像数据进行深度图像转换处理，生成对应的第一深度图像数据，具体包括：
[0020]当使用的所述基于光学图像的深度估计模型为所述第二类单目深度估计模型时，将所述第一场景图像数据输入所述卷积神经网络视差图预测模块中进行视差图预测运算，生成第二左对右视差图数据和第二右对左视差图数据；所述第二左对右视差图数据和所述第二右对左视差图数据都包括多个视差图像素点，所述视差图像素点的像素值与对应视差值呈线性关系；
[0021]将所述第二左对右视差图数据输入所述深度图生成模块，按的深度转换关系进行计算，生成所述第一深度图像数据；f为模型训练时所用的左右两个相机的焦距，B为模型训练时所用的左右两个相机的光心间距，d为视差值，Z为深度值；所述第一深度图像数据的各个所述第二像素点数据的所述第二像素数据与对应深度值呈线性关系。
[0022]优选的，所述对各个所述第二像素点数据对应的所述第一匹配点云数据进行有效点云数据标记处理，具体包括：
[0023]当所述扫描模式为单回波模式时，根据各个所述第二像素点数据对应的所述第一像素点深度数据，与对应的所述第一匹配点云数据的所述第一点云深度数据，进行深度差值计算，生成第一深度差值；若所述第一深度差值数据符合预设的差值阈值范围，则将与当前所述第二像素点数据对应的所述第一匹配点云数据标记为所述有效点云数据；
[0024]当所述扫描模式为双回波模式时，在与各个所述第二像素点数据对应的2个所述
第一匹配点云数据中，选择所述第一点云深度数据偏小的作为对应的第二匹配点云数据；并根据各个所述第二像素点数据对应的所述第一像素点深度数据，与对应的所述第二匹配点云数据的所述第一点云深度数据，进行深度差值计算，生成第二深度差值；若所述第二深度差值数据符合所述差值阈值范围，则将与当前所述第二像素点数据对应的所述第二匹配点云数据标记为所述有效点云数据。
[0025]本专利技术实施例第二方面提供了一种电子设备，包括：存储器、处理器和收发器；
[0026]所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
[0027]所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
[0028]本专利技术实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
[0029]本专利技术实施例提供了一种基于相机的深度估计进行激光雷达点云过滤的方法、电子设备及计算机可读存储介质，对相机拍摄的图像数据进行深度图像转换，再在点云集合中定位与深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机的深度估计进行激光雷达点云过滤的方法，其特征在于，所述方法包括：获取在第一时刻T由激光雷达对第一指定环境扫描生成的第一点云数据集合；所述第一点云数据集合包括多个第一点云数据；所述第一点云数据包括第一点云深度数据；获取在所述第一时刻T由相机对所述第一指定环境拍摄生成的第一场景图像数据；所述第一场景图像数据包括多个第一像素点数据；所述第一像素点数据包括第一像素数据；使用训练成熟的基于光学图像的深度估计模型，对所述第一场景图像数据进行深度图像转换处理，生成对应的第一深度图像数据；所述第一深度图像数据包括多个第二像素点数据；所述第二像素点数据包括第二像素数据；所述第一深度图像数据的分辨率与所述第一场景图像数据的分辨率一致；所述第二像素点数据与所述第一像素点数据的图像坐标一一对应；根据深度图像的像素数据与深度数据的对应关系，对各个所述第二像素点数据的所述第二像素数据进行深度数据转换处理，生成对应的第一像素点深度数据；根据深度图像坐标系统与点云坐标系统的对应关系，在所述第一点云数据集合中，将与各个所述第二像素点匹配的所述第一点云数据，标记为对应的第一匹配点云数据；若激光雷达预设的扫描模式为单回波模式则各个所述第二像素点数据对应的所述第一匹配点云数据的数量最大为1；若所述扫描模式为双回波模式则各个所述第二像素点数据对应的所述第一匹配点云数据的数量最大为2；对各个所述第二像素点数据对应的所述第一匹配点云数据进行有效点云数据标记处理；在所述第一点云数据集合中，将未被标记为所述有效点云数据的所述第一点云数据滤除。2.根据权利要求1所述的基于相机的深度估计进行激光雷达点云过滤的方法，其特征在于，所述基于光学图像的深度估计模型为单目深度估计模型；所述单目深度估计模型包括第一类单目深度估计模型和第二类单目深度估计模型；所述第一类单目深度估计模型包括卷积神经网络深度图预测模块；所述第二类单目深度估计模型包括卷积神经网络视差图预测模块、双目图像重构模块和深度图生成模块。3.根据权利要求2所述的基于相机的深度估计进行激光雷达点云过滤的方法，其特征在于，所述使用训练成熟的基于光学图像的深度估计模型，对所述第一场景图像数据进行深度图像转换处理，生成对应的第一深度图像数据，具体包括：当使用的所述基于光学图像的深度估计模型为所述第一类单目深度估计模型时，获取当前相机的外部标定参数M1和内部标定参数K1，并将M1和K1输入所述卷积神经网络深度图预测模块作为计算因子；再将所述第一场景图像数据输入所述卷积神经网络深度图预测模块进行深度图预测运算，生成对应的所述第一深度图像数据。4....

【专利技术属性】
技术研发人员：张雨，
申请(专利权)人：北京轻舟智航科技有限公司，
类型：发明
国别省市：