一种多传感器融合体素特征图生成方法及系统技术方案

本发明专利技术涉及一种多传感器融合体素特征图生成方法及系统，该方法建立原始图像与激光雷达点之间的映射关系，激光雷达点和前视图像之间的映射关系，生成轻量化稀疏图像，为图像信息的快速处理提供了基础。同时，本发明专利技术所述方法融合两种传感器特征提取网络提取的特征，构建了信息更丰富的环境信息特征，提高了三维目标检测的准确率。标检测的准确率。标检测的准确率。

【技术实现步骤摘要】
一种多传感器融合体素特征图生成方法及系统


[0001]本专利技术涉及计算机视觉与自动驾驶
，特别是涉及一种多传感器融合体素特征图生成方法及系统。

技术介绍

[0002]在过去的十几年中，许多学者对计算机视觉技术开展研究并取得了丰硕的研究成果，作为计算机视觉技术的重要应用之一，自动驾驶领域中的环境感知技术近年来也被广泛研究，成为一个研究热点。自动驾驶汽车通常装载摄像机和激光雷达传感器从而分别获取周围环境的高分辨率图像和激光雷达点云，高分辨率图像由规则稠密分布的像素组成，包含颜色信息；激光雷达点云则由不规则且稀疏分布于空间中的离散点组成，包含位置信息。这两种信息是环境感知技术中最常见的两种输入信息，大部分计算机视觉任务都建立在这两种信息的基础上。在计算机视觉领域，卷积神经网络是一种常用且有效的技术，通过使用卷积神经网络可以构建深度学习网络，将包含各种信息的数据输入深度学习网络，从而提取出输入数据中的特征信息并完成一些视觉任务，比如自动驾驶场景下的三维目标检测，语义分割和实例分割等。
[0003]目前，在实际应用中，现存高性能三维目标检测方法通常仅使用点云数据作为输入，但这类方法缺少图像信息中的RGB通道信息值，图像中的RGB信息和点云蕴含的三维结构信息都是辨别物体的重要特征。现存也有一些多模态融合方法，它们通常以pixel
‑
to
‑
pixel的方式将点云特征图和图像特征图相加以进行融合，但这种融合方法受限于特征图与特征图之间的校准，结果并没有单模态方法的准确率高。/>[0004]因此，如何设计一种能够提高三维目标检测准确率的多传感器融合体素特征图生成方法及系统，成为本领域亟需解决的技术问题。

技术实现思路

[0005]本专利技术的目的是提供一种多传感器融合体素特征图生成方法及系统，通过本专利技术能够提高三维目标检测的准确率。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种多传感器融合体素特征图生成方法，该方法包括以下步骤：
[0008]获取激光雷达点和原始图像；
[0009]根据所述原始图像与所述激光雷达点之间的映射关系，将所述原始图像的像素映射到相应的激光雷达点，得到第一映射数据；
[0010]根据所述激光雷达点与前视图像之间的映射关系，将所述第一映射数据映射到前视图像的像素上，得到第二映射数据；
[0011]对所述第二映射数据进行稀疏化编码，生成轻量化稀疏图像；
[0012]将所述激光雷达点进行体素化，得到所述激光雷达点的三维体素；
[0013]对所述轻量化稀疏图像和所述三维体素进行特征提取，得到像素特征和体素特
征；
[0014]将所述像素特征和所述体素特征编码到对应的点云位置，得到像素点云特征和体素点云特征；
[0015]将所述像素点云特征和所述体素点云特征进行特征融合，得到点云融合特征；
[0016]对所述点云融合特征进行反映射，得到多传感器融合体素特征图。
[0017]可选的，根据所述原始图像与所述激光雷达点之间的映射关系，将所述原始图像的像素映射到相应的激光雷达点，得到第一映射数据，具体包括：
[0018]根据摄像机和激光雷达之间的标定矩阵，建立所述原始图像与所述激光雷达点之间的第一映射关系；所述第一映射关系为：
[0019][0020]其中，x为点云深度维度上的坐标，y为点云宽度维度上的坐标，z为点云高度维度上的坐标，ur为原始图像中像素的横坐标，vr为原始图像中像素的纵坐标，I为内参矩阵，E为外参矩阵。
[0021]可选的，根据所述激光雷达点与前视图像之间的映射关系，将所述第一映射数据映射到前视图像的像素上，得到第二映射数据，具体包括：
[0022]利用球面投影原理建立所述激光雷达点与所述前视图像之间的第二映射关系；所述第二映射关系为：
[0023][0024]其中，u为前视图像中像素的横坐标，v为前视图像中像素的纵坐标，x为点云深度维度上的坐标，y为点云宽度维度上的坐标，z为点云高度维度上的坐标，r为反射强度，w为前视图像的宽度，h为前视图像的高度，fov
down
为激光雷达下方垂直视角，fov为激光雷达垂直视角；
[0025]根据所述第二映射关系将所述第一映射数据映射到前视图像像素上，得到第二映射数据。
[0026]可选的，对所述第二映射数据进行稀疏化编码，生成轻量化稀疏图像，具体包括：
[0027]判断所述第二映射数据中的任一映射数据是否为所述第一映射数据中的多个映射数据映射得到，得到第一判断结果；
[0028]若所述第一判断结果为是，则将所述第一映射数据中的所述多个映射数据的平均值作为所述第二映射数据中的所述任一映射数据的编码值；
[0029]判断所述第二映射数据中的任一映射数据是否为所述第一映射数据中的一个映射数据映射得到，得到第二判断结果；
[0030]若所述第二判断结果为是，则将所述第一映射数据中对应的映射数据作为所述第
二映射数据中的所述任一映射数据的编码值；
[0031]若所述第一判断结果和所述第二判断结果都为否，则不进行编码。
[0032]可选的，将所述激光雷达点进行体素化，得到所述激光雷达点的三维体素，具体包括：
[0033]判断体素中的任一体素是否包含多个所述激光雷达点，得到第三判断结果；
[0034]若所述第三判断结果为是，则使用多个所述激光雷达点的平均值作为体素中的任一体素的编码值；
[0035]判断体素中的任一体素是否包含一个所述激光雷达点，得到第四判断结果；
[0036]若所述第四判断结果为是，则使用对应的激光雷达点作为体素中的任一体素的编码值；
[0037]若所述第三判断结果和所述第四判断结果都为否，则不进行编码。
[0038]可选的，对所述轻量化稀疏图像和所述三维体素进行特征提取，得到像素特征和体素特征，具体包括：
[0039]分别构建二维稀疏卷积的特征提取网络和三维稀疏卷积的特征提取网络；
[0040]利用所述二维稀疏卷积的特征提取网络对所述轻量化稀疏图像进行特征提取，得到像素特征；
[0041]利用所述三维稀疏卷积的特征提取网络对所述三维体素进行特征提取，得体素特征。
[0042]可选的，将所述像素特征和所述体素特征编码到对应的点云位置，得到像素点云特征和体素点云特征，具体包括：
[0043]使用基于四近邻域的二次线性插值算法将所述像素特征编码至点云位置，得到所述像素点云特征；
[0044]使用基于反距离权重法的三次线性插值算法将所述体素特征编码至点云位置，得到所述体素点云特征。
[0045]可选的，将所述像素点云特征和所述体素点云特征进行特征融合，得到点云融合特征，具体包括：
[0046]使用第一全连接块对所述像素点云特征进行处理，得到一维像素点云特征；所述第一全连接块包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多传感器融合体素特征图生成方法，其特征在于，包括以下步骤：获取激光雷达点和原始图像；根据所述原始图像与所述激光雷达点之间的映射关系，将所述原始图像的像素映射到相应的激光雷达点，得到第一映射数据；根据所述激光雷达点与前视图像之间的映射关系，将所述第一映射数据映射到前视图像的像素上，得到第二映射数据；对所述第二映射数据进行稀疏化编码，生成轻量化稀疏图像；将所述激光雷达点进行体素化，得到所述激光雷达点的三维体素；对所述轻量化稀疏图像和所述三维体素进行特征提取，得到像素特征和体素特征；将所述像素特征和所述体素特征编码到对应的点云位置，得到像素点云特征和体素点云特征；将所述像素点云特征和所述体素点云特征进行特征融合，得到点云融合特征；对所述点云融合特征进行反映射，得到多传感器融合体素特征图。2.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，根据所述原始图像与所述激光雷达点之间的映射关系，将所述原始图像的像素映射到相应的激光雷达点，得到第一映射数据，具体包括：根据摄像机和激光雷达之间的标定矩阵，建立所述原始图像与所述激光雷达点之间的第一映射关系；所述第一映射关系为：其中，x为点云深度维度上的坐标，y为点云宽度维度上的坐标，z为点云高度维度上的坐标，ur为原始图像中像素的横坐标，vr为原始图像中像素的纵坐标，I为内参矩阵，E为外参矩阵。3.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，根据所述激光雷达点与前视图像之间的映射关系，将所述第一映射数据映射到前视图像的像素上，得到第二映射数据，具体包括：利用球面投影原理建立所述激光雷达点与所述前视图像之间的第二映射关系；所述第二映射关系为：其中，u为前视图像中像素的横坐标，v为前视图像中像素的纵坐标，x为点云深度维度上的坐标，y为点云宽度维度上的坐标，z为点云高度维度上的坐标，r为反射强度，w为前视图像的宽度，h为前视图像的高度，fov
down
为激光雷达下方垂直视角，fov为激光雷达垂直视角；
根据所述第二映射关系将所述第一映射数据映射到前视图像像素上，得到第二映射数据。4.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，对所述第二映射数据进行稀疏化编码，生成轻量化稀疏图像，具体包括：判断所述第二映射数据中的任一映射数据是否为所述第一映射数据中的多个映射数据映射得到，得到第一判断结果；若所述第一判断结果为是，则将所述第一映射数据中的所述多个映射数据的平均值作为所述第二映射数据中的所述任一映射数据的编码值；判断所述第二映射数据中的任一映射数据是否为所述第一映射数据中的一个映射数据映射得到，得到第二判断结果；若所述第二判断结果为是，则将所述第一映射数据中对应的映射数据作为所述第二映射数据中的所述任一映射数据的编码值；若所述第一判断结果和所述第二判断结果都为否，则不进行编码。5.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，将所述激光雷达点进行体素化，得到所述激光雷达点的三维体素，具体包括：判断体素中的任一体素是否包含多个所述激光雷达点，得到第三判断结果；若所述第三判断结果为是，则使用多个所述激光雷达点的平均值作为体素中的任一体素的编码值；判断体素中的任一体素是否包含一个所述激光雷达点，得到第四判断结果；若所述第四判断结果为是，则使用对应的激光雷达点作为体素中的任一体素的编码值；若所述第三判断结果和所述第四判断结果都为否，则不进行编码。6.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，对所述轻量化稀疏图像...

【专利技术属性】
技术研发人员：孔德明，李晓伟，曹尚杰，张文宇，沈阅，
申请(专利权)人：河北燕大燕软信息系统有限公司秦皇岛港股份有限公司，
类型：发明
国别省市：