本发明专利技术公开了一种基于多模态数据融合的车辆检测方法，具体是一种基于点云和图像数据融合的车辆目标检测方法。目的是解决无人驾驶系统环境感知中的车辆检测精度低的问题。该方法是由如下步骤实现的：步骤一：对点云数据和图像数据进行预处理；步骤二：使用ResNet对图像信息进行检测，利用Pillar Feature Net投影点云信息；步骤三：使用改进的多模态特征融合模块融合点云数据和图像数据；步骤四：传入主干网络生成BEV图；步骤五：计算置信度得分，利用非极大抑制去除多余检测框，改善图像检测效果。果。果。
【技术实现步骤摘要】
一种基于多模态数据融合的车辆检测方法
[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于多模态数据融合的车辆检测方法。
技术介绍
[0002]环境感知是自动驾驶技术中的关键技术之一，它可以实现对自动驾驶汽车周围环境的实时监测和分析，从而实现自动驾驶汽车的安全、高效、稳定的运行。但环境感知技术仍有一些关键问题亟待解决。比如在复杂的场景中，物体之间可能存在遮挡、重叠等情况，这会导致算法难以准确地检测到所有的物体。为了提高自动驾驶车辆在动态环境下的检测精度，本专利技术提出了一种基于多模态数据融合的车辆检测方法，为三维目标检测应用于环境感知技术提供了理论指导和解决方案。
[0003]为了解决三维目标检测在复杂环境下物体之间的遮挡、重叠甚至精度低等问题，国内外出现了许多优秀的解决方案。现有的较好的解决方法是增加语义信息，加入不同类型的目标物体具有不同的行为特征和动态行为，但由于语义信息存在时效性和不确定性，随着时间和环境的变化，可能会发生变化，影响模型的准确性。另一个解决方法是增加更多的训练数据，但获取真实场景中的大量高质量三维数据比较困难，此外，大多数三维数据需要手工标注，标注难度和成本较高，可能会导致标注质量不足。最后一个解决方法是多传感器融合，将多个传感器的数据信息融合起来，以增强检测的精度和鲁棒性。由于实时性、计算量、传感器等限制，以上的解决方案仍不能使三维目标检测很好地提升自动驾驶车辆对周围环境的实时监测和分析的能力。
技术实现思路
[0004]本专利技术针对现有技术的不足，提出了一种基于多模态数据融合的车辆检测方法，提高了自动驾驶车辆车辆检测的精度。
[0005]本专利技术采用下述技术方案实现：
[0006]基于多模态数据融合的车辆检测方法，该方法采用下述步骤实现：
[0007]步骤一，对点云数据和图像数据进行预处理；
[0008]步骤二，使用ResNet对图像信息进行检测，利用Pillar Feature Net投影点云信息；
[0009]步骤三，使用改进的多模态特征融合模块融合点云数据和图像数据；
[0010]步骤四，传入主干网络生成BEV图；
[0011]步骤五，计算置信度得分，利用非极大抑制去除多余检测框，改善图像检测效果。
[0012]本专利技术的有效效果：一、点云数据与图像数据的融合不仅能获得准确的目标的深度信息，还能降低图像检测时的漏检的概率。二、通过融合激光雷达和相机传感器的数据，能够有效降低或避免单一传感器获取信息时的不稳定性，从而提供更可靠的决策依据。。三、本模型利用KITTI数据集训练得出，经过大量的调试和参数优化，我们的三维目标检测
模型的平均精度为82.26％，平均检测时间为0.11s。
[0013]本专利技术的效果通过如下实验得到验证：
[0014]本提出的方法与其他多模态数据融合的三维目标检测算法进行比较，如AVOD，AVOD采用了多任务的网络结构，可以同时完成多种任务。本专利技术已经在公共KITTI数据集和现实世界中评估了所提出的方法。本专利技术通过准确率和召回率评估算法的准确性。准确率是检测结果正确的目标在所有识别结果中的占比，召回率是检测结果正确的目标在数据集标签的所有目标的占比。计算准确率(Precision)计算公式如下：
[0015][0016]其中，TP表示正确的正例；FP表示错误的正例。
[0017]在KITTI数据集上的实验表明，本专利技术提出的方法在大规模动态城市环境中，与AVOD相比，将平均精度提高了约8.8％。对比实验结果表明，本方法在动态环境中提高了准确性和鲁棒性。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术中步骤一到步骤五的流程示意图。
[0020]图2是实验中本专利技术在现实世界中的实验设备。
[0021]图3是本专利技术中改进的多模态特征融合模块示意图。
[0022]图4是本专利技术和主流方法的平均检测精度对比图。
具体实施方式
[0023]下面结合具体实施例对本专利技术作详细的说明。
[0024]基于多模态数据融合的车辆检测方法，该方法采用下述步骤实现：
[0025]步骤一，对点云数据和图像数据进行预处理；
[0026]步骤二，使用ResNet对图像信息进行检测，利用Pillar Feature Net投影点云信息；
[0027]步骤三，使用改进的多模态特征融合模块融合点云数据和图像数据；
[0028]步骤四，传入主干网络生成BEV图；
[0029]步骤五，计算置信度得分，利用非极大抑制去除多余检测框，改善图像检测效果。
[0030]所述步骤一中，具体步骤包括：
[0031](1)在进行数据采集时选择公路、城区、乡村场景，以及选择不同的光照条件；
[0032](2)在进行数据匹配时，完成点云数据和图像数据的时间匹配，以及将激光雷达和相机的坐标系转换到统一的坐标系下；
[0033](3)去除地面点云，消除地面的影响，使点云数据更加适合后续处理和分析，计算平均高度和标准差，用于区分地面点云和非地面点云，高度阈值的计算方式如式：
[0034][0035]其中，是高度阈值，是样本点所在球形区域内点云的平均高度，是样本点所在球形区域内点云的高度标准差，是一个常数，用于控制高度阈值的大小。对于每个点，如果它的高度小于等于高度阈值，则将其划分为地面点云，否则划分为非地面点云。
[0036]所述步骤二中，具体步骤包括：
[0037](1)基于改进的ResNet模型来检测目标：对ResNet原始网络结构进行改进，在网络结构的主干网络引入卷积注意力机制模块，以增强网络对重要特征的关注度并抑制不必要的特征，进而提高目标检测的准确率。
[0038](2)利用Pillar Feature Net投影点云信息：将点云转化为伪图像，在俯视图平面上，划分均匀网格，将均匀网格沿Z轴拉伸形成pillar，将原始的点云数据的4个维度扩展为9维，在每个pillar中点多于N的进行采样，少于N的进行填充0，使用PointNet提取pillar特征，在N这个维度上做max operation。
[0039]所述步骤三中，具体步骤包括：
[0040]使用改进的多模态特征融合模块融合点云数据和图像数据。多模态特征融合模块由FPN特征金字塔、跨域变形特征融合和1
×
1卷积组成。
[0041](1)跨域变形特征融合提取特征：给定特征图和从原始点云中提取的体素特征，每个体素特征将查询整个图像像素，根据体素特征和像素特征之间的点积相似度产生关注权重。每个体素特征的最终输出是所有像素特征本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态数据融合的车辆检测方法，其特征在于，包括步骤：步骤一，对点云数据和图像数据进行预处理；步骤二，使用ResNet对图像信息进行检测，利用Pillar Feature Net投影点云信息；步骤三，使用改进的多模态特征融合模块融合点云数据和图像数据；步骤四，传入主干网络生成BEV图；步骤五，计算置信度得分，利用非极大抑制去除多余检测框，改善图像检测效果。2.根据权利要求1所述基于多模态数据融合的车辆检测方法，其特征在于：所述步骤一中，具体步骤包括：(1)在进行数据采集时选择公路、城区、乡村场景，以及选择不同的光照条件；(2)在进行数据匹配时，完成点云数据和图像数据的时间匹配，以及将激光雷达和相机的坐标系转换到统一的坐标系下；(3)去除地面点云，消除地面的影响，使点云数据更加适合后续处理和分析，计算平均高度和标准差，用于区分地面点云和非地面点云，高度阈值的计算方式如式：其中，H
th
是高度阈值，是样本点所在球形区域内点云的平均高度，σ是样本点所在球形区域内点云的高度标准差，K是一个常数，用于控制高度阈值的大小。对于每个点，如果它的高度小于等于高度阈值H
th
，则将其划分为地面点云，否则划分为非地面点云。3.根据权利要求1所述基于多模态数据融合的车辆检测方法，其特征在于：所述步骤二中，具体步骤包括：(1)基于改进的ResNet模型来检测目标：对ResNet原始网络结构进行改进，在网络结构的主干网络引入卷积注意力机制模块，以增强网络对重要特征的关注度并抑制不必要的特征，进而提高目标检测的准确率。(2)利用Pillar Feature Net投影点云信息：将点云转化为伪图像，在俯视图平面上，划分均匀网格，将均匀网格沿Z轴拉伸形成pillar，将原始的点云数据的4个维度扩展为9维，在每个pillar中点多于N的进行采样，少于N的进行填充0，使用PointNet提取pillar特征，在N这个维度上做max operation。4.根据权利要求1所述基于多模态数据融合的车辆检测方法，其特征在于：所述步骤三中，具体步骤包括：使用改进的多模态特征融合模块融合点云数据和图像数据。多模态特征融合模块由FPN特征金字塔、跨域...
【专利技术属性】
技术研发人员：伍锡如，林钰睿，赵宇，侯琳，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。