一种融合点云和图像的车辆检测方法技术

本发明专利技术公开了一种融合点云和图像的车辆检测方法，具体是一种通过图像信息与点云信息融合，提取车辆三维尺寸信息和表面纹理信息的车辆检测方法。目的是解决无人驾驶汽车进行三维目标检测时不易采集车辆深度信息以及纹理信息的问题。该方法是由如下步骤实现的：步骤一：对点云数据和图像数据进行预处理；步骤二：设计改进的YOLOv5卷积神经网络进行目标检测；步骤三：使用改进的R

【技术实现步骤摘要】
一种融合点云和图像的车辆检测方法


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种融合点云和图像的车辆检测方法。

技术介绍

[0002]环境感知作为自动驾驶汽车技术至关重要的组成部分，成为各研究所、高校和企业的研究热门。但环境感知技术面临着许多复杂的现实问题，如在选用感知硬件时，需要综合考虑各个传感器的优劣势以及成本等，且软硬件的测试技术仍在发展阶段。因此目前还没有形成一套标准的技术方案，研究者们还在探索各种传感器硬件的选配方案。
[0003]近几年，将深度学习技术应用在目标检测中取得了卓越的效果。但因光照条件恶劣等因素导致相机成像的质量不高，就算利用神经网络模型也不起作用。同样的，其他用于获取环境信息的传感器，也会有自身的局限性和特点。结合各种传感器的特点，能提供更为准确、冗余的环境信息，这保障了自动驾驶汽车的安全行驶。目前大多数研究集中于图像数据与多线激光雷达的融合。
[0004]鉴于此，本专利技术提出一种融合多线激光雷达与相机的算法，既利用了激光点云测距精度高的优点来获取车辆的真实位置数据，又利用融合的数据有效地提高检测性能，同时达到方案成本较低、易于商业化的目的，是迫切且有研究意义的。

技术实现思路

[0005]本专利技术针对现有技术的不足，提出了一种融合点云和图像的车辆检测方法，减小检测的漏检率。
[0006]本专利技术采用下述技术方案实现：
[0007]融合点云和图像的车辆检测方法，该方法采用下述步骤实现：
[0008]步骤一，对点云数据和图像数据进行预处理；
[0009]步骤二，设计改进的YOLOv5卷积神经网络进行目标检测；
[0010]步骤三，使用改进的R
‑
Tree算法融合点云数据和图像数据；
[0011]步骤四，进行置信概率修正，利用点云数据辅助改善图像检测效果。
[0012]本专利技术的有效效果：一、点云数据与图像数据的融合不仅能获得准确的目标的深度信息，还能降低图像检测时的漏检的概率。二、通过融合激光雷达和相机传感器的数据，能够有效降低或避免单一传感器获取信息时的不稳定性，从而提供更可靠的决策依据。
附图说明
[0013]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1是本专利技术中步骤一到步骤四的具体流程示意图。
[0015]图2是本专利技术中改进的YOLOv5结构图。
[0016]图3是本专利技术中改进的R
‑
Tree结构图。
[0017]图4是本专利技术中步骤四的置信概率修正流程示意图。
[0018]图5是本专利技术和传统方法的漏检率对比图。
具体实施方式
[0019]下面结合具体实施例对本专利技术作详细的说明。
[0020]融合点线特征的视觉惯性导航方法，该方法采用下述步骤实现，如图1所示：
[0021]步骤一，对点云数据和图像数据进行预处理；步骤二，设计改进的YOLOv5 卷积神经网络进行目标检测；步骤三，使用改进的R
‑
Tree算法融合点云数据和图像数据；步骤四，进行置信概率修正，利用点云数据辅助改善图像检测效果。
[0022]所述步骤一中，具体步骤包括：
[0023]在进行数据采集时选择公路、城区、乡村场景，以及选择不同的光照条件。在进行数据匹配时，完成点云数据和图像数据的时间匹配，以及将激光雷达和相机的坐标系转换到统一的坐标系下。
[0024]所述步骤二中，具体步骤包括：
[0025]基于改进的YOLOv5模型来检测目标，对YOLOv5原始网络结构进行改进，在网络结构的主干网络引入卷积注意力机制模块，以增强网络对重要特征的关注度并抑制不必要的特征，进而提高目标检测的准确率。利用融合卷积注意力机制模块的YOLOv5算法可以在室外曝光、光线差等复杂道路场景下完成对车辆的识别与检测。改进的YOLOv5网络结构图如图2所示。另外，本改进的模型以 101层的残差网络和特征金字塔网络作为基础框架进行图像特征的提取。利用改进的模型来检测并识别图像中的车辆，输出目标的检测框。点云数据预先同图像数据进行时间上与空间上的对齐，使点云能恰当地投射到图像上。
[0026]所述步骤三中，具体步骤包括：
[0027]改进的R
‑
Tree算法在融合点云数据和图像数据后的特征图上使用候选区域生成网络，对可能存在目标的区域进行筛选。利用池化算法分别找出3D候选框在图像和点云中对应的区域，使用全连接网络进行输出网络的特征学习。针对两种数据的特征向量，采用纵向拼接的方式将特征图进行融合，进行二次检测。改进的R
‑
Tree算法结构图如图3所示。
[0028]所述步骤四中，具体步骤包括：
[0029]设计一个置信概率修正函数有效地提高包含激光点云的物体检测框的置信概率。利用融合后的数据降低图像算法检测目标时的漏检率。置信概率修正流程图如图4所示。
[0030]为了测试本专利技术所提出融合方法的有效性和改进，从KITTI数据集中选择典型的场景进行验证。在实验中中将测试场景分为日间场景和夜间场景。其中日间场景又分为光线正常、光线较暗与曝光三种情况；而夜间场景受路灯、车灯影响，绝大部分图像出现曝光现象。
[0031]结果表明在正常光线、光线较暗、曝光和夜晚四个常见场景中，融合方法均有效的减小了漏检率，总体上，漏检率从16.2％降到了8.8％，证实了本专利技术所提的算法能显著降低漏检概率。所提出的融合算法和YOLOv5的测试对比图如图 5所示。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合点云和图像的车辆检测方法，其特征在于，包括步骤：步骤一，对点云数据和图像数据进行预处理；步骤二，设计改进的YOLOv5卷积神经网络进行目标检测；步骤三，使用改进的R
‑
Tree算法融合点云数据和图像数据；步骤四，进行置信概率修正，利用点云数据辅助改善图像检测效果。2.根据权利要求1所述融合点云和图像的车辆检测方法，其特征在于：所述步骤一中，具体步骤包括：在进行数据采集时选择公路、城区、乡村场景，以及选择不同的光照条件；在进行数据匹配时，完成点云数据和图像数据的时间匹配，以及将激光雷达和相机的坐标系转换到统一的坐标系下。3.根据权利要求1所述融合点云和图像的车辆检测方法，其特征在于：所述步骤二中，具体步骤包括：基于改进的YOLOv5模型来检测目标，对YOLOv5原始网络结构进行改进，在网络结构的主干网络引入卷积注意力机制模块，以增强网络对重要特征的关注度并抑制...

【专利技术属性】
技术研发人员：伍锡如，丰超，刘金霞，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：