一种基于激光与视觉融合的车辆检测方法技术

本发明专利技术公开了一种基于激光与视觉融合的车辆检测方法，该方法包括以下步骤：1）对输入的图像及激光点云获取目标检测信息；2）对前后帧的图像及点云检测框做最优匹配，建立图像及点云检测目标的跟踪序列；3）对图像及其检测框、点云及其检测框的跟踪序列进行融合；4）对所有目标检测框进行分类后输出融合列表，输出融合结果；5）得到在当前帧中周边车辆相对与自车的精确位置，读取下一帧图像及点云数据，循环步骤1）到步骤5），输出融合检测结果。本发明专利技术在点云与图像目标检测的基础上，结果检测结果跟踪信息，对检测结果进行最优匹配，并对融合结果择优输入最终融合列表，相比单一传感器目标检测方法提高了目标检测精度，并降低误检率。

A vehicle detection method based on laser and vision fusion

【技术实现步骤摘要】
一种基于激光与视觉融合的车辆检测方法
本专利技术涉及智能驾驶汽车环境感知领域，尤其涉及一种基于激光与视觉融合的车辆检测方法。
技术介绍
现如今智能化已成为汽车产业的一个重要发展趋势，越来越多的智能辅助驾驶功能正在逐渐改变人们的出行体验。随着智能化程度的不断提升，智能驾驶正朝着无人驾驶的方向快速发展。环境感知系统需要为无人驾驶汽车提供准确、可靠的目标类别和位置信息，为无人驾驶路径规划及车辆控制提供可靠的决策信息。近年来，在视觉图像和激光点云处理上不断产生出越来越先进的目标检测算法，但仅依靠单个传感器的目标检测往往存在一定的局限性。摄像头传感器受光照的影响较为敏感，且难以获取精确的目标深度信息。激光雷达点云相比图像较为稀疏，无法获取目标颜色、纹理等特征信息。仅依靠单一传感器已经无法满足无人驾驶汽车环境感知的要求，多传感器融合已经成为当前主流的环境感知方案。激光与视觉融合算法在目标检测上大致可分为两种类型，一种是分别对激光点云和图像分别进行特征提取后，输入到同一神经网络中进行目标检测，可称为前融合；另一种是分别对激光点云和图像完成目标检测后，对输出的检测结果进行融合，可称为后融合。不同的融合方法各有优劣，前者将不同的特征同时输入到同一网络中，检测结果好坏取决于特征提取的质量及融合网络的性能。在文献WuTE,TsaiCC,GuoJI.Lidar/camerasensorfusiontechnologyforpedestriandetection[C]//2017Asia-PacificSignalandInformationProcessingAssociationAnnualSummitandConference(APSIPAASC).IEEE,2017:1675-1678.、ChenX,MaH,WanJ,etal.Multi-View3DObjectDetectionNetworkforAutonomousDriving[J].2016.中，对不同的数据分别进行目标检测后再进行融合，融合结果的质量不仅取决于图像和点云两种目标检测算法的性能，同时取决于对检测结果进行融合的策略是否合理。随着无人驾驶汽车的快速发展，仅依靠单一传感器的环境感知方案已经无法满足车辆在复杂交通场景下的目标检测需求。在文献马佃波.无人驾驶汽车环境感知技术综述[J].汽车与驾驶维修.2017.、谢志萍，雷莉萍.智能网联汽车环境感知技术的发展和研究现状[J].成都工业学院学报.2016(04):87-92.、WeiP,CagleL,RezaT,etal.LiDARandCameraDetectionFusioninaReal-TimeIndustrialMulti-SensorCollisionAvoidanceSystem[J].Electronics.2018,7(6):84.和DeSilvaV,RocheJ,KondozA.RobustFusionofLiDARandWide-AngleCameraDataforAutonomousMobileRobots[J].Sensors.2018,18(8):2730.也提到，融合多种传感器数据，为无人驾驶系统提供精度更高、可靠性更强的目标检测信息，已成为当下众多无人驾驶汽车的主流环境感知方案。现有基于视觉的车辆检测方法，往往无法获取精确的距离信息；在文献赵轩.基于单目视觉的前向车辆检测、跟踪与测距[D].北京工业大学,2017.中，往往需要容易受无关点云的干扰而带来较多的误检测现象。基于此背景，本专利技术提出一种基于激光与视觉融合的车辆检测方法。
技术实现思路
本专利技术所要解决的技术问题是目前仅依靠单一传感器的环境感知方案无法满足车辆在复杂交通场景表的目标检测需求，为了在环境感知系统中提高目标检测精度、降低误检率，本专利技术提出一种基于激光与视觉融合的交通环境车辆检测方法。本专利技术至少通过如下技术方案之一实现。一种基于激光与视觉融合的车辆检测方法，包括以下步骤：1)利用深度学习算法分别对输入的图像及激光点云获取目标检测信息；2)利用匈牙利算法分别对前后帧的图像及点云检测框做最优匹配，实现检测框的目标跟踪，分别建立图像及点云检测目标的跟踪序列；3)对图像及其检测框、点云及其检测框的跟踪序列进行融合；4)根据融合后的检测框是否被匹配、跟踪的特征，对所有目标检测框进行分类后输出融合列表，并选取相应的检测框作为最终融合结果进行输出；5)将输出的融合结果投影到以自己车辆为原点的世界坐标系中，得到在当前帧中周边车辆相对与与自己车辆的精确位置，为智能驾驶汽车决策规划和车辆控制提供精确的车辆感知信息，完成当前帧路径规划及车辆控制后，读取下一帧图像及点云数据，循环步骤1)到步骤5)，不断地输出融合检测结果。进一步地，步骤1)包括：对图像采用深度学习图像目标检测算法YOLOv3获取图像检测框类别、中心点像素坐标位置及长宽尺寸信息；对点云采用深度学习点云目标检测算法PointRCNN获取3D检测框类别、中心点空间坐标及长宽高尺寸的信息。进一步地，步骤2)包括对于每一帧的图像检测框或点云检测框，首先，判断输入的检测框是否为第一帧图像或点云的检测结果，在第一帧中，由于没有前一帧的检测结果做匹配，无法进行跟踪，故将所有检测框的跟踪序列编号置零；若输入的检测框不为第一帧的图像或点云检测框，则依次计算当前帧的检测框Box1与上一帧所有检测框的最小距离值，若所得最小距离值Dis(Box1，Box2)小于设定的阈值，且所对应的上一帧检测框Box2未被当前帧其它的检测框匹配(匹配是指前一帧的某一个检测框与当前帧的某一个检测框之间的匹配，将距离值最小的前后帧检测框成对进行匹配，认为匹配上的前后帧检测框代表先后检测到的同一车辆，即连续检测到同一车辆，即跟踪检测成功)，则将该最小距离值对应的前后帧检测框进行匹配，否则放弃匹配；若该最小距离值Dis(Box1，Box2)所对应的上一针检测框Box2已经与其它当前帧检测框Box3匹配，且匹配的最小距离值Dis(Box3，Box2)小于当前帧待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则放弃当前帧检测框Box1的匹配；反之，若已匹配的最小距离值Dis(Box3，Box2)大于当前待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则令当前帧已匹配的检测框Box3重新匹配，将当前帧检测框Box1与上一帧检测框Box2进行匹配；对于成功匹配的前后帧检测检测框，若对应上一帧的检测框跟踪序列编号为零，则按跟踪顺序赋予当前帧检测框新的跟踪序列编号，若上一帧检测框跟踪序列编号不为零，则令当前帧检测框保持相同的跟踪序列编号，进而实现连续帧若干个目标跟踪。进一步地，步骤3)包括对原始点云做滤波后投影到图像上、利用匈牙利算法对图像检测框及点云检测框做最优匹配和对未匹配的检测框做二次筛选。进一步地，所述的原始点云做滤波后投影到图像上，具体包括：对输入的原始点云做直通滤波、体素滤波处理，仅保留车辆前方感兴趣的点云数据，减本文档来自技高网...

【技术保护点】
1.一种基于激光与视觉融合的车辆检测方法，其特征在于，包括以下步骤：/n1)利用深度学习算法分别对输入的图像及激光点云获取目标检测信息；/n2)利用匈牙利算法分别对前后帧的图像及点云检测框做最优匹配，实现检测框的目标跟踪，分别建立图像及点云检测目标的跟踪序列；/n3)对图像及其检测框、点云及其检测框的跟踪序列进行融合；/n4)根据融合后的检测框是否被匹配、跟踪的特征，对所有目标检测框进行分类后输出融合列表，并选取相应的检测框作为最终融合结果进行输出；/n5)将输出的融合结果投影到以自己车辆为原点的世界坐标系中，得到在当前帧中周边车辆相对与自己车辆的位置，为智能驾驶汽车决策规划和车辆控制提供的车辆感知信息，完成当前帧路径规划及车辆控制后，读取下一帧图像及点云数据，循环步骤1)到步骤5)，不断地输出融合检测结果。/n

【技术特征摘要】
1.一种基于激光与视觉融合的车辆检测方法，其特征在于，包括以下步骤：
1)利用深度学习算法分别对输入的图像及激光点云获取目标检测信息；
2)利用匈牙利算法分别对前后帧的图像及点云检测框做最优匹配，实现检测框的目标跟踪，分别建立图像及点云检测目标的跟踪序列；
3)对图像及其检测框、点云及其检测框的跟踪序列进行融合；
4)根据融合后的检测框是否被匹配、跟踪的特征，对所有目标检测框进行分类后输出融合列表，并选取相应的检测框作为最终融合结果进行输出；
5)将输出的融合结果投影到以自己车辆为原点的世界坐标系中，得到在当前帧中周边车辆相对与自己车辆的位置，为智能驾驶汽车决策规划和车辆控制提供的车辆感知信息，完成当前帧路径规划及车辆控制后，读取下一帧图像及点云数据，循环步骤1)到步骤5)，不断地输出融合检测结果。


2.根据权利要求1所述的一种基于激光与视觉融合的车辆检测方法，其特征在于，步骤1)包括：对图像采用深度学习图像目标检测算法YOLOv3获取图像检测框类别、中心点像素坐标位置及长宽尺寸信息；对点云采用深度学习点云目标检测算法PointRCNN获取3D检测框类别、中心点空间坐标及长宽高尺寸的信息。


3.根据权利要求1所述的一种基于激光与视觉融合的车辆检测方法，其特征在于，步骤2)包括对于每一帧的图像检测框或点云检测框，首先，判断输入的检测框是否为第一帧图像或点云的检测结果，在第一帧中，由于没有前一帧的检测结果做匹配，无法进行跟踪，故将所有检测框的跟踪序列编号置零；若输入的检测框不为第一帧的图像或点云检测框，则依次计算当前帧的检测框Box1与上一帧所有检测框的最小距离值，若所得最小距离值Dis(Box1，Box2)小于设定的阈值，且所对应的上一帧检测框Box2未被当前帧其它的检测框匹配，则将该最小距离值对应的前后帧检测框进行匹配，否则放弃匹配；若该最小距离值Dis(Box1，Box2)所对应的上一帧检测框Box2已经与其它当前帧检测框Box3匹配，且匹配的最小距离值Dis(Box3，Box2)小于当前帧待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则放弃当前帧检测框Box1的匹配；反之，若已匹配的最小距离值Dis(Box3，Box2)大于当前待匹配的前后帧检测框最小距离值Dis(Box1，Box2)，则令当前帧已匹配的检测框Box3重新匹配，将当前帧检测框Box1与上一帧检测框Box2进行匹配；对于成功匹配的前后帧检测检测框，若对应上一帧的检测框跟踪序列编号为零，则按跟踪顺序赋予当前帧检测框新的跟踪序列编号，若上一帧检测框跟踪序列编号不为零，则令当前帧检测框保持相同的跟踪序列编号，进而实现连续帧若干个目标跟踪。


4.根据权利要求1所述的一种基于激光与视觉融合的车辆检测方法，其特征在于，步骤3)包括对原始点云做滤波后投影到图像上、利用匈牙利算法对图像检测框及点云检测框做最优匹配和对未匹配的检测框做二次筛选。


5.根据权利要求4所述的一种基于激光与视觉融合的车辆检测方法，其特征在于，所述的原始点云做滤波后投影到图像上，具体包括：对输入的原始点云做直通滤波、体素滤波处理，仅保留车辆前方感兴趣的点云数据，减少后续处理的计算量；对激光雷达与摄像头联合标定，获取激光雷达点云与图像之间的转换矩阵，包括旋转矩阵、平移矩阵、相机内参矩阵、相机矫正矩阵；通过转换矩阵将激光雷达点云的空间三维坐标(x，y，z)经过...

【专利技术属性】
技术研发人员：郑少武，李巍华，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44