一种基于多源数据融合的车辆检测方法及检测装置制造方法及图纸

本发明专利技术公开一种基于多源数据融合的车辆检测方法及检测装置。该方法包括：将相机坐标系和激光雷达坐标系转换到检测坐标系中；获取车辆的激光雷达的目标检测框；先以车辆的相机的自身检测视角确定横向检测范围，以图像消失线确定纵向检测范围，获得相机的检测区域，再对相机检测到的视觉图像进行实时检测以获得视觉检测目标；对激光雷达的检测目标与视觉检测目标进行初步融合；实现雷达和相机的信息融合，且目标匹配成功后，对激光雷达和相机检测到的目标位置进行加权处理；对车辆目标进行跟踪。本发明专利技术提高检测障碍物的准确性，减少误检和漏检，激光雷达和相机都可识别同一目标车辆，且识别结果基本匹配，提高了目标识别的可靠性。靠性。靠性。

【技术实现步骤摘要】
一种基于多源数据融合的车辆检测方法及检测装置


[0001]本专利技术涉及自动驾驶
的一种预警方法，尤其涉及一种基于多源数据融合的车辆检测方法，还涉及一种检测装置。

技术介绍

[0002]近些年来，无人车技术发展迅猛，其中传感器探测技术在无人车研究中具有关键作用，关系着车辆能否安全可靠地参与交通运行。能否准确探测并识别出前方障碍物是衡量传感器性能优劣的标准，现有的不同类型的几种传感器都具有比较明显的优劣势。比如本专利技术中所用的相机和激光雷达，相机传感器能够对检测视角内的物体进行分类识别，但是定位精度有限。激光雷达传感器相对于相机来说具有很高的定位精度，但是难以捕捉到障碍物的全部特征，不能很好的对物体进行识别检测。总的来说，单一传感器无法保证信息获取的充分性，系统的冗余度和容错性过低而无法保证决策的速度和准确性。

技术实现思路

[0003]为解决现有的车辆定位精度和识别可靠性无法兼顾的技术问题，本专利技术提供一种基于多源数据融合的车辆检测方法及检测装置。
[0004]本专利技术采用以下技术方案实现：一种基于多源数据融合的车辆检测方法，其包括以下步骤：
[0005]S1：将车辆的相机坐标系和激光雷达坐标系转换到所述车辆的检测坐标系中；
[0006]S2：获取所述车辆的激光雷达的目标检测框；
[0007]S3：先以所述车辆的相机的自身检测视角确定横向检测范围，以图像消失线确定纵向检测范围，获得所述相机的检测区域，再对所述相机检测到的视觉图像进行实时检测以获得视觉检测目标；
[0008]S4：对所述激光雷达的检测目标与所述视觉检测目标进行初步融合，并计算所述激光雷达与所述相机对同一目标的矩形检测框的面积重合比；
[0009]S5：判断所述面积重合比是否在一个预设区间内；在所述面积重合比不在所述预设区间内时，对剩下的无法匹配的激光雷达和相机检测数据进行处理，将无法匹配的检测数据视为雷达在连续两个采样周期下获得的两帧数据，实现雷达和相机的信息融合，且目标匹配成功后，对所述激光雷达和所述相机检测到的目标位置进行加权处理；
[0010]S6：对车辆目标进行跟踪；当跟踪目标离开视野并导致跟踪车辆的矩形框短暂丢失时，预测矩形框中心坐标，继续对车辆目标进行跟踪；当跟踪的矩形框中心坐标与原中心坐标的坐标偏差大于一个预设坐标差时，重新预测矩形框中心坐标；若所述坐标偏差存在一个预设时间后未大于所述预设坐标差时，继续对车辆目标进行跟踪；若所述坐标偏差存在所述预设时间后仍大于所述预设坐标差时，重新确定跟踪目标。
[0011]本专利技术将多源数据融合，完成雷达与相机的信息融合，既能够提高检测障碍物的准确性，减少误检和漏检，又能够使激光雷达和相机都可识别同意目标车辆，且识别结果基
本匹配，提高了目标识别的可靠性，解决了现有的车辆定位精度和识别可靠性无法兼顾的技术问题。
[0012]作为上述方案的进一步改进，定义空间中一点在所述激光雷达坐标系下为P
l
(x
l
,y
l
,z
l
)，在所述相机坐标系下为P
c
(x
c
,y
c
,z
c
)，在所述检测坐标系下为P
p
(x
p
,y
p
,z
p
)；所述激光雷达坐标系和所述相机坐标系到所述检测坐标系的转换关系分别为：
[0013]P
p
＝P
l
·
R
l
+B
l
[0014]P
p
＝P
l
·
R
c
+B
c
[0015]其中，B
l
和B
c
分别为所述激光雷达坐标系和所述相机坐标系到所述检测坐标系的平移矩阵。
[0016]作为上述方案的进一步改进，在步骤S2中，所述激光雷达的目标检测框的获取方法包括以下步骤：
[0017]S2
‑
1：对所述车辆后方的点云数据进行剔除；
[0018]S2
‑
2：对剔除后的点云数据进行空间扫描，筛选并保留高于地面的点云数据，得出障碍物在检测面上的形状，以获取激光雷达的检测目标；以及
[0019]S2
‑
3：先将进行空间扫描时所有扫描面的最大横向距离作为激光雷达目标检测框的长度，所有扫描面的最大纵向距离作为激光雷达目标检测框的宽度，再将确定的检测框投影到图像上获得激光雷达目标检测框。
[0020]作为上述方案的进一步改进，在步骤S2
‑
1中，剔除纵坐标小于0的数据，保留并处理纵坐标大于0的数据；在步骤S2
‑
2中，所述扫描面为二维矩形检测面。
[0021]作为上述方案的进一步改进，所述面积重合比的计算公式为：
[0022][0023]式中，为所述面积重合比；所述雷达和所述相机对目标的矩形检测框分别为R
lidar
、R
camera
，S
union
为R
lidar
和R
camera
所包围的总面积，S
intersection
为重合区域的面积。
[0024]作为上述方案的进一步改进，通过全局最近邻数据关联对无法匹配的激光雷达和相机检测数据进行处理，定义雷达和相机剩余有效目标个数分别为m和n，雷达检测值为航迹i，相机检测值为量测j，航迹和量测的归一化距离设为航迹i和量测j的匹配需要满足以下约束条件：
[0025][0026]式中，G
i
是航迹的门限值；
[0027]代价函数定义为：
[0028][0029]式中，c
ij
为代价值。
[0030]作为上述方案的进一步改进，在步骤S5中，加权公式为：
[0031][0032]式中，δ
cx
、δ
cy
、δ
rx
、δ
ry
分别表示所述相机和所述雷达检测的目标位置在x、y方向的平均误差。
[0033]作为上述方案的进一步改进，所述预设区间为[0.6,1]。
[0034]作为上述方案的进一步改进，在步骤S3中，利用YOLOV4算法对相机检测到的视觉图像进行实时检测；在步骤S6中，利用KCF
‑
KF滤波器对车辆目标进行跟踪。
[0035]本专利技术还提供一种检测装置，其应用上述任意所述的基于多源数据融合的车辆检测方法，其包括：
[0036]转换模块，其用于将车辆的相机坐标系和激光雷达坐标系转换到所述车辆的检测坐标系中；
[0037]检测框获取模块，其用于获取所述车辆的激光雷达的目标检测框；
[0038]检测目标获取模块，其用于先以所述车辆的相机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源数据融合的车辆检测方法，其特征在于，其包括以下步骤：S1：将车辆的相机坐标系和激光雷达坐标系转换到所述车辆的检测坐标系中；S2：获取所述车辆的激光雷达的目标检测框；S3：先以所述车辆的相机的自身检测视角确定横向检测范围，以图像消失线确定纵向检测范围，获得所述相机的检测区域，再对所述相机检测到的视觉图像进行实时检测以获得视觉检测目标；S4：对所述激光雷达的检测目标与所述视觉检测目标进行初步融合，并计算所述激光雷达与所述相机对同一目标的矩形检测框的面积重合比；S5：判断所述面积重合比是否在一个预设区间内；在所述面积重合比不在所述预设区间内时，对剩下的无法匹配的激光雷达和相机检测数据进行处理，将无法匹配的检测数据视为雷达在连续两个采样周期下获得的两帧数据，实现雷达和相机的信息融合，且目标匹配成功后，对所述激光雷达和所述相机检测到的目标位置进行加权处理；S6：对车辆目标进行跟踪；当跟踪目标离开视野并导致跟踪车辆的矩形框短暂丢失时，预测矩形框中心坐标，继续对车辆目标进行跟踪；当跟踪的矩形框中心坐标与原中心坐标的坐标偏差大于一个预设坐标差时，重新预测矩形框中心坐标；若所述坐标偏差存在一个预设时间后未大于所述预设坐标差时，继续对车辆目标进行跟踪；若所述坐标偏差存在所述预设时间后仍大于所述预设坐标差时，重新确定跟踪目标。2.如权利要求1所述的基于多源数据融合的车辆检测方法，其特征在于，定义空间中一点在所述激光雷达坐标系下为P
l
(x
l
,y
l
,z
l
)，在所述相机坐标系下为P
c
(x
c
,y
c
,z
c
)，在所述检测坐标系下为P
p
(x
p
,y
p
,z
p
)；所述激光雷达坐标系和所述相机坐标系到所述检测坐标系的转换关系分别为：P
p
＝P
l
·
R
l
+B
l
P
p
＝P
l
·
R
c
+B
c
其中，B
l
和B
c
分别为所述激光雷达坐标系和所述相机坐标系到所述检测坐标系的平移矩阵。3.如权利要求2所述的基于多源数据融合的车辆检测方法，其特征在于，在步骤S2中，所述激光雷达的目标检测框的获取方法包括以下步骤：S2
‑
1：对所述车辆后方的点云数据进行剔除；S2
‑
2：对剔除后的点云数据进行空间扫描，筛选并保留高于地面的点云数据，得出障碍物在检测面上的形状，以获取激光雷达的检测目标；S2
‑
3：先将进行空间扫描时所有扫描面的最大横向距离作为激光雷达目标检测框的长度，所有扫描面的最大纵向距离作为激光雷达目标检测框的宽度，再将确定的检测框投影到图像上获得激光雷达目标检测框。4.如权利要求3所述的基于多源数据融合的车辆检测方法，其特征在于，在步骤S2
‑
1中，剔除纵坐标小于0的数据，保留并处理纵坐标大于0的数据；在步骤S2

【专利技术属性】
技术研发人员：赵林峰，赵明，蔡必鑫，许家硕，梁建文，谢俊豪，冯嘉铭，张曼玲，王宁，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：