一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统技术方案

本发明专利技术公开了一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统，属于计算机视觉技术领域，包括：获取毫米波雷达检测数据、激光雷达检测数据以及摄像机视频图像的有效目标数据；基于所述有效目标数据获取毫米波雷达与激光雷达的融合数据；通过坐标转换获取映射至图像坐标系下的点云图像；将所述点云图像与视频图像的有效目标数据分割后送入目标检测模型中进行目标检测，再通过算法呈现在全景图像中，确保机场环境中小目标的检测精度和效果。本发明专利技术采用毫米波雷达、激光雷达和高清阵列摄像机融合的方式，能在各种气象环境条件下，获得机场场面目标检测的理想效果和空管效能，最大程度地降低机场空管的安全隐患。隐患。隐患。

【技术实现步骤摘要】
一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统


[0001]本专利技术涉及一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统，属于计算机视觉


技术介绍

[0002]在传统的目标检测系统中，主要都是使用单摄像头进行目标检测，虽然现在目标检测系列算法模型发展迅速，但是摄像头受逆光、能见度低等环境因素影响颇大，识别准确率在不同环境下会有较大波动。而在机场环境中，由于是室外环境，单摄像头检测非常容易受到逆光、天气变化等影响，导致目标检测的准确度降低；同时单摄像头对大场景下的小目标检测精度差，尤其不能满足机场的高安全性标准，产生安全隐患。
[0003]虽然毫米波雷达在恶劣的天气下也能正常工作，而且可以直接判断目标的运动状态，但是毫米波雷达的识别精度很有限，生成的点云也很稀疏，同时也难以判断障碍物的具体边缘轮廓，对于小尺寸的障碍物更是难以判别。
[0004]激光雷达可以准确的感知周边环境的三维信息，探测精度也在厘米级。激光雷达可以准确的感知周边环境的三维信息，探测精度在厘米级以内。这就使得激本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统，其特征是，包括：获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据；对所述待检测区域数据进行预处理得到有效目标数据；对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合，得到融合后的点云数据；将所述点云数据映射至图像坐标系下，得到图像坐标系下的点云图像；将所述点云图像和预处理后的高清阵列摄像机视频图像分割成多个子图像区域，输入预先训练的目标检测神经网络，得到所述目标检测神经网络输出的对应各子图像区域的目标检测结果；对子图像区域的目标检测结果进行拼接，得到获取目标检测结果的全景图像。2.根据权利要求1所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据，包括：获取毫米波雷达检测的当前时刻数据获取毫米波雷达检测的当前时刻数据的数据格式为目标点云在毫米波雷达坐标系中的坐标值其中为目标点与毫米波雷达原点的距离，表示目标与毫米波雷达原点竖直方向之间的仰角，为偏向角，为目标点的速度，i为测量时刻，表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段；获取激光雷达检测的当前时刻数据获取激光雷达检测的当前时刻数据的数据格式为目标点云在激光雷达坐标系中的坐标值其中和分别为激光雷达坐标系下X、Y、Z轴的坐标值，i为测量时刻，表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段；获取高清阵列摄像机拍摄的测量时刻为i的场景图像；基于所述当前时刻点云数据当前时刻点云数据以及测量时刻为i的场景图像获取待检测区域数据。3.根据权利要求2所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述对所述待检测区域数据进行预处理得到有效目标数据，包括：对所述毫米波雷达检测的当前时刻数据进行滤波处理，得到有效目标的点云速度信息、点云距离信息以及点云回波强度的RDM图；对所述激光雷达检测的当前时刻雷达数据进行地面点云分割，得到易处理的点云图像，对所述易处理的点云图像进行DBSCAN聚类算法剔除异常点，得到有效目标聚类簇；对所述高清阵列摄像机拍摄的测量时刻为i的场景图像和预先拍摄的背景图像做差值，得到差分图像，对所述差分图像进行二值化操作得到二值图像，对所述二值图像进行边缘检测算法，得到有效目标轮廓，基于所述目标轮廓信息初步获取有效目标box。4.根据权利要求3所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检
测方法，其特征是，所述对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合，得到融合后的点云数据，包括：将所述毫米波雷达检测数据以及激光雷达检测数据的有效目标数据在时间上对齐，在测量时刻i下，得到所述毫米波雷达检测数据坐标所述激光雷达检测数据坐标将毫米波雷达的点云和激光雷达的点云分别进行时刻i、距离和仰角和匹配，偏向角和匹配，将所述毫米波雷达检测数据以及激光雷达检测数据的有效目标数据在空间上对齐，得到对齐后的目标点云坐标据的有效目标数据在空间上对齐，得到对齐后的目标点云坐标据的有效目标数据在空间上对齐，得到对齐后的目标点云坐标据的有效目标数据在空间上对齐，得到对齐后的目标点云坐标其中，为激光雷达计算目标点距离原点距离，为目标与激光雷达原点竖直方向之间的仰角，为偏向角，为目标点的速度，i为测量时刻，表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段；基于所述对齐后的有效目标数据获取数据层融合后的点云数据。5.根据权利要求4所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述基于所述对齐后的有效目标数据获取数据层融合后的点云数据，包括：获取对齐后数据的当前时刻i的目标聚类簇，此处的点云的单个坐标为获取当前时刻i的目标点云状态向量，单个目标点的状态向量为获取当前时刻i的目标点云状态向量，单个目标点的状态向量为规定状态矩阵其中Δt为当前时刻i和下一时刻i+1之间的实际时间间隔，单位为秒s，规定外部影响u＝[0 0 0 0 0 0]
T
；规定协方差矩阵为过程噪声矩阵过程噪声矩阵基于所述状态向量x、状态矩阵S、协方差矩阵Q、噪声矩阵N以及第i+1时刻的预测值的计算公式x'＝S
·
x+u和误差矩阵计算公式Q'＝S
·
Q
·
S
T
+N，得到所述第i+1时刻的测量值和预
测值x'的预测误差θ，表达式为：其中，规定卡尔曼增益K＝Q'
·
H
T
·
(H
...

【专利技术属性】
技术研发人员：李晓飞，吴建祥，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：