基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法技术

本发明专利技术公开了基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，跟踪方法为：通过毫米波雷达和摄像头分别获取原始数据和原始图像；处理所述原始数据，得到有效目标的第一目标航迹；处理所述原始图像，得到有效目标的第二目标航迹；将所述第一目标航迹与第二目标航迹进行匹配。本发明专利技术采用相机原始图像获得更丰富的图像暗部信息，利用深度学习的图像增亮算法还原图像暗部细节，增强无人车的夜间视觉能力，利用YOLO v4目标检测算法准确快速检测目标，满足无人驾驶实时性的要求，所提出的航迹融合方法容错性好，在一个传感器失效时，感知系统仍能正常工作。

【技术实现步骤摘要】
基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
本专利技术涉及无人驾驶环境感知领域，具体的，涉及基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法。
技术介绍
环境感知处于智能驾驶车辆与外界环境信息交互的关键位置，人类在驾驶过程中所接收的信息大多来自视觉，例如交通标志、行人、车道线等，这些道路视觉信息成为驾驶员控制车辆的主要依据。在智能驾驶车辆中，利用相机代替人类视觉系统，同时结合毫米波雷达提供前方目标的位置和速度，能够精确感知前方行车环境。近年来，计算机视觉技术逐渐成熟，基于视觉的目标检测、图像分类、实例分割等技术飞速发展。但是目标检测框架都集中在光线良好的图像，然而实际生活中，夜间和照度低的场景交通事故频繁发生，给人们的生命财产带来极大的损失。因此，研究夜间目标检测对于提升无人驾驶安全性，减少交通事故有着重要的意义。
技术实现思路
有鉴于此，本专利技术的目的是提供基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，具有以下优点：1)采用航迹融合方法，容错率高，保证单个传感器失效时系统仍能正常工作；2)采集原始图像数据，能够获得更丰富的图像暗部信息；3)同时对夜间行车环境中汽车、行人、摩托车、自行车等多种目标快速准确检测；4)采用深度学习对图像进行增亮，暗部细节还原效果好；5)方法鲁棒性强，有着较好的可行性。本专利技术的目的是通过以下技术方案实现的：基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，跟踪方法为：通过毫米波雷达和摄像头分别获取原始数据和原始图像；处理所述原始数据，得到有效目标的第一目标航迹；处理所述原始图像，得到有效目标的第二目标航迹；将所述第一目标航迹与第二目标航迹进行匹配。进一步，处理所述原始数据的方法具体为：去除所述原始数据中的无效目标、静止目标以及冗余数据；通过数据关联的方式确定所述有效目标，并初始化所述有效目标的航迹，所述数据关联的方式具体为：式中:D为毫米波雷达测量的目标相对距离；V为毫米波雷达测量的目标相对速度；Φ为毫米波雷达测量的目标角度；d,v,为距离阈值，速度阈值，角度阈值；m为每一周期雷达测量的目标总数；i为时间，j为每一周期的第j个雷达数据；对已经形成的航迹进行跟踪，得到有效目标的所述第一目标航迹。进一步，所述原始图像为通过CMOS或者CCD图像感应器根据拜耳阵列将捕捉到的光源信号转化为数字信号的图像。进一步，处理所述原始图像的方法为：S1：对原始图像进行图像增亮；S2：基于视觉深度学习，获取有效目标的边界框、类别和置信度；S3：对有效目标进行跟踪，基于DeepSORT网络，获取有效目标的所述第二目标航迹。进一步，所述S1具体为：S11：将所述原始图像的拜耳阵列图按照颜色拆解为四通道图像；S12：对四通道图像数据范围进行调整，减去黑电平使其最小值为零；S13：利用全卷积神经网络将调整后的四通道图像进行处理；S14：通过亚像素卷积，将全卷积神经网络输出的图像信息经过亚像素卷积生成的高分辨率的彩色图像。进一步，所述S2具体为：S21：采集原始拜尔阵列图像，对的图像增亮后的所述原始图像中所有类型的交通参与者进行标注；S22：训练YOLOv4网络模型，并保存权重文件；S23：将图像增亮后的所述原始图片输入训练好的YOLOv4网络模型中，经过权重文件计算输出所述有效目标的边界框、类别和置信度，最后存储所述有效目标的边界框和类别。进一步，所述S3具体为：S31：将所述有效目标的边界框的信息和所述原始图像传输至DeepSORT网络，DeepSORT利用CNN网络对所述有效目标边界框内的检测块进行特征提取；S32：对相邻两帧的所有所述有效目标进行运动特征关联，关联成功的有效目标，进入S33，所述运动特征的关联成功定义为：相邻两帧的所述有效目标的检测框的距离小于阈值，则关联成功；S33：对相邻两帧的剩余的所述有效目标进行外观信息关联，若关联成功则进入S34，外观信息关联的成功定义为：相邻两帧的所述有效目标的外观信息的相似性进行关联，如果距离小于指定的阈值，那么这个关联就是成功的；S34：将运动特征和外观特征均关联成功的有效目标进行融合匹配，得到最终融合结果，如果融合结果小于阈值，那么定义为匹配成功。进一步，将所述第一目标航迹与第二目标航迹进行匹配的方法具体为：根据毫米波雷达坐标系-像素坐标系的转换关系，将所述第一航迹的中心坐标点投影到图像上，得到第一航迹的中心投影坐标点；计算所述第一航迹的中心投影坐标点与对应的所述第二航迹的中心坐标点的欧氏距离，若欧氏距离小于指定的阈值，则定义为匹配成功。本专利技术的有益效果是：本专利技术采用相机原始图像获得更丰富的图像暗部信息，利用深度学习图像增亮算法还原图像暗部细节，增强无人车的夜间视觉能力，利用YOLOv4目标检测算法准确快速检测目标，满足无人驾驶实时性的要求，所提出的航迹融合方法容错性好，在一个传感器失效时，感知系统仍能正常工作。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步的详细描述，其中：附图1为本专利技术原理图；附图2为处理原始图像方法示意图；附图3是拜耳阵列示意图；附图4为图像增亮原理图；附图5是拜耳阵列拆解示意图；附图6是黑电平校正前后示意图，其中(a)为校正前示意图，(b)为校正后示意图；附图7是ConvNet结构示意图；附图8为图像增亮前后对比图，其中(a)为原始图像，(b)为图像增亮后图像。具体实施方式以下将参照附图，对本专利技术的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本专利技术，而不是为了限制本专利技术的保护范围。本实施例提出了基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，本方法能够检测前方行车环境的行人、汽车、摩托车、自行车等多种交通参与者，如图1所示，具体为：通过毫米波雷达和摄像头分别获取原始数据和原始图像。其中原始图像为通过CMOS或者CCD图像感应器根据拜耳阵列将捕捉到的光源信号转化为数字信号的原始数据，一个像素点只记录一种颜色。如图3所示，拜耳阵列是CMOS或者CCD拍摄彩色图像的主要技术，它是由一个4×4阵列，由8个绿色、4个蓝色和4个红色像素组成。处理原始数据，得到有效目标的第一目标航迹。具体为：去除原始数据中的无效目标、静止目标，由于同一目标会反射多个雷达点，通过聚类方法消除冗余数据，减少计算量。通本文档来自技高网...

【技术保护点】
1.基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，其特征在于：跟踪方法为：/n通过毫米波雷达和摄像头分别获取原始数据和原始图像；/n处理所述原始数据，得到有效目标的第一目标航迹；/n处理所述原始图像，得到有效目标的第二目标航迹；/n将所述第一目标航迹与第二目标航迹进行匹配。/n

【技术特征摘要】
1.基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，其特征在于：跟踪方法为：
通过毫米波雷达和摄像头分别获取原始数据和原始图像；
处理所述原始数据，得到有效目标的第一目标航迹；
处理所述原始图像，得到有效目标的第二目标航迹；
将所述第一目标航迹与第二目标航迹进行匹配。


2.根据权利要求1所述的基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，其特征在于：处理所述原始数据的方法具体为：
去除所述原始数据中的无效目标、静止目标以及冗余数据；
通过数据关联的方式确定所述有效目标，并初始化所述有效目标的航迹，所述数据关联的方式具体为：



式中:D为毫米波雷达测量的目标相对距离；
V为毫米波雷达测量的目标相对速度；
Φ为毫米波雷达测量的目标角度；
d,v,为距离阈值，速度阈值，角度阈值；
m为每一周期雷达测量的目标总数；
i为时间，j为每一周期的第j个雷达数据；
对已经形成的航迹进行跟踪，得到有效目标的所述第一目标航迹。


3.根据权利要求1所述的基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，其特征在于：所述原始图像为通过CMOS或者CCD图像感应器根据拜耳阵列将捕捉到的光源信号转化为数字信号的数据。


4.根据权利要求3所述的基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，其特征在于：处理所述原始图像的方法为：
S1：对原始图像进行图像增亮；
S2：基于视觉深度学习，获取有效目标的边界框、类别和置信度；
S3：对有效目标进行跟踪，基于DeepSORT网络，获取有效目标的所述第二目标航迹。


5.根据权利要求4所述的基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法，其特征在于：所述S1具体为：
S11：将所述原始图像的拜耳阵列图按照颜色拆解为四通道图像；
S12：对四通道图像数据范围进行调整，减去黑电平使其最小值为零；
S13：利用全卷积神经网络将调整后...

【专利技术属性】
技术研发人员：唐小林，张志强，杨凯，蒲华燕，邓忠伟，李佳承，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50