一种基于对抗神经网络和多传感器融合的目标检测方法技术

本发明专利技术公开了一种基于对抗神经网络和多传感器融合的目标检测方法，属于无人驾驶技术的目标检测与环境感知领域。为了解决现有技术中无法对夜间障碍物准确检测的问题，本发明专利技术方法采用毫米波雷达和视觉传感器进行融合检测，采用对抗神经网络对网络进行训练。对毫米波雷达数据的处理主要包括数据聚类和有效目标初筛选。将预处理后的毫米波雷达数据与对抗网络输出的日间图像进行时间和空间坐标系的统一，将毫米波预处理数据和对抗神经网络输出的日间图像减去配准后的同场景预采样数据，得到两者最终处理数据。然后将两者数据进行融合，得到最终的夜间障碍物检测结果。本发明专利技术极大的提高了夜间目标检测的鲁棒性。高了夜间目标检测的鲁棒性。高了夜间目标检测的鲁棒性。

【技术实现步骤摘要】
一种基于对抗神经网络和多传感器融合的目标检测方法


[0001]本专利技术属于无人驾驶技术的目标检测与环境感知领域，具体指代一种夜间工况下的传感器融合目标检测方法。

技术介绍

[0002]随着人民对于生活质量的不断追求和技术的不断革新，无人驾驶技术已经得到迅速的发展，作为无人驾驶技术中的关键技术，目标检测的准确度极大的决定着无人驾驶的安全性。目前目标检测技术主要采用的传感器主要为三种，分别为激光雷达、毫米波雷达和摄像头。其中由于摄像头价格相对较低，基于摄像头的图像识别技术发展飞速，其原理主要为预先对模型进行训练，并设定目标种类，然后将摄像头采集的画面进行特征提取和分析，快速的对画面中的目标进行分类和检测。然而图像数据仍然存在着一些致命的问题，比如在光照条件差或曝光严重的情况下的难以对目标进行检测和分类。激光雷达则是近年新的发展趋势，由于其鲁棒性强，数据量大，不受光照影响的特性已经成为了未来的主要发展趋势，但是由于其价格相对昂贵、数据量过大，难以实时处理，并且会严重受到雨雾天气的影响，在当前的发展中仍然具有一定的局限性。毫米波雷达的应用则较为广泛，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗神经网络和多传感器融合的检测方法，其特征在于，采用毫米波雷达和视觉传感器进行融合检测，同时采样不同路段良好光照度无障碍物道路图像作为预采样数据库，对夜间视觉传感器采样的图像进行处理的方式为采用对抗神经网络，对网络进行训练后，将夜间图像进行转换作为对抗神经网络的输入，并输出同一场景下的日间图像，对毫米波雷达数据的处理则主要包括数据聚类和有效目标初筛选，得到视觉传感器和毫米波雷达传感器预处理数据后，将对抗神经网络的输出日间图片与当前道路段的预采样数据库进行比对，筛选出相同场景视图，并进行图像配准，然后将预处理后的毫米波雷达数据与对抗网络输出的日间图像进行时间和空间坐标系的统一，将毫米波预处理数据和对抗神经网络输出的日间图像减去配准后的同场景预采样数据，得到两者最终处理数据，然后将两者数据进行融合，得到最终的夜间障碍物检测结果。2.根据权利要求1所述的一种基于对抗神经网络和多传感器融合的检测方法，其特征在于，基于对抗神经网络和多传感器融合的夜间目标检测方法，步骤如下：步骤1：建立光照条件良好情况下的无障碍物道路预采样数据库；步骤2：毫米波雷达和视觉传感器夜间行驶数据采样；步骤3：利用已建立的数据库训练对抗神经网络与目标检测网络，使对抗神经网络能够在输入夜间图像后，生成输出同场景日间图像，使目标检测网络能够对图像中障碍物进行识别和分类；步骤4：对毫米波雷达采样数据进行聚类处理；步骤5：将生成的日间图像与预采样数据库进行比对，筛选出同场景预采样数据，并进行图像配准；步骤6：将毫米波雷达数据与视觉数据进行时空统一，将两者数据与配准后的预采样数据做差，然后分别对两者做差后数据进行检测；步骤7：将两者检测数据进行目标匹配和数据融合，输出最终夜间障碍物检测结果。3.根据权利要求1所述的一种基于对抗神经网络和多传感器融合的检测方法，其特征在于，所述步骤2具体包括：步骤21：采集无人驾驶汽车在夜间行驶过程中的毫米波雷达点云数据，包括点云分布及点云与自身距离；步骤22：采集无人驾驶汽车在夜间行驶过程中的RGB图像数据。4.根据权利要求1所述的一种基于对抗神经网络和多传感器融合的检测方法，其特征在于，所述步骤3具体包括：步骤31：训练对抗神经网络，需要相同场景下的日间和夜间数据库，然而采集同一场景下的日间和夜间图像基本不可能实现，因此首先利用车载摄像机直接采集日间图像，建立日间数据集A，然后通过对数据集A中图片进行对比度和亮度的调节得到夜间同场景数据集B，在训练对抗神经网络模型的过程中使用日间数据集A作为鉴别器的真实样本输入，匹配它的夜间数据集作为生成器的输入，网络通过小批量随机梯度下降，并设置学习率为0.0002来完成训练，其中预先设置小批量为128，采用均值为零、标准差为0.02的正态分布作为各层权重参数的初始化方法；步骤32：目标检测网络采用YOLOV3网络，由于YOLOv3网络所需要的数据库是需要进行标注的，因此需要建立目标检测数据集C，并对其进行标注，数据集中图片采用车辆摄像机
拍摄图像和网络寻找的一些优质图像以扩充数据库内容，然后利用VOC制作数据集，并通过数据集对网络进行训练。5.根据权利要求1所述的一种基于对抗神经网络和多传感器融合的检测方法，其特征在于，所述步骤6具体包括：步骤61：时空统一包括空间同步和时间同步，其中空间同步为将毫米波雷达采集的点云数据从雷达坐标系转移变换至像素坐标系中；时间同步为利用脉冲发生器，根据毫米波雷达扫描频率设置触发频率，每次触发获取当前帧的毫米波雷达和相机数据，若图像在此刻无数据，则利用前后时刻数据进行插值计算；步骤62：根据步骤61得到时空统一后的毫米波雷达数据和视觉数据，然后将步骤5得到的配准后的预采样数据作为背景数据，分别将毫米波雷达数据和视觉数据与预采样数据做差，并利用已训练好yolov3神经网络对两者进行检测。6.根据权利要求1所述的一种基于对抗神经网络和多传感器融合的检测方法，其特征在于，所述步骤1中提到的预采样数据库为在天气条件良好的情况下，通过车辆在道路行驶过程中车载相机拍摄的道路图片，车辆速度在高速公路、一级公路、二级公路、三级公路、四级公路的车速分别为100km/h、80km/h、70km/h、60km/h、40km/h，采样频率为30FPS，采样道路数据后，通过人工...

【专利技术属性】
技术研发人员：周小川，王展，张自宇，栾众楷，赵万忠，王春燕，周冠，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：